组织方式决定读数效果
多模态输入不是把图片塞进请求就算完成。影响结果的主要是四件事：分辨率与是否被切块、宽高比是否被压缩、输入顺序与引用方式、以及文本与图像的分工。截图上的小字、表格里的细线、版面结构都对缩放敏感；能用文本通道表达的 OCR 结果，走文本往往更便宜也更稳。
基本信息
| 常见输入 | 图片文件、截图、扫描件、PDF 页面、图表、音频 |
|---|---|
| 预处理 | 分辨率调整、分块、旋转校正、页面渲染为图像 |
| 引用方式 | 按序号引用（第 2 张图）优于用方位描述（上面那张） |
| 计量口径 | 图像与音频的 token 折算方式各厂商不同，以官方文档为准 |
| 常见失败 | 小字被缩放糊掉、超宽表格截断、多图顺序错位 |
| 合规要点 | 证件、人像、合同等敏感影像的留存与传输限制 |
典型使用场景
- 票据与证件识别：需要指定关注区域并明确字段输出格式
- 截图问答：界面元素多，需要按序号引用定位目标
- 表格与报表理解：细线与密集数字对分辨率最敏感
- 长文档处理：先渲染分页再按页送入，配合页码回引
- 图文混排摘要：明确哪些内容以文字为准、哪些以图为准
- 音频转写与校对：分段加时间戳，便于定位与回溯
输入类型与预处理
| 输入类型 | 预处理要点 | 常见失败 |
|---|---|---|
| 手机截图 | 裁剪到目标区域，去掉无关状态栏 | 整屏缩放后小字无法识别 |
| 扫描件与 PDF | 按页渲染，控制单页分辨率上限度 | 跨页表格被切断，逻辑关系丢失 |
| 密集表格 | 优先提高分辨率或按行列分块 | 细线消失、数字连读 |
| 长图 | 切分为有重叠的片段并编号 | 接缝处正文被截断 |
| 图表与示意图 | 保持宽高比，避免拉伸变形 | 坐标轴刻度被压缩后读错 |
| 手写内容 | 尽量正拍、校正倾斜 | 笔迹连笔导致误读 |
| 音频 | 按静音切分并保留时间戳 | 长音频中段信息被稀释 |
多图输入与编号引用
多图输入与编号引用
// 要点：图像先编号，再在文本中按编号引用，避免指代歧义
{
"messages": [
{"role": "user", "content": [
{"type": "text", "text": "图1为发票正面，图2为明细页。请抽取发票号、金额、税额，只输出 JSON。"},
{"type": "image", "index": 1, "note": "已裁剪到票面四角"},
{"type": "image", "index": 2, "note": "明细页，含税率与商品行"}
]},
{"role": "user", "content": "若字段在图1与图2中不一致，以图1票面金额为准，并在 JSON 中加 conflict 数组说明。"}
]
}
// 注意：字段名与图像传参方式各厂商不同，以对应官方文档为准图像 token 的折算方式普遍与分辨率相关：分辨率越高越准但越贵，是否存在自动切块与缩放上限由厂商实现决定。落地前用同一张图在几档分辨率下实测读数准确率，能直接换算出性价比最高的设置。
先判类型再决定通道：清晰的电子文本优先走文本或 OCR 结果，PDF 是否按文本层解析取决于文件本身；只有版面结构与手写内容承载信息时，图像通道才是必要的。这条分流能显著降低成本与延迟。
证件、人像、合同等影像属于敏感数据：传输前确认是否允许出域，按业务必要性裁剪无关区域，并明确保存期限与访问权限；具体合规要求以所在组织的制度与适用法规为准。