多模态模型是什么
多模态模型能直接读图片、截图、扫描件，部分还能处理音频与视频。常见做法是把图片随文本一起放进请求：OpenAI 风格在 content 数组里放 image_url 块，其他厂商有各自的字段名与结构。图片按分辨率折算成输入 token 计费，所以它既是能力扩展，也是成本变量。图文混排任务、票据识别、界面理解是它最典型的价值点。
基本信息
| 能力范围 | 图像理解、截图与扫描件解析，部分模型支持音频与视频 |
|---|---|
| 代表模型 | GPT-4o 与 GPT-5 世代、Gemini、Claude、Qwen 视觉型号 |
| 输入方式 | 图片 URL、base64 数据、部分平台的文件上传接口 |
| 计费口径 | 图片按分辨率折算为输入 token |
| 常见输出 | 文本描述、结构化字段、对图中内容的判断 |
| 使用限制 | 图片尺寸与数量上限、格式白名单，按厂商文档为准 |
图片输入方式对照
| 方式 | 写法 | 适用 |
|---|---|---|
| 图片 URL | 直接把可访问链接放进图片块 | 公网可访问的图片最省事 |
| base64 | 数据里带 data:image/png;base64, 前缀 | 内网图片或需要鉴权的资源 |
| 文件上传 | 先上传拿到文件标识，再在请求里引用 | 大文件与需要多次复用的图片 |
| 逐页转图 | 把 PDF 每页渲染成图片再送入 | 扫描件与版式复杂的文档 |
典型使用场景
- 票据与表单结构化：从发票、报销单里抽取字段
- 截图问答：把报错截图交给模型分析原因
- 界面与图表理解：读仪表盘、流程图并转成文字说明
- 资料数字化：扫描件先识别再入库，替代传统固定模板 OCR
- 质检与审核：判断图片内容是否合规、是否含指定物体
图片理解最小调用
图片理解最小调用
curl -s https://api.openai.com/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d '{"model":"gpt-4o","messages":[{"role":"user","content":[{"type":"text","text":"这张图里有什么？"},{"type":"image_url","image_url":{"url":"https://example.com/cat.jpg"}}]}]}' # 文本与图片同块
# 用 base64 时字符串必须以 data:image/png;base64, 这类前缀开头，否则报 400
# 多张图按数组顺序追加图片块，模型按顺序理解它们的关系成本与效果控制
| 抓手 | 做法 | 说明 |
|---|---|---|
| 分辨率 | 按需降采样，避免整张高清原图直送 | 折算 token 随分辨率上升 |
| 区域裁剪 | 只送与问题相关的区域 | 既省 token 也减少干扰信息 |
| 图文配合 | 在文本里说清要看什么、要按什么格式答 | 纯给图片不给指令，输出往往发散 |
| 拆步骤 | 先识别文字，再按文本任务处理 | 大批量场景下比一步到位更稳 |
图片不清晰或角度偏斜会显著影响识别质量：先做旋转、裁边、对比度处理，再送模型，比反复换模型更有效。
含人脸、证件、合同原件的图片不要直接送第三方接口：先脱敏或改走内网部署的多模态模型。