首页/AI/AI 应用速查/多模态大模型(图片/音频输入)

多模态大模型(图片/音频输入)

原生多模态模型能直接读取图片、截图、PDF 页图与音频:GPT-4o/GPT-5、Gemini、Claude、Qwen-VL/Omni、GLM-4V 等,输入形态支持 URL 或 base64。

AI 应用速查AI更新于 2026-10-12
能力图像理解、截图纸质解析、音频转写/理解
代表GPT-4o/GPT-5、Gemini、Claude、Qwen-VL、GLM-4V
输入图片 URL 或 data URI base64
计费图片按分辨率折算为输入 token

图片理解最小调用

图片理解最小调用
curl -s https://api.openai.com/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d '{"model":"gpt-4o","messages":[{"role":"user","content":[{"type":"text","text":"这张图里有什么?"},{"type":"image_url","image_url":{"url":"https://example.com/cat.jpg"}}]}]}'
图片 token 成本不低:高分辨率截图建议先压缩或分块;含人脸/证件等敏感图不要上传第三方 API。

易错点

  • base64 数据缺少 data:image/png;base64, 前缀导致 400
  • 用视觉模型做大批量纯文字抽取,性价比低于专用 OCR

数据来源与参考

  • OpenAI 视觉指南;Google Gemini 多模态文档

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌