多模态注入是什么
多模态注入指把指令藏在图片、音频、文档附件这类非纯文本载体里，让模型在「读内容」时顺带把指令也读进去。典型做法是把文字写进图片（截图、扫描件、宣传图），或用音频、文档批注承载同样的语句。它和文本注入的目标一致：让模型把数据当成命令执行。区别在入口变多——文本通道的过滤规则往往覆盖不到 OCR 转写后的文字。
基本信息
| 适用平台 | 支持图像、音频、文档输入的多模态模型与代理应用 |
|---|---|
| 常见载体 | 工单截图、扫描件、合同附件、宣传图、二维码内容、语音留言 |
| 关键机制 | 模型读图时会对图中文字做识别与理解，转写结果与普通用户文本进入同一上下文 |
| 权限要求 | 代理读取附件需文件读取与 OCR 能力；高权限代理建议只读取审核后的副本 |
典型使用场景
- 客服场景：用户上传报错截图，代理需要读图中文字再查询知识库
- 财务与合同场景：从扫描件中提取金额、编号等字段
- 会议与语音场景：把录音转写后再做摘要与待办提取
- RAG 场景：把 PDF 附件切分入库，检索片段同样可能含指令样式文字
- 安全测试：构造包含指令文字的测试图，验证防护是否覆盖图像通道
防御要点
防御要点
# 1 图片与附件的转写文字统一放入数据区，不给指令权限
# 2 OCR 结果套用与文本通道同一套指令样式检测规则
# 3 高权限代理不直接读取未审核的附件，先走隔离区
# 4 转写结果标注来源（文件名、页码、坐标），便于人工复核
# 5 记录原始附件哈希，事后可确认分析对象未被替换
# 6 涉及外发、改数据、改权限的动作一律要求人工确认三类载体对照
| 载体 | 注入路径 | 防控要点 |
|---|---|---|
| 图片 | 图中文字被识别后进入上下文 | 转写结果标记来源并降权为数据 |
| 音频 | 语音转写文本携带指令 | 转写后与文本通道共用检测规则 |
| 文档附件 | 正文、批注、隐藏文本层均可承载 | 入库前清洗，检索片段保留页级来源 |
多模态通道的防护不必另建一套系统：把转写结果当成「低信任来源的文本」处理，复用文本通道的检测、隔离与审批逻辑，收益最直接。
图中文字通常没有渲染层面的转义机制，模型只能照读。因此不要让代理仅凭图片内容就触发工具调用，识别到的文字应只作为数据进入，动作要经审批。