图片与图表信息的处理
文档里的架构图、界面截图与曲线图往往承载关键信息，而纯文本抽取会把它们整块丢掉。常见做法是用多模态模型为图片生成图注与要点描述，作为片段入库，或由人工补写图注；描述必须与图片锚点关联，回答时还要引导用户查看原图核对。多模态描述可能出错，读数与连线关系最容易写错，高风险图表要保留人工审核环节。
基本信息
| 处理对象 | 架构图、流程图、界面截图、曲线图 |
|---|---|
| 入库形态 | 图注、要点描述与图片锚点 |
| 生成方式 | 多模态模型生成，或人工补写 |
| 关联要求 | 与图片锚点绑定，可跳转原图 |
| 主要风险 | 数字读数与连线关系易错 |
| 兜底措施 | 高风险图表人工审核 |
典型使用场景
- 架构图里的组件关系，纯文字描述难以表达清楚
- 界面截图承载操作路径，需要说明每步位置
- 曲线图与统计图携带关键数值与趋势
- 扫描件里的图表需要单独识别与描述
- 回答时提示用户对照原文图号核对
图片入库条目示例
图片入库条目示例
{
"type": "figure",
"doc_id": "manual-v23",
"anchor": "#fig-3", # 与图片锚点绑定
"caption": "图 3 数据流：采集 → 解析 → 切分 → 向量化 → 入库",
"text": "该图展示离线索引五步流程，上游失败时……"
}处理环节读法
| 环节 | 做法 | 风险 |
|---|---|---|
| 抽取 | 识别图注与图内文本 | 版式复杂时抽错或漏抽 |
| 描述 | 多模态模型生成要点 | 读数与连线关系容易出错 |
| 入库 | 图注与描述作为片段并绑定锚点 | 只索引图注，问图中内容时无答案 |
| 展示 | 回答时给出原图链接 | 用户看不到原图，无法核对 |
多模态描述可能有误，尤其是数字与连线关系：高风险图表保留人工审核，避免错误读数进入答案再被引用扩散。
只索引图注、不索引图内信息时，用户问「图里这条线连到哪」会发现知识库里根本没有可召回的内容。