| 图片入库 | 图 + 生成的文字描述一起存；描述进文本向量，原图留引用 |
|---|---|
| 图搜图 | CLIP 类双塔模型，图文同空间 |
| 图表问答 | 多模态模型直接看图，或抽取数据点转文本 |
| 展示 | 答案引用图片时带缩略图与页码 |
图片描述入库（流程示意）
图片描述入库（流程示意）
for img in extract_images(pdf):
caption = vision_model.describe(img) # 生成结构化描述
caption = f"[图片，来自 {pdf.name} 第 {img.page} 页] {caption}"
upsert(text=caption, meta={"image_path": img.path, "page": img.page})
# 检索命中后：返回描述 + 原图引用，模型可结合两者作答多模态检索效果好但链路长：先做“图片描述 + 文本检索”，有问题再上双塔向量。