首页/AI/RAG 与向量库速查/长文档的 Map-Reduce 生成
本包目录(229 条)

长文档的 Map-Reduce 生成

单篇文档超长时用 Map-Reduce 式处理:先对每个片段分别生成要点(Map),再汇总要点作答(Reduce);适合摘要类与全文档问答,代价是调用次数增加。

RAG 与向量库速查AI更新于 2026-10-12

两阶段骨架

两阶段骨架
partials = [llm_summarize(chunk, query) for chunk in chunks_if_too_long]
final = llm_answer(query, "

".join(partials))
# 或 refine 模式:逐步把新片段并入已有答案
Reduce 阶段仍要保留片段编号,引用才能回指到原文段落。

易错点

  • Map 阶段丢失编号,Reduce 后引用无法回溯
  • 片段很多时串行调用耗时过长,缺少并发与限流设计

数据来源与参考

  • LangChain 官方文档(Map-Reduce / Refine 链)
  • LlamaIndex 官方文档(长文档处理策略)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌