两阶段结构
两阶段结构
Map:每块单独调用 → 输出「要点 + 数字 + 疑点」的结构化小结
Reduce:合并全部小结 → 去重、按主题归类 → 生成总结果
(块之间可并行;Reduce 输入超长时再分层归并)| 要点 | 块间重叠 10-15% 防切断语义;中间产物结构化便于合并 |
|---|---|
| 去重 | Reduce 明确“合并同义项,冲突时并列两种说法” |
| 适用 | 长报告总结、多文件抽取、批量点评 |
长文档先分块分别处理(map:每块摘要或抽取),再对中间结果汇总(reduce:合并、去重、定稿);是长材料处理的通用套路。
Map:每块单独调用 → 输出「要点 + 数字 + 疑点」的结构化小结
Reduce:合并全部小结 → 去重、按主题归类 → 生成总结果
(块之间可并行;Reduce 输入超长时再分层归并)| 要点 | 块间重叠 10-15% 防切断语义;中间产物结构化便于合并 |
|---|---|
| 去重 | Reduce 明确“合并同义项,冲突时并列两种说法” |
| 适用 | 长报告总结、多文件抽取、批量点评 |