两种策略示意
两种策略示意
全量塞：全部文档 → 模型（贵、噪声多、中间内容利用率低）
RAG + 长窗口：检索筛选 → 重排 → 把相关片段放进长窗口（成本可控）Lost in the Middle 等研究显示：关键信息位于长上下文中间时利用率下降；重要片段宜放开头或结尾，并控制总量。
长上下文与 RAG 的配合
长上下文窗口能承载更多材料，但全量塞入成本高且有“中间遗忘”现象；常见做法是先用检索缩小范围，再把更多相关片段放进长窗口。
易错点
- 把“支持长窗口”理解为“不需要检索”，预算与准确率都会受影响
- 片段顺序完全按分数排，忽视位置对模型利用率的影响
数据来源与参考
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts, TACL 2024