首页/AI/RAG 与向量库速查/上下文窗口限制的应对

上下文窗口限制的应对

模型上下文窗口不够用时不只有“换模型”一条路:减少条数、压缩片段、分段生成再汇总、把全文放到可检索工具里让模型按需索取;先量化“答案所需最小上下文”再设计。

RAG 与向量库速查AI更新于 2026-10-12

应对手段

手段代价
减少片段条数可能漏关键信息,需评测保障
压缩/摘录片段压缩环节引入误差风险
Map-Reduce 分段生成调用次数与延迟增加
工具化按需检索实现复杂度高,需循环控制

最小上下文测算

最小上下文测算
统计:正确回答所需片段数分布(p50/p90)
→ 决定上下文条数与预算,避免一刀切
把答案所需片段数纳入评测报表:它直接决定上下文预算与成本。

易错点

  • 盲目加大条数导致中间片段被忽略,效果不升反降
  • 按最大窗口配置提示词,未预留输出空间被截断

数据来源与参考

  • Liu et al., Lost in the Middle (arXiv:2307.03172)
  • 各模型官方文档(上下文长度)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌