应对手段
| 手段 | 代价 |
|---|---|
| 减少片段条数 | 可能漏关键信息,需评测保障 |
| 压缩/摘录片段 | 压缩环节引入误差风险 |
| Map-Reduce 分段生成 | 调用次数与延迟增加 |
| 工具化按需检索 | 实现复杂度高,需循环控制 |
最小上下文测算
最小上下文测算
统计:正确回答所需片段数分布(p50/p90)
→ 决定上下文条数与预算,避免一刀切把答案所需片段数纳入评测报表:它直接决定上下文预算与成本。
模型上下文窗口不够用时不只有“换模型”一条路:减少条数、压缩片段、分段生成再汇总、把全文放到可检索工具里让模型按需索取;先量化“答案所需最小上下文”再设计。
| 手段 | 代价 |
|---|---|
| 减少片段条数 | 可能漏关键信息,需评测保障 |
| 压缩/摘录片段 | 压缩环节引入误差风险 |
| Map-Reduce 分段生成 | 调用次数与延迟增加 |
| 工具化按需检索 | 实现复杂度高,需循环控制 |
统计:正确回答所需片段数分布(p50/p90)
→ 决定上下文条数与预算,避免一刀切