首页/AI/AI 应用速查/单请求 Token 预算设计

单请求 Token 预算设计

上下文窗口是上限不是目标:把窗口拆成预算——固定提示、检索资料、历史、输出、工具回包预留——按预算裁剪,而不是塞满再说。

AI 应用速查AI更新于 2026-10-12

预算分配示例(8K 窗口)

用途预算策略
system + 工具定义1.0K固定,缓存友好
检索资料4.0K按相关性截断,宁缺毋滥
历史对话1.0K最近轮次 + 摘要
输出预留1.5Kmax_tokens
工具回包预留0.5K或折叠为大摘要

预算校验(伪代码)

预算校验(伪代码)
budget = {"sys": 1000, "rag": 4000, "hist": 1000, "out": 1500, "tool": 500}
total = sum(budget.values())          # 8000 = 窗口上限
assert total <= model_ctx, "预算超窗"
# 超限时按优先级裁剪:先 RAG 截断 → 再历史压缩 → 最后动输出额度
工具调用型任务必须预留回包空间,否则第二轮请求直接爆窗口。

易错点

  • 检索段落无脑全塞,预算被资料吃光
  • 不预留工具回包,多轮工具任务第二轮就超限

数据来源与参考

  • 上下文窗口管理与 token 预算工程实践

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌