预算分配示例（总量 32000）
预算分配示例（总量 32000）
系统提示与约束: 1500
任务指令与格式说明: 1000
少样本示例: 4000（可裁剪至 1000）
检索内容: 18000（按相关度截断）
多轮历史: 3000（滚动摘要压缩）
输出预留: 4500| 规则 | 输出预留优先保障，其余按段位降级 |
|---|---|
| 度量 | 记录各段实际占比，反向校准分配 |
token 预算与分配
给上下文各段分配 token 预算：系统提示、示例、检索内容、历史与输出预留；超预算按顺序压缩低优先段，不动输出空间。
易错点
- 上下文塞满导致输出空间不足，回答被截断
- 预算只算输入不算输出，长回答场景频繁超限
数据来源与参考
- 各推理服务 API 文档中的上下文长度与 max_tokens 概念；tiktoken 仓库