推理预算控制
对支持思考长度控制的模型，可以按任务难度分配推理预算：简单查询压到最小档换取低延迟，常规分类问答用默认档，数学、规划、代码生成这类任务放开预算并配合超时兜底。用预算参数代替「请再想深一点」这类口令，好处是可度量、可比较、可复现。
基本信息
| 实现 | 支持扩展思考的接口用预算参数控制思考长度 |
|---|---|
| 不支持时 | 用分步提示近似，效果不如原生预算 |
| 度量 | 按任务统计推理 token 占比，找出浪费点 |
| 兜底 | 预算与超时同时设置，防长推理拖垮响应 |
典型使用场景
- 高并发的改写与分类：压到最小档，延迟与成本同时下降
- 复杂数学与规划任务：放开预算，允许长推理
- 批量离线任务：预算放宽以换更高正确率
- 成本优化：按任务桶统计 token 消耗，找出配置过高的档位
- 链路稳定性：为高预算任务单独设置超时与降级路径
三档配置示例
三档配置示例
# 档位按任务难度分桶，不要全量共用一档
简单查询 / 改写 → 最小思考档，低延迟、低费用
常规问答 / 分类 → 中等预算档，默认工作档位
数学 / 规划 / 代码 → 较大预算档，允许长推理
# 配套措施
- 每个档位单独统计延迟分位与 token 消耗
- 高预算任务设超时上限与降级路径
- 上线后按任务统计「推理 token 占比」，
占比异常高的任务说明档位配置与实际难度不匹配档位与配套措施
| 档位 | 适用任务 | 配套措施 |
|---|---|---|
| 最小档 | 改写、分类、抽取等模式化任务 | 关注解析成功率，不额外设超时 |
| 默认档 | 常规问答与摘要 | 设 P95 延迟告警 |
| 较大档 | 数学、规划、代码、复杂推理 | 单独设超时与降级路径 |
| 离线档 | 批量离线任务 | 放宽预算，用批次调度控制总时长 |
预算的计量单位是 token 而不是时间，同样的 token 预算在不同负载下对应的延迟差别很大，换算关系要实测。上线前必须配置超时兜底，避免长推理把接口拖到不可用。
把推理预算当成一个可调参数纳入评测：同一批样本在不同档位上跑一遍，看正确率与延迟的变化曲线，再按业务能接受的延迟上限选档位。