三档配置示例(示意)
三档配置示例(示意)
简单查询 / 改写:最小思考档 → 低延迟、低费用
常规问答 / 分类:中等预算档 → 默认工作档位
数学 / 规划 / 代码:较大预算档 → 允许长推理,配合上限防超时| 实现 | 支持扩展思考的 API 用预算参数控制(如 budget_tokens);不支持时用分步提示近似 |
|---|---|
| 研究 | “budget forcing”类方法用截断或延长思考研究测试时扩展 |
| 度量 | 按任务统计“推理 token 占比”,发现浪费点再调档 |
对支持“思考长度”控制的模型,按任务难度分配推理预算:简单任务压缩思考、复杂任务放开;用预算参数替代“想深一点”这类口令。
简单查询 / 改写:最小思考档 → 低延迟、低费用
常规问答 / 分类:中等预算档 → 默认工作档位
数学 / 规划 / 代码:较大预算档 → 允许长推理,配合上限防超时| 实现 | 支持扩展思考的 API 用预算参数控制(如 budget_tokens);不支持时用分步提示近似 |
|---|---|
| 研究 | “budget forcing”类方法用截断或延长思考研究测试时扩展 |
| 度量 | 按任务统计“推理 token 占比”,发现浪费点再调档 |