首页/AI/提示词工程速查/推理预算控制(思考长度)
模式与框架50 条

推理预算控制(思考长度)

对支持“思考长度”控制的模型,按任务难度分配推理预算:简单任务压缩思考、复杂任务放开;用预算参数替代“想深一点”这类口令。

提示词工程速查AI更新于 2026-10-12

三档配置示例(示意)

三档配置示例(示意)
简单查询 / 改写:最小思考档      → 低延迟、低费用
常规问答 / 分类:中等预算档      → 默认工作档位
数学 / 规划 / 代码:较大预算档   → 允许长推理,配合上限防超时
实现支持扩展思考的 API 用预算参数控制(如 budget_tokens);不支持时用分步提示近似
研究“budget forcing”类方法用截断或延长思考研究测试时扩展
度量按任务统计“推理 token 占比”,发现浪费点再调档

易错点

  • 预算单位是 token 而非时间,延迟换算要实测;上线前配置超时兜底
  • 全量任务共用高档位会显著抬高成本,档位要按任务分桶

数据来源与参考

  • Anthropic 扩展思考(extended thinking)文档与 s1: Simple test-time Scaling(Muennighoff et al., 2025)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌