首页/AI/AI 应用速查/max_tokens 与输出上限
本包目录(159 条)

max_tokens 与输出上限

max_tokens 是单次输出的硬上限,也是成本刹车:按任务输出长度的 P95 乘 1.5 左右设置,配合 finish_reason 判断是否被截断,截断要有重试或降级逻辑。

AI 应用速查AI更新于 2026-10-12
作用限制生成长度,控制成本上限
设置任务输出 P95 × 1.5,随版本回归校准
信号finish_reason=length 表示被截断
兜底截断时重试(提高额度)或降级返回部分结果

设置上限(curl)

设置上限(curl)
curl https://api.openai.com/v1/chat/completions -H "Authorization: Bearer $KEY" -H "Content-Type: application/json" -d '{
  "model": "gpt-4o-mini",
  "max_tokens": 512,
  "messages": [{"role": "user", "content": "用三句话总结上文"}]
}'
# 返回里检查:finish_reason / usage.completion_tokens
被截断的 JSON 无法解析:流式与结构化输出都要把 finish_reason=length 当作异常路径处理。

易错点

  • 上限设得比实际所需小,长尾任务频繁截断
  • 忽略 finish_reason,把截断的半截产物当成功入库

数据来源与参考

  • OpenAI Chat Completions 参数文档(max_tokens / finish_reason)

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌