两种写法
两种写法
# OpenAI 兼容请求体
# { "max_tokens": 512 }
# vLLM 离线
SamplingParams(max_tokens=512)判断是否被截断看 finish_reason=length（OpenAI 兼容协议）；线上统计被截断比例是常见的容量观测项。
max_tokens：限制生成长度
限制单次响应生成的 token 数：太小会把回答截断，太大在高并发下拉长占用；它与输入长度共同受上下文窗口约束（输入+输出不超过窗口上限）。
易错点
- 输入加输出超出窗口：报错信息随框架而异，有的直接拒请求、有的截断输入，排查先核对窗口上限与 token 计数
数据来源与参考
- OpenAI API 参考：max_tokens（platform.openai.com/docs）
- vLLM 官方文档：SamplingParams（docs.vllm.ai）