推理参数与优化50 条

stop:停止序列

生成命中指定字符串时立即停止:OpenAI 兼容字段 stop 支持单个字符串或数组,常用于切割多轮对话与服务端分节输出。

请求与离线两态

请求与离线两态
# OpenAI 兼容:"stop": ["\n\n用户:", "</answer>"]

# vLLM 离线
SamplingParams(stop=["</answer>"])
返回内容是否包含停止串因实现而异(多数不含);finish_reason 为 stop,区别于长度截断的 length。

易错点

  • 选宽泛词做停止串:正文中出现该词就被截断,表现为回复莫名变短

数据来源与参考

  • OpenAI API 参考:stop(platform.openai.com/docs)
  • vLLM 官方文档:SamplingParams(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌