首页/AI/大模型部署与运维速查/repetition_penalty:重复惩罚
推理参数与优化50 条

repetition_penalty:重复惩罚

对已出现 token 的 logits 做惩罚来抑制复读:取值大于 1 抑制、等于 1 不生效;各实现数值口径略有差异,迁移时要小样本对比。

常见写法

常见写法
# vLLM
SamplingParams(temperature=0.8, repetition_penalty=1.1)

# Hugging Face generate
# generate(..., repetition_penalty=1.1)
1.05~1.2 是常见起点;惩罚对所有出现过的 token 一视同仁,长文本里可能压制正常复现(如术语、代码符号)。

易错点

  • 调大惩罚治复读:代码与模板输出里被压制的 token 可能直接缺失,格式被破坏

数据来源与参考

  • Hugging Face 文本生成文档(huggingface.co/docs/transformers)
  • vLLM 官方文档:SamplingParams(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌