首页/AI/大模型部署与运维速查/presence/frequency penalty:出现次数惩罚
推理参数与优化50 条

presence/frequency penalty:出现次数惩罚

两个按出现次数调节 logits 的惩罚:presence_penalty 只在 token 出现过时施加固定调整,frequency_penalty 随出现次数线性累计;常见范围 -2~2。

Python SDK 片段

Python SDK 片段
r = client.chat.completions.create(
    model="<模型名>",
    messages=[{"role": "user", "content": "继续写一段故事"}],
    presence_penalty=0.3,
    frequency_penalty=0.3,
)
与 repetition_penalty 机制不同(出现次数 vs 整体惩罚):一般取其一使用,叠加后效果难以归因。

易错点

  • 把负值当无效:负惩罚方向相反、鼓励重复,去重实验里写错符号会得到相反结论

数据来源与参考

  • OpenAI API 参考:frequency_penalty / presence_penalty(platform.openai.com/docs)
  • vLLM 官方文档:SamplingParams(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌