常见写法
常见写法
# vLLM
SamplingParams(temperature=0.8, repetition_penalty=1.1)
# Hugging Face generate
# generate(..., repetition_penalty=1.1)1.05~1.2 是常见起点;惩罚对所有出现过的 token 一视同仁,长文本里可能压制正常复现(如术语、代码符号)。
对已出现 token 的 logits 做惩罚来抑制复读:取值大于 1 抑制、等于 1 不生效;各实现数值口径略有差异,迁移时要小样本对比。
# vLLM
SamplingParams(temperature=0.8, repetition_penalty=1.1)
# Hugging Face generate
# generate(..., repetition_penalty=1.1)