两栈写法
两栈写法
# vLLM
SamplingParams(temperature=0.8, min_p=0.05)
# llama.cpp server:请求体或启动参数
# { "min_p": 0.05 } 或 --min-p 0.05本地部署降重复时常与略高温度搭配;参数调整要小步走,并用固定评测集对比,不要同时动多个采样器。
按当步概率峰值比例过滤:只保留概率不低于「峰值 x min_p」的候选;相对固定阈值更能跟随分布形态变化,vLLM 与 llama.cpp 均支持。
# vLLM
SamplingParams(temperature=0.8, min_p=0.05)
# llama.cpp server:请求体或启动参数
# { "min_p": 0.05 } 或 --min-p 0.05