首页/AI/大模型部署与运维速查/min_p:按峰值比例过滤候选
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

min_p:按峰值比例过滤候选

按当步概率峰值比例过滤:只保留概率不低于「峰值 x min_p」的候选;相对固定阈值更能跟随分布形态变化,vLLM 与 llama.cpp 均支持。

两栈写法

两栈写法
# vLLM
SamplingParams(temperature=0.8, min_p=0.05)

# llama.cpp server:请求体或启动参数
# { "min_p": 0.05 }  或  --min-p 0.05
本地部署降重复时常与略高温度搭配;参数调整要小步走,并用固定评测集对比,不要同时动多个采样器。

易错点

  • 把 min_p 当 top_p 用:一个是比例阈值、一个是累积质量,迁移取值需要重新标定

数据来源与参考

  • vLLM 官方文档:SamplingParams(docs.vllm.ai)
  • llama.cpp server 文档(github.com/ggml-org/llama.cpp)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌