各栈的写法与关闭语义
各栈的写法与关闭语义
Hugging Face generate: top_k=50（top_k=0 表示关闭）
vLLM SamplingParams: top_k=50（-1 表示关闭）
llama.cpp: --top-k 40top_k 与 top_p 同时启用时通常先按 k 截断再做核采样；具体顺序以框架实现为准（参见 sampling-order 条目）。
top_k：固定候选数量截断
每步只在概率靠前的 k 个 token 中采样：k=1 等于贪心，k 增大多样性上升；不少推理栈默认关闭该参数，需要显式设置才生效。
易错点
- 跨框架照搬参数：关闭语义不同（0 与 -1），抄错会得到完全不同的采样行为
数据来源与参考
- Hugging Face 文本生成文档（huggingface.co/docs/transformers）
- vLLM 官方文档：SamplingParams（docs.vllm.ai）