top_k 是什么
top_k 在每步生成时只保留概率最高的若干候选词，再从其中采样：等于 1 时退化为贪心解码，增大则多样性上升。它与核采样（top_p）作用类似但口径不同，前者按数量截断，后者按累计概率截断。不少推理栈默认关闭该参数，需要显式设置才会生效，跨框架迁移时要特别注意取值语义。
各栈写法与关闭语义
各栈写法与关闭语义
# 同一概念在不同栈里的关闭取值不同，照抄很容易踩坑
框架一：top_k=50（取值 0 表示关闭）
框架二：top_k=50（取值 -1 表示关闭）
本地工具：命令行参数 --top-k 40
# 建议：固定写法前先查本机实现的文档或帮助输出取值影响
| 取值 | 效果 | 适用情形 |
|---|---|---|
| 1 | 等价贪心解码，输出最确定 | 抽取、判定类任务 |
| 中等取值 | 保留合理数量的候选，多样性适中 | 通用对话与问答 |
| 很大取值 | 几乎不截断，多样性最高 | 创作类任务 |
| 关闭 | 不参与筛选，只由其他参数决定随机性 | 与核采样配合使用 |
典型使用场景
- 压制长尾：在核采样之外再按数量截断，减少离谱候选词
- 复现实验：固定该参数与温度，让对比实验只变一个变量
- 迁移适配：换引擎时先核对取值语义，避免行为完全不同
- 排查重复输出：调整候选集合大小，观察是否与采样参数相关
- 本地调试：命令行里直接设置，快速观察不同候选取值的效果
它与核采样同时启用时通常先按数量截断再做累计概率筛选，具体顺序以框架实现为准，对比实验要固定顺序假设。
跨框架照搬参数值是常见错误：关闭语义不同（有的用 0，有的用 -1），抄错会得到完全不同的采样行为。