| 机制 | 按概率从高到低累计,达到阈值即截断,只在集合内采样(核采样) |
|---|---|
| 对照 | top_p=1 相当于不截断;top_p 越小越保守 |
| 组合建议 | 多数官方文档建议 temperature 与 top_p 只调其中一个 |
取值理解
取值理解
top_p = 1.0 不加截断,全部词表参与采样
top_p = 0.9 只从累计概率 90% 的高概率词中采样
top_p = 0.1 候选很窄,输出趋于保守、重复率上升从概率累计达到 top_p 的候选词集合中采样:值越小候选越窄、输出越保守;常与 temperature 二选一调整。
| 机制 | 按概率从高到低累计,达到阈值即截断,只在集合内采样(核采样) |
|---|---|
| 对照 | top_p=1 相当于不截断;top_p 越小越保守 |
| 组合建议 | 多数官方文档建议 temperature 与 top_p 只调其中一个 |
top_p = 1.0 不加截断,全部词表参与采样
top_p = 0.9 只从累计概率 90% 的高概率词中采样
top_p = 0.1 候选很窄,输出趋于保守、重复率上升