采样参数怎么联合调
采样参数的调整顺序是先固定、再单改、后对比:先把其余参数固定下来,确定 temperature 的合适区间,再用 top_p 做微调;一次只改一个参数,否则指标变化无法归因。参数必须与提示版本一起存档——同一条提示配不同参数应视为两个版本,否则实验记录对不上。
调整步骤
| ① 固定基线 | 固定其余参数与提示版本,跑一遍记下基准指标 |
|---|---|
| ② 定 temperature | 按任务类型选区间(抽取低、创作高),逐步试值 |
| ③ 微调 top_p | 在选定温度下收紧或放开候选范围,观察稳定性 |
| ④ 记录 | 参数与提示版本一起存档:同一提示不同参数算两个版本 |
| ⑤ 验证 | 同一配置至少跑 5-10 次观察输出分布,不要只看一次 |
典型使用场景
- 抽取类任务收敛:低温 + 中等 top_p,减少字段与枚举值的变体
- 创作类任务放活:中高温配合较宽 top_p,保留表达多样性
- 输出抖动排查:怀疑随机性时先固定参数再观察,隔离干扰因素
- 模型迁移:换模型后重跑参数矩阵,原平台的取值不保证同样有效
- 成本优化:在达标前提下寻找更低输出长度的参数组合
对比记录表(示例)
对比记录表(示例)
版本 temperature top_p 通过率(30 例) 备注
v3 0.2 1.0 86% 基线
v3-a 0.0 1.0 88% 抽取更稳
v3-b 0.4 1.0 74% 字段偶发漂移
# 每次只改一个参数,其余列保持与基线一致,结论才可归因记录项检查
| 记录项 | 为什么要记 | 不记的后果 |
|---|---|---|
| 提示版本号 | 参数效果依赖提示内容 | 结论无法复现,改动对不上号 |
| 模型与版本 | 不同模型对温度敏感度不同 | 换模型后旧结论失效却不知道 |
| 用例集版本 | 同一批用例才可对比 | 通过率变化无法判断来源 |
| 输出样本存档 | 分布变化需要回看原文 | 只看指标数字无法定位问题 |
参数不是越长越久的配置:提示大改之后要重跑一次参数对比,旧的取值未必仍然最优。