重复运行与结果波动
带采样随机性的生成任务，单次评测的数字不可信。规范做法是同一提示跑 3 次，报告均值与极差（或标准差）；当版本之间的差异小于运行波动时，不能下任何结论。先量化噪声，再谈差异——顺序反过来，就会把波动当成改进，上线后指标回落。
基本信息
| 次数 | 先用 3 次估计波动量级，再决定评测预算 |
|---|---|
| 报告 | 均值与极差（或标准差）一起给 |
| 对比 | 两个版本跑相同重复次数，用配对方式比较 |
| 判定 | 版本差异小于运行波动时，结论不成立 |
典型使用场景
- 两个提示版本的取舍：先看噪声再判断差异是否真实
- 回归门禁设定：门禁阈值要考虑运行波动，避免误拦误放
- 对外指标披露：附上波动范围，结论才站得住
- 采样参数调整：判断温度变化带来的差异是否超出噪声
- 评测预算规划：用 3 次的结果估算需要多少次才能分辨目标差异
重复评测记录
重复评测记录
提示 v12：三次运行准确率 91.2% / 90.1% / 91.8%
→ 均值 91.0%，极差 1.7 个百分点
提示 v13：三次运行准确率 92.4% / 91.9% / 92.1%
→ 均值 92.1%，极差 0.5 个百分点
判断：
- 版本间差异 1.1 个百分点，仍小于 v12 的极差
- 结论：先扩大样本或降低采样随机性，再重新比较
# 两个版本要用相同的重复次数与采样参数
# 记录每次运行的完整条件，便于事后复核记录项读法
| 记录项 | 含义 | 缺失时的后果 |
|---|---|---|
| 三次准确率 | 同一条件下的重复结果 | 看不出波动量级 |
| 均值 | 该条件下的中心值 | 用单次值代表整体，结论偶然性大 |
| 极差 | 重复运行之间的最大差异 | 无法判断版本差异是否真实 |
| 重复次数 | 每次比较的采样轮数 | 两版次数不同，比较不成立 |
| 参数快照 | 温度、种子等采样设置 | 条件变化被误读成提示改进 |
只跑一次就宣布提升，在生成任务里是常见的误判来源。把「先量化噪声，再谈差异」写成流程纪律，比事后争论数字更省事。
三次只是起步。如果目标是分辨 1 个百分点以内的差异，就需要更多重复次数与更大的样本集，否则无论跑多少轮都被噪声淹没。