对比实验要单变量
版本对比的常见错误是同时改了好几处，效果无法归因。规范做法是控制变量：一次只改一个因素（如示例从 2 个加到 4 个），其他条件（模型、采样参数、提示其余部分）保持不变，用同一批样本做配对比较，并且在跑之前就把判定标准写下来（预注册），跑完不得修改。
基本信息
| 单变量 | 一次只改一个因素，否则归因不明 |
|---|---|
| 配对比较 | 同样本、同参数、同模型 |
| 预注册 | 判定标准先写死，防止事后挑指标 |
| 护栏 | 效果提升的同时，安全与格式指标不得下降 |
典型使用场景
- 示例数量对比：验证增加示例是否真的提升抽取准确率
- 提示结构对比：约束放开头与放结尾的效果差异
- 参数对比：温度或采样参数变化对输出稳定性的影响
- 模型切换评估：候选模型与原模型在同样的提示下比较
- 后处理对比：是否加一层自动修复步骤的收益衡量
实验卡片模板
实验卡片模板
假设：把示例从 2 个加到 4 个（含边界样本）→ 抽取字段准确率提升
变量：仅示例数量；模型、采样参数、提示其余部分不变
样本：golden-v3 全量 200 条，配对比较
判定：准确率提升 >= 3pt 且护栏不降；否则保留旧版
# 预注册：跑之前填写，跑完后不得修改判定标准
# 记录每次运行的样本集版本与参数，便于复现
# 结论要写清适用范围：本结论只对当前模型与样本集成立实验要素与检查
| 要素 | 要求 | 常见失误 |
|---|---|---|
| 假设 | 一句话可验证的预期 | 假设写得无法证伪 |
| 变量 | 只有一个 | 同时改提示与参数 |
| 样本 | 同集配对、版本固定 | 两版跑在不同样本上 |
| 判定 | 跑前写好含护栏 | 跑完再挑变好的指标 |
同时改提示与采样参数，效果无法归因；保持单变量虽然实验次数更多，但每个结论都能落地。
跑完再挑一个变好的指标宣布成功属于事后选择；判定标准要预注册，包含护栏指标的最低要求。