实验卡片模板
实验卡片模板
假设：把示例从 2 个加到 4 个（含边界样本）→ 抽取字段准确率提升
变量：仅示例数量；模型、采样参数、提示其余部分不变
样本：golden-v3 全量 200 条，配对比较
判定：准确率提升 >= 3pt 且护栏不降；否则保留旧版
预注册：跑之前填写，跑完后不得修改判定标准| 单变量 | 一次只改一个因素，否则归因不明 |
|---|---|
| 配对 | 同样本同参数对比，减少样本差异干扰 |
| 预注册 | 判定标准先写死，防止事后挑指标 |
A/B 对比实验设计
版本对比实验：控制变量（只改一个因素）、同题配对、同参数；先定假设与判定标准，再决定样本量。
易错点
- 同时改提示与采样参数，效果无法归因；保持单变量
- 跑完再挑一个变好的指标宣布成功属于事后选择；标准要预注册
数据来源与参考
- 对照实验设计原则（控制变量与预注册）；提示迭代中的 A/B 评测实践