数据集三段划分
数据集三段划分
开发集 dev（60%）：随时回放，指导迭代
回归集 reg（25%）：合并前跑，防止旧问题回归
保留集 holdout（15%）：中途不看不调，里程碑或上线前各跑一次
划分时按场景分层，保证三段分布接近。| 纪律 | 保留集上的失败样本不直接用于改提示；先回开发集验证 |
|---|---|
| 轮换 | 定期用新流量补充开发集与回归集；保留集换新后旧集降级 |
| 分层 | 按场景与难度分层划分，避免保留集偏简单 |
保留集与提示过拟合
反复用同一批样本调提示会过拟合：留一份不参与调参的保留集，只在关键决策时使用，防止自欺。
易错点
- 把保留集当第二个开发集用时，它就失去监督意义；使用要克制
- 随机划分在样本少时会偏斜；按标签分层抽样更稳
数据来源与参考
- 机器学习训练/验证/测试划分原则（防止在测试集上过拟合）