金标集是什么
金标集是一批带标准答案的样本，用来判断提示改动到底有没有效果。它的两个关键点：样本从真实流量里抽，覆盖典型场景与边界情形；每条标注有依据、有定标人，且整批样本版本化冻结。规模上先小后大——200 条能覆盖主要场景的集合，比 2000 条来源可疑的样本更有用。
构建要点
| 来源 | 真实流量优先，构造样本只作补充 |
|---|---|
| 构成 | 典型样本为主，另留边界样本与历史 badcase |
| 字段 | input / expected / 难度 / 场景标签 / 定标人 |
| 定标 | 双人独立标注加分歧仲裁，条款写进标注手册 |
| 冻结 | 版本化冻结；新增样本进入下一版本而不是随手改 |
典型使用场景
- 提示改版验收：改动前后跑同一批样本对比通过率
- 模型切换评估：换模型或换版本时判断能力是否退化
- 回归测试：把线上出过的错做成固定样本，防止同类问题复发
- 标注口径对齐：用样本集上的分歧讨论来完善标注规则
- 上线准入：把金标集通过率作为发布门槛的一部分
金标集构成建议
金标集构成建议
200 条起步：
- 120 条典型样本（按线上频率分层抽样） # 反映真实分布
- 50 条边界样本（多义/超短/超长/混语种） # 检验鲁棒性
- 30 条历史 badcase（曾出错的真实样本） # 防复发
每条字段：input / expected / 难度 / 场景标签 / 定标人常见构建缺陷
| 缺陷 | 后果 | 改法 |
|---|---|---|
| 全是构造样本 | 测不出线上分布问题 | 提高真实流量占比，按频率分层抽样 |
| 样本随意增删 | 新旧版本指标不可比 | 版本化冻结，新增样本进下一版 |
| 标注无依据 | 换人标注口径漂移 | 写标注手册，记录定标理由与分歧仲裁结果 |
| 样本与示例集重叠 | 评测结果虚高 | 示例集与评测集分开维护 |
| 只覆盖有答案的输入 | 测不出该拒答时的表现 | 补一批无答案样本 |
样本规模不是越大越好：先做到 200 条分布合理、定标一致，再按需扩充；没有定标口径的样本集规模再大也不可用。