金标集保鲜是什么
金标集是评测用的标准答案集，它的价值取决于样本是否还代表当下的真实输入。业务口径、用户表达与数据格式都会变，固定不变的金标集会逐渐失去区分度——所有版本都能得高分，指标看着稳定，实际已与线上脱节。保鲜的做法是小步轮换：定期从近期真实流量分层抽样补充新样本，把较老的样本降级为历史回归集继续使用。
基本信息
| 适用平台 | 所有依赖固定评测集做版本决策的 LLM 应用 |
|---|---|
| 轮换节奏 | 以季度为主，重大业务变化时可提前 |
| 样本来源 | 从近期真实流量分层抽样，双标后入库 |
| 版本管理 | 金标集本身按版本号管理，切换时新旧并行做桥接 |
典型使用场景
- 季度维护：补充新流量样本，替换已经过时的场景
- 业务改版后：口径变化使旧样本不再适用，需要重标或下架
- 指标断崖排查：确认是版本退化还是评测集切换导致
- 历史回归：旧样本移入 history 集，继续用于防回归
- 对外说明：解释评测结论的适用范围与样本时效
保鲜节奏示例
保鲜节奏示例
# 每季度：从近 90 天真实流量分层抽样补入新样本（双标后入库）
# 同步：较老样本移入 history 集，继续防回归但不参与主指标
# 版本：golden-v4 → v5；主指标切换时新旧集都跑一轮做桥接
# 变更记录：样本增删明细、原因与责任人存档
# 抽样比例：按任务类型与输入长度分层，长尾场景保留最低配额
# 验收：新旧集在同一版本上各跑一遍，差异过大先查原因再切换各类集合的分工
| 集合 | 用途 | 更新方式 |
|---|---|---|
| 金标集（当前版） | 主指标与上线判定 | 小步补充与替换 |
| history 集 | 防回归，观察长周期退化 | 只增不减，保留历史样本 |
| 难例集 | 稳健性与边界场景 | 按错误类型补充 |
| 抽检集 | 线上质量趋势 | 按分层配额滚动生成 |
轮换要小步进行：一次换掉大半样本会使指标不可比，历史结论全部失效。新旧集并行跑一轮，用重叠样本做桥接，指标才有连续性。
旧样本不是废弃而是降级：放进 history 集后可继续观察长周期退化，也能在需要时把历史版本拿来横向比较。