影子运行检查点
影子运行检查点
同输入双跑：新版输出不对外，只落日志
对比：字段级 diff + 抽样人工评审 50-100 条
关注：改对多少、改错多少、格式回归是否出现
放行：确认无关键劣化后进入 5% 灰度，再观察在线指标| 成本 | 双跑成本翻倍，按抽样比例运行可控制花费 |
|---|---|
| 抽样 | 优先覆盖高风险场景与历史 badcase 分布 |
| 回滚 | 灰度期间保留快速回滚开关 |
本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条
评估与迭代50 条
- 先定成功标准再改提示
- 金标测试集构建
- LLM 评审（LLM-as-a-judge）基本写法
- 摘要自动指标 ROUGE 与局限
- 精确率、召回率与 F1
- 成对比较评估（A/B 判别）
- 准确率与其陷阱（类别不均衡）
- 回归测试集与用例管理
- 测试样本的切片标签
- 结构化输出的可解析率
- A/B 对比实验设计
- 保留集与提示过拟合
- 抽取任务的字段级评估
- 评测样本量的波动直觉
- 混淆矩阵与错误模式分析
- 评分表（rubric）式评审
- 采样随机性与可复现记录
- 摘要的人工评估维度
- 代码评估 pass@k
- 评审位置偏差与缓解
- 错误分类体系（误差分析）
- 迭代闭环：假设→改→回放→对比
- 重复运行与结果波动
- 翻译指标 BLEU 与 chrF
- 执行式评估：用运行结果判对错
- 评委自偏好与同源问题
- 提示变更的卡口（CI 门禁）
- 切片复盘：定位退化的那一块
- 上线后的质量监控
- 神经翻译质量评估（COMET）
- 评委的长度偏好（啰嗦偏差）
- 评委与人工评分的对齐
- 评测集的分层抽样
- badcase 挖掘与归类流程
- token 用量核算与预算
- 语义相似度指标（BERTScore 思路）
- 难例集与对抗样本池
- 两个版本的差异是否显著
- 标注规范文档写法
- 用户反馈闭环
- 提示变更日志与实验记录
- 成本与延迟纳入评测
- 多重比较与指标挑选
- 人工标注一致性（Kappa）
- 影子运行与灰度评估
- 延迟看分位数（P95/P99）
- 双标与仲裁流程
- 金标集的保鲜与轮换
- 输入分布漂移的检测
- 评测报告模板与结论写法
影子运行与灰度评估
新版本先影子运行：同流量双跑只记录不对外，对比新旧输出差异；差异样本人工抽查后再考虑小流量灰度。
易错点
- 影子流量里混入测试请求会污染对比；先过滤内部流量
- 只看平均差异会漏掉高风险场景退化；按切片看差异
数据来源与参考
- 影子发布（shadow deployment）与灰度发布（canary release）实践