门禁规则示例
门禁规则示例
触发：prompts 目录变更
执行：回放 golden-v3 与回归集（固定参数）
通过条件：
- 主指标不低于基线 -0.5pt
- 护栏（解析率/延迟）全部达标
- 回归集无失败项
失败：阻止合并并附逐样本 diff 报告| 成本 | 全量回放贵时按变更文件选择相关子集加关键集 |
|---|---|
| 报告 | 失败时给出逐样本对比，直接可定位 |
| 分叉 | 生产热修走紧急通道，事后补评测 |
提示变更的卡口（CI 门禁）
把评测接进变更流程：提示文件变更触发自动回放；低于门槛或护栏恶化就拦住合并，并附报告链接。
易错点
- 没有基线快照时无法判断是否退化；通过后更新基线并保留历史
- 门禁样本量太小时容易误放行；关键集要覆盖高价值场景
数据来源与参考
- 持续集成中的验收测试（quality gate）实践；评测自动化在提示工程中的建议