为什么先定成功标准
改提示之前先写清成功标准：这个任务在什么场景下用、用什么指标衡量、达到多少算过关、哪些指标不允许变差。没有标准时，迭代容易陷入「感觉更好了」——每次改动都能挑出几个变好的例子，也都能找到反例，最后凭印象定稿。把标准写在前面还有个好处：失败判据同样明确，出问题时知道什么时候该回滚而不是继续调。
标准卡要写什么
| 主指标 | 只选 1-2 个，多了无法指导决策 |
|---|---|
| 门槛 | 写具体数值，如准确率 ≥ 92%，而不是显著提升 |
| 护栏 | 安全、格式、延迟等不能恶化的底线指标 |
| 失败判定 | 任一护栏不达标即回滚，避免带着病上线 |
| 冻结 | 评测集版本与标准一起冻结，改动需记录并说明原因 |
典型使用场景
- 抽取准确率提升：主指标字段准确率，护栏是可解析率与延迟
- 分类改版：主指标宏观 F1，护栏是高风险类的召回率
- 摘要质量迭代：主指标人工评分，护栏是数字保真与长度合规
- 模型切换：主指标保持不降，护栏是费用与 P95 延迟
- 上线准入：把标准卡作为发布检查项，达标才允许切换流量
成功标准卡模板
成功标准卡模板
任务：从客服对话抽取退款原因
主指标：cause 字段准确率 ≥ 92%（金标集 200 条） # 只留一个主指标
护栏指标：JSON 可解析率 ≥ 99.5%；单条 P95 延迟 ≤ 3s # 不允许恶化
失败判定：任一护栏不达标即回滚
评测集版本：golden-v3（2026-10-01 冻结） # 版本冻结便于对比指标类型与作用
| 类型 | 示例 | 作用 |
|---|---|---|
| 主指标 | 字段准确率、宏观 F1、人工评分 | 决定这次改动是否值得上 |
| 护栏指标 | 可解析率、P95 延迟、高风险召回 | 防止为了主指标牺牲底线 |
| 成本指标 | 单次调用 token、每千次费用 | 批量场景常与主指标同级重要 |
| 过程指标 | 重试率、空结果率 | 定位问题出在模型还是流程 |
标准与评测集要一起冻结：只冻结标准而随手往评测集里加样本，历史对比就不再成立。