度量陷阱是什么
测试度量陷阱是「指标一旦被当目标就会失真」的具体化：用例数充数、通过率注水（删失败用例、拆碎用例）、覆盖率刷行数、缺陷数报功或压着不报。指标本身没有错，错在用途——用于个人考核就催生博弈，用于流程改进才有信息量。比较诚实的度量是缺陷逃逸率：它只看漏了多少。
基本信息
| 常见无效指标 | 用例总数、单看的通过率、执行用例数 |
|---|---|
| 常见失真行为 | 拆用例充数、跳过失败、只挑好跑的复跑、缺陷等别人发现 |
| 有效指标 | 缺陷逃逸率、发现阶段前移度、回归拦截率、flaky 率、平均修复时长 |
| 使用原则 | 看趋势不看绝对值、组合指标、不挂个人 |
| 数据源 | 缺陷系统、流水线记录、事故复盘、监控数据 |
| 反面案例 | 本月通过率百分百，线上却连爆三起事故 |
典型使用场景
- 季度质量复盘：选对指标，组合解读
- 识别注水信号：用例数暴涨但拦截率没变，说明在凑数
- 设计改进目标：把逃逸率降一半，方向明确
- 评估自动化投入：拦截收益与维护成本放在一起算
- 向上汇报：解释为什么不该用用例数当成绩单
指标与更稳的用法
| 指标 | 常见误用 | 更稳的用法 |
|---|---|---|
| 用例数 | 当考核指标 | 只做趋势参考 |
| 通过率 | 当质量证明 | 配合 flaky 率与逃逸率看 |
| 覆盖率 | 定死达标线 | 列出未覆盖区域清单 |
| 缺陷数 | 论功行赏 | 看发现阶段分布与逃逸率 |
逃逸率最诚实：上线后发现的缺陷除以总缺陷。它不看你测了多少，只看你漏了多少。
口径变更要断点标注：新旧口径混画一条趋势线，数据从此失去参照价值。
指标用于个人考核必然诱发博弈：要么数据造假，要么挑活干，最终管理层拿到的是失真仪表盘。