逃逸缺陷分析
逃逸缺陷指上线后才被发现、而测试阶段没有拦住的缺陷。它的价值不在数量统计,而在逐条归因:是用例根本缺失,还是断言太弱、环境与生产不一致、需求本身有歧义。不同根因对应完全不同的改进动作,因此这是测试投入回报较高的分析类型。若只统计数量,得到的只是一条持续波动的曲线。
口径与做法
| 定义 | 上线后发现的缺陷,相对测试阶段而言 |
|---|---|
| 归因维度 | 用例缺失、断言薄弱、环境差异、需求歧义 |
| 动作来源 | 按根因分类,对应补测试设计或补流程环节 |
| 记录要求 | 每条逃逸缺陷都要写出根因判断与改进项 |
典型使用场景
- 上线后复盘:逐条归类逃逸缺陷,汇总出当期最集中的根因
- 测试设计改进:用例缺失占多数时,重点补边界与并发场景
- 断言加固:断言薄弱占多数时,对相关模块做变异测试抽检
- 环境治理:环境差异占多数时,推动测试与生产配置对齐
- 需求流程优化:需求歧义占多数时,把验收标准提前到开发之前
根因分类示例
根因分类示例
# 逐条归因,不同根因对应不同动作
用例缺失 → 补场景,重点是边界值与并发时序
断言太弱 → 强化断言,或用变异测试定位薄弱点
环境差异 → 对齐测试与生产的配置、数据规模与依赖版本
需求歧义 → 需求澄清与验收标准前置,开发前确认口径根因与改进动作
| 根因 | 判断依据 | 改进动作 |
|---|---|---|
| 用例缺失 | 该场景没有对应测试 | 补用例,优先边界与异常路径 |
| 断言薄弱 | 用例执行了但没有发现错误 | 强化断言,必要时引入变异测试 |
| 环境差异 | 本地与线上配置或数据规模不同 | 对齐环境,补集成与真实数据规模验证 |
| 需求歧义 | 不同人理解不同,验收标准缺失 | 澄清需求并补充可验证的验收标准 |
| 评审遗漏 | 改动曾被评审但未被发现 | 调整评审关注点与检查清单 |
分类要落到单条缺陷上:同一类根因混合统计会掩盖真实分布。先按维度打标签,再做汇总,改进项才有明确指向。
用逃逸缺陷追责测试人员,会让缺陷在登记环节就被改写严重度或归属,数据失真后分析失去依据。分析对象应是流程与用例设计,而不是个人。
落地检查清单
- 每条逃逸缺陷都有根因标签与改进项
- 改进项有责任人与验证方式
- 周期性回看改进项是否降低了同类逃逸缺陷
- 统计口径在多期之间保持一致