首页/系统与基础设施/自动化运维速查/自动化覆盖率与收益的度量方法
自动化基础与选型50 条

自动化覆盖率与收益的度量方法

自动化覆盖率按「纳入自动化的变更类型占比」与「实际经自动化执行的次数占比」两个口径分别统计,收益则用节省工时、变更失败率下降、恢复时间缩短三类指标衡量;只看覆盖了多少脚本数量会严重失真,因为写得再多但没人用的资产并不产生收益。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​‌​‌​‌‌​​‌‌​​‌‌​‌​​‌​‌‌‌​‌​​​​‌​‌‌​‌​‌‌​‌‌​‌​‌‌​​‌​‌​‌‌​​​​‌​‌‌‌​​‌‌​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​‌‌​‌​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

覆盖率的两个口径

覆盖率有两个常用口径:一是变更类型覆盖率,即有多少类变更已经具备自动化手段;二是实际执行占比,即最近一段时间内实际发生的变更有多少次是经自动化完成的。前者反映能力建设进度,后者反映真实采纳程度。二者差距大时通常说明自动化不好用或没被信任,此时继续扩大覆盖范围收效有限,优先解决可用性问题更划算。

基本信息

能力口径已具备自动化手段的变更类型占比
采纳口径实际变更中经自动化执行的比例
成本口径单次变更的人工工时与自动化执行工时
质量口径变更失败率、平均恢复时间、回退次数

建议采集的指标

  • 变更类型覆盖率:按季度统计已自动化的变更类型清单与总数。
  • 自动化执行占比:从工单与流水线记录中统计实际执行来源。
  • 单次变更工时:人工执行与自动化执行各需多少人工投入。
  • 失败率对比:自动化执行与人工执行的失败率是否出现明显差异。
  • 恢复时间:出现问题时,自动化提供回退的速度是否更快。
  • 资产使用热度:有多少条资产长期无人调用,是否需要归档。

指标读法

指标上升意味着需要警惕
类型覆盖率能力在扩展覆盖了但没人用
执行占比采纳在提高被强制使用但绕过手段增多
单次工时手工投入下降统计口径只算执行不算维护
失败率质量改善或口径变化把失败重试算成成功
回退次数变更频繁或质量下降回退本身是否成功未验证
统计口径要先固定再比较:工时的统计范围是否包含维护自动化资产的投入,失败率的统计是否包含重试成功的执行,都会让结论截然不同。口径变更时要标注不连续。
覆盖率不是越高越好:低频、后果严重的变更即使自动化,也需要人工确认,此时用执行占比衡量才合理。

易错点

  • 用脚本数量代替覆盖率:资产数量持续增长,但关键变更仍靠手工,投入与产出脱节
  • 只统计能力不统计采纳:报告显示覆盖八成,实际执行记录显示多数变更仍走老路
  • 忽略维护成本:把自动化当零成本,长期维护与排错工时没人统计,收益被高估
  • 把重试成功算作成功:失败率被人为压低,掩盖了任务本身不稳定的事实

数据来源与参考

  • ITIL 4 度量与报告实践指南
  • Google SRE 工作手册(服务水平目标与度量章节)
  • DORA《DevOps 现状报告》中关于变更前置时间与失败率的度量口径

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/automation/automation-coverage-benefit-measurement.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​‌​‌​‌‌​​‌‌​​‌‌​‌​​‌​‌‌‌​‌​​​​‌​‌‌​‌​‌‌​‌‌​‌​‌‌​​‌​‌​‌‌​​​​‌​‌‌‌​​‌‌​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​‌‌​‌​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​