首页/系统与基础设施/自动化运维速查/自动化边界划分与人工兜底设计
自动化基础与选型50 条

自动化边界划分与人工兜底设计

自动化边界指哪些变更交给机器、哪些必须人工决策,划分依据通常是「后果可逆性与判断复杂度」;边界之外要有明确的人工兜底路径:谁有权接管、从哪一步接管、接管后如何把状态回写。边界与兜底方案必须写在资产里并演练过,而不是靠事故当天临时商量。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​​‌​​‌‌​‌‌‌‌​‌‌‌​‌​‌​‌‌​‌‌‌​​‌‌​​‌​​​‌‌​​​​‌​‌‌‌​​‌​​‌‌‌‌​​‌​​‌​‌‌​‌​‌‌​‌​​​​‌‌‌​‌​‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌​‌‌​​​‌‌​‌‌​​​‌‌​​​‌​​‌‌​​​​‌​‌‌​​​‌‌​‌‌​‌​‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

边界怎么划

不是所有变更都适合自动化。判断一条变更该不该交给机器,通常看两点:后果是否可逆,判断是否依赖难以编码的上下文。批量重启一台无状态节点可逆、上下文简单,适合自动化;删除生产库表、跨机房切换主库这类操作后果不可逆或依赖业务判断,更适合自动化到「准备就绪并等待确认」,由人来按下最后一步。

基本信息

划分依据后果可逆性、判断复杂度、频率与出错代价
自动化范围可逆、规则明确、重复频率高的变更
人工介入点不可逆操作、需业务判断、影响范围无法预估
兜底要素接管人、接管步骤、状态回写方式

人工兜底需要写清的事

  • 接管条件:出现什么现象时人工介入,而不是继续等自动化重试。
  • 接管入口:从哪一步接手,需要哪些凭据与环境访问权。
  • 回写要求:人工处理完成后,把现场状态回写到自动化资产,避免下次执行覆盖。
  • 时限与升级:多久未解决要升级到谁,避免一人独自扛着。
  • 演练记录:兜底流程至少演练过一次,并记录实际耗时与卡点。

典型边界示例

变更类型建议边界理由
批量分发配置全自动可逆、规则明确
滚动重启无状态服务全自动加健康检查可逆,失败可回退到上一批
数据库版本升级自动到备份与预检,人工确认执行后果难回退
主库切换自动准备,人工按下切换依赖业务判断与时间窗
批量删除资源默认不自动,需双人确认不可逆
生产网络策略变更自动生成差异,人工审核后下发影响面难以自动评估
完全没有人工介入点的自动化在异常叠加时会很危险:它只会重复同样的动作直到资源或时间耗尽。给所有不可逆步骤留一个确认闸门,是成本最低的风险控制。
边界不是永久的:随着监控与校验能力增强,原本需要人工确认的步骤可以逐步放开。放开的前提是先把校验与回滚做成自动化的一部分,并观察一段时间的执行记录。

易错点

  • 把边界写在文档里但不在资产里体现:紧急时刻没人记得哪些步骤需要确认,实际执行时一路放开
  • 兜底只写「人工处理」:没有写清谁接管、从哪一步接管,事故当天先花时间找人
  • 人工接管后不回写状态:下一次自动化执行按旧期望状态收敛,把人工修复的现场覆盖掉
  • 过度追求全自动:不可逆操作没有确认闸门,一次误触发就能造成难以恢复的数据损失

数据来源与参考

  • ITIL 4 变更支持与事件管理实践指南
  • Google SRE 工作手册(运维手册与人为判断相关章节)
  • Red Hat《Ansible Automation Platform 实践指南》

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/automation/automation-boundary-human-fallback.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​​‌​​‌‌​‌‌‌‌​‌‌‌​‌​‌​‌‌​‌‌‌​​‌‌​​‌​​​‌‌​​​​‌​‌‌‌​​‌​​‌‌‌‌​​‌​​‌​‌‌​‌​‌‌​‌​​​​‌‌‌​‌​‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌​‌‌​​​‌‌​‌‌​​​‌‌​​​‌​​‌‌​​​​‌​‌‌​​​‌‌​‌‌​‌​‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​