边界怎么划
不是所有变更都适合自动化。判断一条变更该不该交给机器,通常看两点:后果是否可逆,判断是否依赖难以编码的上下文。批量重启一台无状态节点可逆、上下文简单,适合自动化;删除生产库表、跨机房切换主库这类操作后果不可逆或依赖业务判断,更适合自动化到「准备就绪并等待确认」,由人来按下最后一步。
基本信息
| 划分依据 | 后果可逆性、判断复杂度、频率与出错代价 |
|---|---|
| 自动化范围 | 可逆、规则明确、重复频率高的变更 |
| 人工介入点 | 不可逆操作、需业务判断、影响范围无法预估 |
| 兜底要素 | 接管人、接管步骤、状态回写方式 |
人工兜底需要写清的事
- 接管条件:出现什么现象时人工介入,而不是继续等自动化重试。
- 接管入口:从哪一步接手,需要哪些凭据与环境访问权。
- 回写要求:人工处理完成后,把现场状态回写到自动化资产,避免下次执行覆盖。
- 时限与升级:多久未解决要升级到谁,避免一人独自扛着。
- 演练记录:兜底流程至少演练过一次,并记录实际耗时与卡点。
典型边界示例
| 变更类型 | 建议边界 | 理由 |
|---|---|---|
| 批量分发配置 | 全自动 | 可逆、规则明确 |
| 滚动重启无状态服务 | 全自动加健康检查 | 可逆,失败可回退到上一批 |
| 数据库版本升级 | 自动到备份与预检,人工确认执行 | 后果难回退 |
| 主库切换 | 自动准备,人工按下切换 | 依赖业务判断与时间窗 |
| 批量删除资源 | 默认不自动,需双人确认 | 不可逆 |
| 生产网络策略变更 | 自动生成差异,人工审核后下发 | 影响面难以自动评估 |
完全没有人工介入点的自动化在异常叠加时会很危险:它只会重复同样的动作直到资源或时间耗尽。给所有不可逆步骤留一个确认闸门,是成本最低的风险控制。
边界不是永久的:随着监控与校验能力增强,原本需要人工确认的步骤可以逐步放开。放开的前提是先把校验与回滚做成自动化的一部分,并观察一段时间的执行记录。