值班手册要写什么
为线上大模型功能准备运行手册：把常见故障（超时激增、限流、质量骤降、注入告警、成本异常）各自的检查步骤、应急开关、升级路径与通知对象写清楚。手册要能被执行者直接照做，因此在故障前就要演练一遍，并在每次真实故障后把新发现补回去。
基本信息
| 覆盖故障 | 超时、限流、质量下滑、注入告警、成本异常 |
|---|---|
| 每条结构 | 现象、首查项、应急动作、升级路径、通知对象 |
| 应急开关 | 回滚上一稳定版本、切备用模型、关闭增强功能 |
| 可执行性 | 每步写清在哪个系统点哪里或跑什么命令 |
| 维护 | 季度演练一次，真实故障后更新条目 |
典型使用场景
- 质量骤降：按版本切分成功率与格式错误率，先判断是否与最近发布相关
- 429 激增：核对配额与重试率，先给非关键任务降速
- 超时集中出现：区分是上游变慢还是自身排队过长
- 注入告警：确认命中范围，必要时先收紧工具权限再排查
- 成本异常：按功能下钻找到异常消耗源，先止血再定位原因
手册条目示例
手册条目示例
【质量骤降】
1 看板: 按提示版本查看成功率与格式错误率
2 定位: 最近是否发布？模型是否被切换？规则集是否更新？
3 应急: 开关回滚到上一稳定版本，观察 10 分钟
4 通知: 值班群与负责人，记录时间线
【429 激增】
1 查配额余量与重试率 2 非关键任务降速 3 联系上游并评估高峰限流策略故障类型与首查项
| 故障 | 第一个该看的指标 | 常见原因 |
|---|---|---|
| 超时激增 | 首 token 延迟分布 | 上游排队、上下文过长 |
| 限流 | 配额余量与重试率 | 批量任务集中、重试放大 |
| 质量下滑 | 按版本切分的错误率 | 提示变更、模型切换 |
| 注入告警 | 命中样本与来源渠道 | 外部内容未隔离 |
| 成本异常 | 单位任务成本环比 | 重试率高、输入膨胀 |
手册里要有一键回滚的具体手段（开关名或操作入口）。如果应急动作需要临时写脚本，那它就不是应急动作。