上线后的质量监控
上线不是终点。在线监控要覆盖质量、性能与成本三类指标：解析失败率、重试率、拒答率、每周抽检的人工合格率，以及延迟分位与单请求成本。任一指标超出基线区间就告警，并触发回看与回滚预案。只看可用性不看质量，输出悄悄变差时没有任何信号。
基本信息
| 质量 | 解析失败率、重试率、拒答率、抽检合格率 |
|---|---|
| 性能 | P50 / P95 / P99 时延 |
| 成本 | token 消耗与单请求成本趋势 |
| 告警 | 任一指标超出基线区间即通知并冻结当日变更 |
典型使用场景
- 新提示上线首周：用数据建立基线区间，再设告警阈值
- 字段抽取服务：监控解析失败率，异常时先回滚提示版本
- 高并发接口：盯 P95 与 P99，避免个别长请求拖慢整体
- 成本治理：跟踪单请求成本，识别哪个任务桶在悄悄变贵
- 质量抽检：每周抽样人工评审，防止指标口径漂移
在线看板指标
在线看板指标
# 质量
解析失败率 / 重试率 / 拒答率
每周抽检人工合格率（抽样 50-100 条）
# 性能
P50 / P95 / P99 时延（按任务类型分桶看）
# 成本
token 消耗趋势、单请求平均成本
# 告警规则
任一指超出基线区间 → 通知值班人
→ 先冻结当日变更 → 评估是否回滚提示版本
→ 回滚后再离线定位，避免问题持续发生
# 首周数据用于建立基线区间，之后按周更新指标读法与处置
| 指标 | 正常表现 | 异常时的动作 |
|---|---|---|
| 解析失败率 | 稳定在低位，与基线持平 | 先看上游输入是否变化，再考虑回滚提示 |
| 重试率 | 小幅波动，不持续上升 | 重试集中出现说明提示或校验规则不一致 |
| 拒答率 | 与业务分布匹配 | 突然升高通常是提示或检索范围内的问题 |
| 抽检合格率 | 每周抽样保持稳定 | 下降趋势比单点突破更值得关注 |
| P95 时延 | 围绕基线小幅波动 | 超出上限时检查推理档位与依赖服务 |
没有回滚预案时，问题定位期间服务会持续出错。正确顺序是先回滚到上一版提示、恢复服务，再离线排查原因，最后带着结论重新上线。
指标要按任务类型分桶看。混在一起看总体 P95，会把某个小任务桶的严重超时完全平均掉，等到用户投诉才发现。