上线前必过的验收
新指标上线前要跑验收：存量周期回测、与相近指标交叉验证、极值与小样本抽查、边界日期验证，包括月初、月末、闰年与跨年。验收结果要归档，作为后续复盘与口径变更的依据。只测当天数据是最常见的偷懒做法，周期性缺陷往往要等一个月后才暴露，届时排查成本已经高得多。
基本信息
| 回测 | 历史周期复算，覆盖完整月 |
|---|---|
| 交叉验证 | 与相近指标比对差异 |
| 边界用例 | 月初、月末、闰年、跨年 |
| 极值抽查 | 最大最小值逐条核对 |
| 归档 | 验收记录与结论入库 |
典型使用场景
- 新指标首次上线前做完整验收
- 口径变更后重新验收，确认影响范围符合预期
- 修复缺陷后回归测试，避免修一处坏一处
- 跨团队指标对齐时，用交叉验证确认差异可解释
- 上线首周复盘：实际数据与验收样本的差异
- 灰度发布：先在小范围报表验证，确认无差异再全量切换
- 定期回归：按季度复跑关键指标的验收用例
交叉验证与边界
交叉验证与边界
-- 交叉验证：两个口径的差异应可解释
SELECT a.v AS pay_amt, b.v AS derived_amt, a.v - b.v AS diff
FROM metric_value a
JOIN metric_value b ON b.metric_code = 'DERIVED_PAY'
WHERE a.metric_code = 'PAY_AMT' AND a.dt = '2026-10-12';
-- 边界用例：各月分区天数是否完整
SELECT substr(dt, 1, 7) AS month, count(DISTINCT dt) AS days
FROM dim_date GROUP BY substr(dt, 1, 7);测试项对照
| 测试项 | 方法 | 漏做的后果 |
|---|---|---|
| 历史回测 | 按周期复算并对比 | 周期性缺陷上线后才暴露 |
| 交叉验证 | 与相近指标比对差异 | 口径错误被当成业务波动 |
| 边界用例 | 月初月末闰年跨年 | 月末与跨月数据异常 |
| 极值抽查 | 最大最小值逐条核对 | 极端值错误长期被掩盖 |
验收要覆盖完整月份：只测月初几天，月末补数、跨月归属这类缺陷完全测不到，等暴露时已经影响了一整期报表。
交叉验证的差异必须能被解释：拿金额类指标与由明细推导的第二个口径对比，差异通常来自退款或口径过滤，说不清就是有问题的信号。