首页/数据/数仓建模速查/AB 实验指标:单一核心+护栏
指标体系63 条

AB 实验指标:单一核心+护栏

AB 实验设一个核心指标加若干护栏指标(性能/成本/体验):先定样本量与最小可检测效应(MDE),再看显著性,避免peeking。

数仓建模速查数据更新于 2026-10-12
核心实验主指标
护栏防劣化指标
统计样本量/MDE/显著性

分组对比

分组对比
SELECT grp, count(DISTINCT user_id) AS users,
       avg(metric_val) AS avg_val
FROM ab_experiment_daily
WHERE exp_id = 'E2026' AND dt BETWEEN '2026-10-01' AND '2026-10-07'
GROUP BY grp;
实验期间分批查看并提前决策(peeking)会放大假阳性:按计划节点评审。

易错点

  • 核心指标过多,结论互相矛盾时无法裁决
  • 样本量不足就下结论,假阳性

数据来源与参考

  • 实验平台实践:AB 指标设计
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌