一个核心加若干护栏

AB 实验的指标体系是一个核心指标加若干护栏指标：核心指标回答「改动是否有效」，护栏指标覆盖性能、成本、体验与投诉，防止为了赢核心指标而牺牲长期价值。实验前要估算样本量与最小可检测效应，实验中按计划节点评审，避免频繁偷看数据提前决策，因为 peeking 会显著放大假阳性，让本无差异的两个版本看起来有差别。

基本信息

典型使用场景

• 产品功能改版的效果验证，例如推荐策略调整
• 定价、券门槛这类运营策略的对照测试
• 前端性能优化对转化率的影响评估
• 核心指标改善但护栏指标恶化时，重新评估是否上线
• 实验结果归档，沉淀为后续决策的经验样本
• 分层分析：整体无显著差异时按人群分层寻找真实效应

分组对比

-- 分组对比：样本量与核心指标均值
SELECT grp, count(DISTINCT user_id) AS users, avg(metric_val) AS avg_val
FROM ab_experiment_daily
WHERE exp_id = 'E2026' AND dt BETWEEN '2026-10-01' AND '2026-10-07'
GROUP BY grp;

-- 护栏指标同样按组对比，避免只看核心指标

要素要求