首页/开发/CI/CD 与发布速查/A/B 测试与发布的区别
发布策略60 条

A/B 测试与发布的区别

A/B 测试是产品实验:两个变体并行服务不同用户群,用统计方法判断哪个更优;金丝雀是风险控制:判断新版本是否可安全放量。二者可共用流量切分能力,但目标与决策规则不同。

CI/CD 与发布速查开发更新于 2026-10-12

对照

维度A/B 测试金丝雀发布
目标选择更优产品方案验证新版本安全
决策依据业务指标统计显著性错误率/延迟与回退阈值
持续时间按样本量计算,可达数周达到放量目标即结束
失败动作选择另一变体继续回退到旧版本

分流示意

分流示意
experiment(userId) → A 组(50%) / B 组(50%)
canary(userId)     → 稳定版(95%) / 新版(5%)
把发布金丝雀当作 A/B 测试会给用户看到未批准的产品变体;两者需要不同的审批与用户告知策略。

易错点

  • 样本量不足就下结论:低流量站点的 A/B 结论不可信
  • 两套实验同时作用于同一用户群:变量互相污染,归因失效

数据来源与参考

  • martinfowler.com《ABTesting》
  • Google SRE Workbook《Canarying Releases》
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌