A/B 测试与发布是什么关系
A/B 测试是产品实验：两个变体并行服务不同用户群，用统计方法判断哪个更优；金丝雀发布是风险控制：判断新版本能否安全放量。二者可以共用流量切分能力，但目标与决策规则不同——一个是「选更好的」，一个是「确认没坏」。混淆两者，要么把未批准的产品变体暴露给用户，要么用统计上无意义的差异决定回滚。
对照
| 维度 | A/B 测试 | 金丝雀发布 |
|---|---|---|
| 目标 | 选择更优产品方案 | 验证新版本安全 |
| 决策依据 | 业务指标统计显著性 | 错误率与延迟的回退阈值 |
| 持续时间 | 按样本量计算，可达数周 | 达到放量目标即结束 |
| 失败动作 | 选择另一变体继续 | 回退到旧版本 |
实验要素
| 分流单位 | 用户或设备标识，实验全程保持稳定 |
|---|---|
| 指标 | 主指标与护栏指标分开看，护栏兜底风险 |
| 退出 | 结束后固化胜出版本或回填全量 |
| 审批 | 产品实验与发布走不同审批流 |
典型使用场景
- 产品实验：新推荐算法、新界面布局的效果评估
- 发布风控：新版本错误率与延迟对比基线版本
- 内容实验：文案与运营位多素材轮换取优
- 功能开关验证：灰度开关配合核心指标观察
- 定价试验：低风险地区先验证口径与话术
- 实验与发布解耦：先完成实验选出胜出版本，再走常规发布流程上线
分流示意
分流示意
experiment(userId) → A 组(50%) / B 组(50%) # 随机分组,统计比较
canary(userId) → 稳定版(95%) / 新版(5%) # 风险控制,逐级放量把发布金丝雀当作 A/B 测试会给用户看到未批准的产品变体；两者需要不同的审批流与用户告知策略。分流要随机且稳定：同一用户多次访问应落同一组，否则噪声会掩盖真实差异。
样本量与显著水平要在实验前算好：中途反复看数再决定停止会放大错误结论，确需提前停止要设计序贯检验。