为什么 A/B Test 是 DS 面试的核心考察点？
A/B Testing 是科技公司数据驱动决策的核心工具。Meta 每天运行超过 10,000 个 A/B 实验，Google 每年运行超过 100,000 个实验，Amazon 的每个产品功能上线前都需要经过严格的 A/B 验证。
- 对于 DS 岗位，A/B Test 的能力考察贯穿整个面试流程：
- Phone Screen：基础统计概念（p-value、显著性水平、统计功效）
- Technical Interview：实验设计（样本量计算、随机化方案、指标选择）
- Case Study：分析一个真实 A/B 实验的结果，识别潜在问题
- Behavioral：描述你设计或分析过的 A/B 实验经历
UK 市场特点：英国金融科技公司（Revolut、Monzo、Wise）和电商平台（ASOS、Ocado）的 DS 面试中，A/B Test 的考察深度往往超过 ML 算法，因为这些公司的核心业务决策都依赖实验数据。
A/B Test 统计学基础
假设检验的四个核心概念
- 1. 原假设（H0）和备择假设（H1）
- H0：实验组和对照组的指标没有显著差异（通常是我们想要推翻的）
- H1：实验组的指标显著优于（或不同于）对照组
- 2. 显著性水平（α）和 p-value
- α 通常设为 0.05（5% 的误报率容忍度）
- p-value < α：拒绝原假设，认为实验有效
- 面试陷阱：p-value 不是"实验成功的概率"，而是"在 H0 为真的情况下，观察到当前结果或更极端结果的概率"
- 3. 统计功效（Power）和样本量
- Power = 1 - β（β 是漏报率，通常设为 0.2，即 Power = 0.8）
- 样本量计算公式（双样本比例检验）：
$$n = \frac{(z_{\alpha/2} + z_{\beta})^2 \cdot 2p(1-p)}{(p_1 - p_0)^2}$$
其中 $p$ 是基准转化率，$p_1 - p_0$ 是最小可检测效应（MDE）。
- 4. 效应量（Effect Size）
- 统计显著 ≠ 业务显著。一个 0.01% 的转化率提升可能在大样本下统计显著，但业务价值可能不足以支撑上线成本。
- 始终报告效应量（Cohen's d、相对提升率），而不只是 p-value。
Highlighted bar = current power setting. Higher power requires more samples but reduces Type II error.
实验设计的核心原则
随机化和分组策略
随机化是 A/B Test 的基石，但随机化的方式有多种，选择不当会导致实验结论错误。
| 随机化单位 | 适用场景 | 优点 | 缺点 | |------------|----------|------|------| | 用户级别 | 大多数场景 | 简单，避免干扰 | 新用户偏差 | | 会话级别 | 搜索、广告 | 快速积累样本 | 同一用户可能进入不同组 | | 设备级别 | 移动端 | 体验一致性好 | 多设备用户问题 | | 地理级别 | 线下业务、外卖 | 避免溢出效应 | 样本量受限 |
Novelty Effect（新奇效应）：实验初期，用户因为新功能的新鲜感而表现出更高的参与度，但随着时间推移会回归正常水平。解决方案：延长实验周期（至少 2 周），或只对老用户分析。
指标选择框架
- 好的实验指标需要满足三个条件：
- 敏感性：能够检测到真实的业务变化
- 可操作性：与实验干预直接相关
- 无副作用：提升该指标不会损害其他重要指标
- 指标层级设计：
- 北极星指标（North Star Metric）：最终业务目标（如 DAU、GMV、LTV）
- 主要指标（Primary Metric）：直接衡量实验效果（如 CTR、转化率）
- 护栏指标（Guardrail Metric）：确保实验不损害其他方面（如页面加载速度、用户投诉率）
A/B Test 常见陷阱与面试考察点
这是 DS 面试中最能区分候选人水平的部分。面试官通常会描述一个有问题的实验设计，考察你能否识别并解释问题所在。
陷阱 1：P-hacking（p 值操纵）
场景：实验运行了 3 天，p-value = 0.06，还没达到显著性。你决定再等 2 天，结果 p-value 变成了 0.04，于是宣布实验成功。
问题：这是 P-hacking。多次检验会虚增 Type I Error（误报率）。如果你每天检验一次，运行 14 天，即使实验没有效果，也有约 50% 的概率在某一天看到 p < 0.05。
解决方案：预先确定实验周期和样本量，不要中途停止实验。如果需要早停，使用 Sequential Testing 方法（如 Alpha Spending Function）。
陷阱 2：Simpson's Paradox（辛普森悖论）
场景：整体数据显示实验组的转化率（5%）低于对照组（6%），但按设备类型分层后，实验组在移动端（4% vs 5%）和桌面端（8% vs 9%）都更低。这看起来是一致的，但如果实验组的移动端用户比例（80%）远高于对照组（40%），就会出现整体指标被移动端的低转化率拉低的情况。
解决方案：始终进行分层分析，检查关键维度（设备类型、用户年龄、地区）的分布是否在实验组和对照组之间平衡。
陷阱 3：Network Effects（网络效应）
场景：你在测试一个新的社交功能，将用户随机分为实验组和对照组。但实验组的用户和对照组的用户可能互相影响（实验组用户发的帖子被对照组用户看到），导致实验结果被污染。
解决方案：使用 Cluster Randomization（聚类随机化），按社交网络的社区（Community）进行分组，而不是按个人用户。
Python 实现 A/B Test 分析
1import numpy as np
2from scipy import stats
3from statsmodels.stats.power import TTestIndPower
4
5# 1. 样本量计算
6def calculate_sample_size(baseline_rate, mde, alpha=0.05, power=0.8):
7 """
8 计算 A/B Test 所需的每组样本量
9 baseline_rate: 基准转化率（如 0.05 表示 5%）
10 mde: 最小可检测效应（如 0.01 表示提升 1 个百分点）
11 """
12 p1 = baseline_rate
13 p2 = baseline_rate + mde
14 pooled_p = (p1 + p2) / 2
15
16 z_alpha = stats.norm.ppf(1 - alpha/2) # 双侧检验
17 z_beta = stats.norm.ppf(power)
18
19 n = (z_alpha + z_beta)**2 * 2 * pooled_p * (1 - pooled_p) / (p2 - p1)**2
20 return int(np.ceil(n))
21
22# 示例：基准转化率 5%，希望检测到 1% 的提升
23n = calculate_sample_size(baseline_rate=0.05, mde=0.01)
24print(f"每组需要 {n} 个用户")
25
26# 2. 实验结果分析
27def analyze_ab_test(control_conversions, control_total,
28 treatment_conversions, treatment_total,
29 alpha=0.05):
30 p_control = control_conversions / control_total
31 p_treatment = treatment_conversions / treatment_total
32
33 # 双样本比例 z 检验
34 count = np.array([treatment_conversions, control_conversions])
35 nobs = np.array([treatment_total, control_total])
36
37 from statsmodels.stats.proportion import proportions_ztest
38 z_stat, p_value = proportions_ztest(count, nobs)
39
40 # 相对提升率
41 relative_lift = (p_treatment - p_control) / p_control
42
43 # 95% 置信区间
44 se = np.sqrt(p_control*(1-p_control)/control_total +
45 p_treatment*(1-p_treatment)/treatment_total)
46 ci_lower = (p_treatment - p_control) - 1.96 * se
47 ci_upper = (p_treatment - p_control) + 1.96 * se
48
49 print(f"对照组转化率: {p_control:.4f} ({p_control*100:.2f}%)")
50 print(f"实验组转化率: {p_treatment:.4f} ({p_treatment*100:.2f}%)")
51 print(f"相对提升: {relative_lift*100:.2f}%")
52 print(f"95% 置信区间: [{ci_lower:.4f}, {ci_upper:.4f}]")
53 print(f"p-value: {p_value:.4f}")
54 print(f"结论: {'统计显著，可以上线' if p_value < alpha else '不显著，继续观察或放弃'}")
55
56 return p_value < alpha
57
58# 示例
59analyze_ab_test(
60 control_conversions=500, control_total=10000,
61 treatment_conversions=560, treatment_total=10000
62)AT&T Career Data Science Track 的 A/B Test 备考支持
我们的 Tech Track（Data Science 方向） 提供系统化的 A/B Test 面试备考支持，包括：统计学基础专项训练、实验设计 Mock Interview、常见陷阱识别练习，以及 Meta/Google/Revolut DS 岗位的完整 A/B Test 案例分析。如需了解详情，请访问 www.attcareer.com/tech 或扫描页面二维码联系我们。
常见问题 · FAQ
A/B Test 面试需要掌握贝叶斯统计吗？+
对于大多数 DS 岗位，掌握频率派（Frequentist）统计即可。但部分公司（如 Booking.com、Optimizely）使用贝叶斯 A/B Test 框架，如果你申请这类公司，了解贝叶斯置信区间和后验概率会有加分。
实验运行多久才算足够？+
通常至少需要 2 周，以覆盖完整的用户行为周期（工作日 + 周末）。更重要的是，要在实验开始前根据样本量计算确定实验周期，而不是等到看到显著结果才停止。
如果实验结果不显著，是否意味着实验失败？+
不一定。不显著可能有三种原因：(1) 实验确实没有效果；(2) 样本量不足，统计功效太低；(3) 实验设计有问题（如随机化不当）。需要结合样本量、效应量和实验设计来综合判断。
Free Resource
免费领取【Tech 求职全套资料包】
包含 CV 模板、面试题库、Networking 模板信及完整的求职 Timeline。已有 1,200+ 学员领取。
