AB测试面试题

• 常考AB测试问答题
• • （1）AB测试的优缺点是什么?
  • （2）AB测试的一般流程/介绍一下日常工作中你是如何做A/B实验的？
  • （3）第一类错误 vs 第二类错误 vs 你怎么理解AB测试中的第一、二类错误？
  • （4）统计显著=实际显著？
  • （5）AB测试效果统计上不显著？
  • （6）实验组优于对照组就能上线？
  • （7）AB测试是必须的么？
  • （8）你如何理解实验中的P值
• AB测试业务题
• • （1）在AB实验中如何确认实验组和对照组的样本是均匀的？
  • • 一、确认分组的随机性（先决条件检查）
    • 二、核心方法：用历史数据做模拟实验（AA测试）
    • 三、多维度特征对比
    • 四、通过模型反推
    • 五、实际场景
  • （2）怎样在AB实验中设置合理的指标来评估效果？
  • • 关键逻辑
    • 一、明确实验目标，分层拆解指标
    • 二、选择可量化、无歧义的指标
    • 三、平衡指标相关性与独立性
    • 四、符合统计显著性要求
  • （3）某功能改版，进行AB测试，实验组点击率提升10%（p=0.03），但总营收下降5%，如何解释该结果？是否应全量上线？
  • • 一、数据验证：先确保实验结果真实可信
    • 二、指标拆解：寻找下降原因
    • 三、业务诊断：平衡短期数据和长期价值
    • 四、决策建议：用最小成本验证解决方案
    • 总结：数据要服务业务目标
  • （4）在流量较少时，该如何开展AB实验？
  • • 一、优先优化实验设计
    • 二、选择小样本统计方法
    • 三、调整业务实施策略
    • 四、风险控制
  • （5）假设有一个新策略要上线，如何避免实验组样本与对照组样本之间的相互影响？
  • • 一、理解核心问题：实验中的“流量污染”
• AB测试的其他变式考法