从一场"口水战"说起

你肯定遇到过这种场景：

小王说："我们新产品转化率明显提高了！"

老板问："有多明显？"

小王："从5%涨到6%了！"

老板："这能算提高吗？会不会就是碰巧？"

这就是典型的没有数据打假能力的对话。

小王拿不出证据证明这个提升不是瞎猫碰上死耗子，老板也只能凭感觉质疑。

今天聊的"假设检验"，就是专门解决这个问题的——用数据来判断一件事是真的有变化，还是纯属巧合。

假设检验的底层逻辑：反证法

还记得初中数学老师怎么教反证法的吗？

"要证明√2是无理数，我们先假设它是有理数，然后推导出矛盾，证明假设不成立。"

假设检验用的就是这个思路，只不过换成了数据版本：

先假设"没变化"（叫"原假设"或"零假设"）。

收集数据去推翻它。

如果推翻成功，就说明"有变化"；推翻不了，就还是"没变化"。

回到开头的例子：

原假设：新产品转化率没有提高（还是5%）

收集数据：实际测了1000个用户，60个转化了（6%）

判断：这个6%，是真的提高了，还是运气好碰上的？

怎么判断"是真的还是巧合"？

这是假设检验的灵魂问题。我们用一个更生活化的例子来理解。

场景：你怀疑朋友出老千

你和朋友掷硬币赌输赢，他连续扔出5次正面。你开始怀疑：这硬币是不是被动了手脚？

按常识想：

如果硬币是公平的（正反面概率各50%），连续5次正面的概率是多少？

算一下：0.5 × 0.5 × 0.5 × 0.5 × 0.5 =3.125%

也就是说，如果硬币真的公平，出现这种情况的概率只有3%左右。

现在问题来了：你会怀疑朋友作弊吗？

大部分人会说："3%太低了，我觉得有问题！"

恭喜你，你刚刚完成了一次假设检验：

原假设：硬币是公平的

数据：连续5次正面

计算：如果原假设成立，这种情况概率只有3%

结论：概率太小，我不信原假设了，硬币有问题！

P值：那个"打假的关键数字"

上面那个3.125%，在统计学里有个专门的名字，叫P值（P-value）。

P值的大白话定义：如果原假设是对的，出现当前数据（或更极端数据）的概率有多大。

记住这句话：P值越小，原假设越可疑。

怎么用P值做判断？

统计学界约定了一个"怀疑门槛"，叫显著性水平α，通常设为：

5%（0.05）——最常用的标准

有时用1%（0.01）——要求更严格

规则很简单：

P值 < 0.05：推翻原假设，认为"有显著差异"

P值 ≥ 0.05：保留原假设，认为"没有显著差异"

回到转化率的例子： 如果统计软件算出P值 = 0.03（小于0.05），就可以说："新产品转化率显著提高了，不是巧合"。

两种错误：冤枉好人 vs 放过坏人

假设检验不是万能的，它会犯两种错误：

第Ⅰ类错误（假阳性）：冤枉好人

硬币其实是公平的，但你误判为作弊。

转化率其实没变，但你误判为提高了。

概率就是那个α（通常5%）。

第Ⅱ类错误（假阴性）：放过坏人

硬币真的被动手脚了，但你没发现。

转化率真的提高了，但你没检测出来。

概率叫β，通常比α大。

现实中怎么办？我们通常更怕"冤枉好人"（第Ⅰ类错误），所以把α设得比较小（5%）。

但这也意味着，我们可能会放过一些真实但不够明显的变化。

这就是为什么：

药物测试要求极其严格（α可能设到1%甚至更低）

市场测试可以宽松一点（α = 5%或10%都行）

实战步骤：五步搞定假设检验

好，现在把整套流程串起来：

Step 1：明确问题，提出假设

原假设（H0）：没有变化/没有差异

备择假设（H1）：有变化/有差异

例子：新广告是否提高了点击率？

H0：新广告点击率 = 旧广告点击率

H1：新广告点击率 ≠ 旧广告点击率

Step 2：收集数据

旧广告：1000次展示，50次点击（5%）

新广告：1000次展示，65次点击（6.5%）

Step 3：选择合适的检验方法

这里需要用两样本比例检验（Excel和SPSS都能直接算）

Step 4：计算P值

用软件算出：P = 0.08

Step 5：下结论

P = 0.08 > 0.05

结论：不能推翻原假设，新广告点击率的提升不显著，可能是巧合。

三个常见误区

误区1："显著"不等于"重要"

P值小只能说明"不太可能是巧合"，但不代表实际意义大。

例子：你测试了100万个用户，发现新版本转化率从5.00%提高到5.01%，P值可能小于0.001，非常显著！

但是：这0.01%的提升，实际价值几乎为零。

记住：统计显著≠实际重要，永远要结合业务场景判断。

误区2："不显著"不等于"没差异"

P值大于0.05，只能说现有数据不足以证明有差异，不代表真的没差异。

可能的原因：

样本太小（只测了50个人，当然看不出来）。

差异确实存在但很微弱。

建议：扩大样本量再测，别轻易下"没用"的结论。

误区3：不要"P值黑客"

有些人会反复测试，直到P值小于0.05为止，然后宣称"成功了"。

这是作弊！多次测试会增加犯第Ⅰ类错误的概率。

正确做法：提前设计好测试方案，只测一次（或用专门的多重比较校正方法）。

小只总结：假设检验就是三句话

先假设没变化（原假设）

用数据算概率（P值）

概率太小就推翻（P < 0.05）

说到底，假设检验不是什么高深的数学魔法，就是用概率思维给常识判断加个保险。

下次问你"这个增长是不是真的"，你就可以底气十足地说：

"我做了假设检验，P值0.02，在5%显著性水平下可以拒绝原假设，增长是真实的，不是随机波动。"

转自：https://mp.weixin.qq.com/s/zIOPMoQwtV3FoFn5793deA