贝叶斯学习笔记 - 详解

贝叶斯方法的核心思想在于利用“条件概率”进行推理。简单来说，就是当我们获得新的信息时，如何更新我们对某个事件发生概率的看法。这就像侦探破案，每获得一条新的线索，都会调整对案件真相的判断。贝叶斯原理的基本公式如下：

$\frac{P(B|A) \cdot P(A)}{P(B)}$

让我们来拆解这个公式的每个部分：

$P (A ∣ B)$ ：后验概率（Posterior Probability）
- 这是我们最关心的部分。它表示在事件B已经发生的情况下，事件A发生的概率。例如，在已知邮件中包含“免费”这个词的情况下，这封邮件是垃圾邮件的概率。
$P (B ∣ A)$ ：似然度（Likelihood）
- 垃圾邮件的情况下，它囊括“免费”这个词的概率。就是表示在事件A发生的情况下，事件B发生的概率。例如，在已知邮件
$P (A)$ ：先验概率（Prior Probability）
- 表示事件A独立发生的概率，也就是在没有任何新信息的情况下，大家对事件A发生可能性的初始估计。例如，所有邮件中垃圾邮件的比例。
$P (B)$ ：证据（Evidence）或归一化常数（Normalizing Constant）
- 一个常数。就是表示事件B独立发生的概率。它的作用是确保后验概率的总和为1。在实际计算中，当比较不同A的概率时，P(B)通常可以被忽略，因为它对所有A都

通过通过这个公式，我们能够看到，贝叶斯原理提供了一种从“先验知识”（ $P (A)$ ）和“新证据”（ $P (B ∣ A)$ ）中学习，并得出“更新后的知识”（ $P (A ∣ B)$ ）的强大机制。

与朴素贝叶斯主要处理离散特征（如文本中的单词）不同，高斯贝叶斯（Gaussian Bayes）是贝叶斯途径的一个变体，它专门用于处理连续型数据。它的核心假设是：素材在每个类别中都服从高斯分布，也就是我们常说的正态分布。

什么是高斯分布？

一个钟形曲线，中间高，两边低。很多自然现象，如人的身高、体重、考试成绩、测量误差等，都近似服从高斯分布。高斯分布由两个参数决定：均值（决定曲线的中心位置）和标准差（决定曲线的宽度）。就是高斯分布（或正态分布）是一种非常常见的概率分布，它的图形

工作原理举例：血压判断

通过否正常，我们能够应用高斯贝叶斯模型：就是假设我们想判断一个人的血压

训练阶段：
- 大家收集大量已知血压正常和血压偏高人群的血压数据。
- 对于“血压正常”该类别，我们计算所有正常血压值的均值和标准差，从而得到一个代表正常血压人群血压分布的高斯曲线。
- 同样，对于“血压偏高”这个类别，我们也计算其血压值的均值和标准差，得到另一个代表高血压人群血压分布的高斯曲线。
预测阶段：
- 当一个新的病人的血压值到来时，高斯贝叶斯会利用这两个高斯曲线来计算：
  - 在“血压正常”的假设下，出现这个血压值的概率是多少？
  - 在“血压偏高”的假设下，出现这个血压值的概率是多少？
- 结合先验概率（例如，人群中血压正常和血压偏高的比例），模型会根据贝叶斯公式，计算出这个病人属于“血压正常”或“血压偏高”的最终概率，然后选择概率最高的那个类别作为预测结果。

适用场景：

高斯贝叶斯特定适用于以下包含连续数值特征的分类疑问：

需要注意的是，高斯贝叶斯的性能在很大程度上依赖于资料是否真的近似服从高斯分布。如果数据分布与高斯分布差异较大，可能需要对数据进行转换，或者考虑其他更适合的分类算法。