目录 1. 什么是KL散度?关键特点: 2. KL散度的数学公式离散分布的KL散度公式:连续分布的KL散度公式: 3. KL散度的计算示例示例1:离散分布示例2:连续分布(高斯分布) 4. KL散度的核心性质1. 非对称性2. 非负性3. 与熵的关系 5. KL散度与相关性的关系1. KL散度 ≠ 相关性2. 间接关联的可能3. 实际案例 6. KL散度的应用场景1. 机器学习2. 数据压缩3. 信息检索4. 强化学习 7. 总结总结 1. 什么是KL散度? KL散度(Kullback-Leibler Divergence),又称相对熵(Relative Entropy),是信息论中用于衡量两个概率分布之间差异的核心工具。它描述了用分布 Q Q Q来近似分布 P