决策树：划分规则、剪枝方法与适用场景

决策树（Decision Tree）算法详细介绍
- 一、决策树的基本结构
- 二、决策树的核心问题：如何选择划分特征？
- - 1. 信息增益（ID3算法）
  - - （1）前置概念：信息熵
    - （2）信息增益的定义
    - （3）缺点
  - 2. 信息增益率（C4.5算法）
  - 3. 基尼系数（CART算法）
  - - （1）基尼系数的定义
    - （2）特征的基尼指数
- 三、决策树的训练与剪枝
- - 1. 决策树的生成过程
  - 2. 决策树的剪枝：解决过拟合问题
  - - （1）预剪枝（Pre-pruning）
    - （2）后剪枝（Post-pruning）
- 四、决策树的优缺点与适用场景
- - 优点
  - 缺点
  - 适用场景
- 五、决策树与逻辑回归的核心区别

决策树（Decision Tree）算法详细介绍

决策树是机器学习中经典的分类与回归算法，它的核心思想是模拟人类的决策过程——通过对数据特征的层层判断，最终得到分类或回归结果。决策树的结构直观易懂，就像一棵“判断树”，自上而下包含根节点、内部节点、叶节点，无需复杂的数学推导就能解释预测逻辑。

一、决策树的基本结构

一棵完整的决策树由三类节点组成：

根节点：树的最顶端，是整个决策过程的起点，包含全部训练数据，并基于某个特征进行第一次划分。
例：预测“是否购买电脑”，根节点可以是“年龄”。
内部节点：树的中间节点，代表一次特征判断，每个内部节点都会将数据划分为多个子集。
例：根节点“年龄”划分为“青年、中年、老年”三个分支，每个分支对应一个内部节点，可继续用“收入”“信用等级”等特征划分。
叶节点：树的最底端，代表最终的决策结果（分类任务是类别，回归任务是连续值），叶节点不再划分数据。
例：“购买电脑=是”“购买电脑=否”就是叶节点。

核心逻辑：从根节点出发，每一步根据特征的判断结果走不同分支，最终落到叶节点，得到预测结论。

二、决策树的核心问题：如何选择划分特征？

决策树的训练过程，本质是选择最优特征对数据进行划分——让划分后的子集尽可能“纯净”（即子集内的数据属于同一类别）。衡量“纯净度”的指标有三种，对应不同的决策树算法。

1. 信息增益（ID3算法）

（1）前置概念：信息熵

信息熵是衡量数据混乱程度的指标，熵越高，数据越混乱；熵越低，数据越纯净。
对于数据集D DD，假设包含K KK个类别，第k kk类样本占比为p k p_kpk，则信息熵公式为：
E n t ( D ) = − ∑ k = 1 K p k log ⁡ 2 p k Ent(D) = -\sum_{k=1}^K p_k \log_2 p_kEnt(D)=−k=1∑Kpklog2pk