人工智能例子汇总:AI常见的算法和例子-CSDN博客
使用 决策树(Decision Tree) 实现 梯度提升(Gradient Boosting) 主要是模拟 GBDT(Gradient Boosting Decision Trees) 的原理,即:
- 第一棵树拟合原始数据
- 计算残差(负梯度方向)
- 用新的树去拟合残差
- 累加所有树的预测值
- 重复步骤 2-4,直至达到指定轮数
下面是一个 纯 Python + PyTorch 实现 GBDT(梯度提升决策树) 的代码示例。
1. 纯 Python 实现梯度提升决策树
import numpy as np
from sklearn.tree import DecisionTreeRegressor
fr