人工智能例子汇总:AI常见的算法和例子-CSDN博客
使用 决策树(Decision Tree) 实现 梯度提升(Gradient Boosting) 主要是模拟 GBDT(Gradient Boosting Decision Trees) 的原理,即:
- 第一棵树拟合原始数据
 - 计算残差(负梯度方向)
 - 用新的树去拟合残差
 - 累加所有树的预测值
 - 重复步骤 2-4,直至达到指定轮数
 
下面是一个 纯 Python + PyTorch 实现 GBDT(梯度提升决策树) 的代码示例。
1. 纯 Python 实现梯度提升决策树
import numpy as np
from sklearn.tree import DecisionTreeRegressor
fr