教学方面网站建设,智能手机软件开发,孝感应城网站建设,网站开发 例子作者#xff1a;Freemanzxp简介#xff1a;中科大研二在读#xff0c;目前在微软亚洲研究院实习#xff0c;主要研究方向是机器学习。原文#xff1a;https://blog.csdn.net/zpalyq110/article/details/79527653Github#xff1a;https://github.com/Freemanzxp/GBDT_Sim… 作者Freemanzxp简介中科大研二在读目前在微软亚洲研究院实习主要研究方向是机器学习。原文https://blog.csdn.net/zpalyq110/article/details/79527653Githubhttps://github.com/Freemanzxp/GBDT_Simple_Tutorial本文已授权未经原作者允许不得二次转载写在前面 去年学习 GBDT 之初为了加强对算法的理解整理了一篇笔记形式的文章发出去之后发现阅读量越来越多渐渐也有了评论评论中大多指出来了笔者理解或者编辑的错误故重新编辑一版文章内容更加翔实并且在 GitHub 上实现了和本文一致的 GBDT 简易版包括回归、二分类、多分类以及可视化供大家交流探讨。感谢各位的点赞和评论希望继续指出错误~Githubhttps://github.com/Freemanzxp/GBDT_Simple_Tutorial简介GBDT 的全称是 Gradient Boosting Decision Tree梯度提升树在传统机器学习算法中GBDT 算得上 TOP3 的算法。想要理解 GBDT 的真正意义那就必须理解 GBDT 中的 Gradient Boosting 和 Decision Tree 分别是什么1. Decision TreeCART回归树首先GBDT 使用的决策树是 CART 回归树无论是处理回归问题还是二分类以及多分类GBDT 使用的决策树通通都是都是 CART 回归树。为什么不用 CART 分类树呢因为 GBDT 每次迭代要拟合的是梯度值是连续值所以要用回归树。对于回归树算法来说最重要的是寻找最佳的划分点那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数都是用纯度来衡量的但是在回归树中的样本标签是连续数值所以再使用熵之类的指标不再合适取而代之的是平方误差它能很好的评判拟合程度。回归树生成算法输入训练数据集 D:输出回归树 f(x).在训练数据集所在的输入空间中递归的将每个区域划分为两个子区域并决定每个子区域上的输出值构建二叉决策树1选择最优切分变量 j 与切分点 s求解遍历变量 j对固定的切分变量 j 扫描切分点 s选择使得上式达到最小值的对 (j,s).2用选定的对 (j,s) 划分区域并决定相应的输出值3继续对两个子区域调用步骤1和2直至满足停止条件。4将输入空间划分为 M 个区域 生成决策树2. Gradient Boosting拟合负梯度梯度提升树Grandient Boosting是提升树Boosting Tree的一种改进算法所以在讲梯度提升树之前先来说一下提升树。先来个通俗理解假如有个人30岁我们首先用20岁去拟合发现损失有10岁这时我们用6岁去拟合剩下的损失发现差距还有4岁第三轮我们用3岁拟合剩下的差距差距就只有一岁了。如果我们的迭代轮数还没有完可以继续迭代下面每一轮迭代拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便是模型输出的结果。提升树算法 b拟合残差学习一个回归树得到上面伪代码中的残差是什么损失函数是我们本轮迭代的目标是找到一个弱学习器最小化让本轮的损失当采用平方损失函数时这里是当前模型拟合数据的残差residual所以对于提升树来说只需要简单地拟合当前模型的残差。回到我们上面讲的那个通俗易懂的例子中第一次迭代的残差是10岁第二 次残差4岁……当损失函数是平方损失和指数损失函数时梯度提升树每一步优化是很简单的但是对于一般损失函数而言往往每一步优化起来不那么容易针对这一问题Freidman 提出了梯度提升树算法这是利用最速下降的近似方法其关键是利用损失函数的负梯度作为提升树算法中的残差的近似值。那么负梯度长什么样呢第 t 轮的第 i 个样本的损失函数的负梯度为此时不同的损失函数将会得到不同的负梯度如果选择平方损失负梯度为此时我们发现 GBDT 的负梯度就是残差所以说对于回归问题我们要拟合的就是残差。log(loss)本文以回归问题为例进行讲解。3. GBDT算法原理上面两节分别将 Decision Tree 和 Gradient Boosting 介绍完了下面将这两部分组合在一起就是我们的 GBDT 了。GBDT算法2对有计算负梯度即残差作为下棵树的训练数据得到一颗新的回归树其对应的叶子节点区域为。其中 J 为回归树 t 的叶子节点的个数。计算最佳拟合值 d更新强学习器3得到最终学习器4. 实例详解 本人用 python 以及 pandas 库实现 GBDT 的简易版本在下面的例子中用到的数据都在 github 可以找到大家可以结合代码和下面的例子进行理解欢迎 star~  Githubhttps://github.com/Freemanzxp/GBDT_Simple_Tutorial数据介绍 如下表所示一组数据特征为年龄、体重身高为标签值。共有5条数据前四条为训练样本最后一条为要预测的样本。训练阶段 参数设置 学习率learning_rate0.1迭代次数n_trees5树的深度max_depth31.初始化弱学习器:损失函数为平方损失因为平方损失函数是一个凸函数直接求导倒数等于零得到 c。令导数等于0所以初始化时c取值为所有训练样本标签值的均值。c(1.11.31.71.8)/41.475此时得到初始学习器2.对迭代轮数m12,…,M:由于我们设置了迭代次数n_trees5这里的 M5。的差值此时将残差作为样本的真实值来训练弱学习器即下表数据接着寻找回归树的最佳划分节点遍历每个特征的每个可能取值。从年龄特征的5开始到体重特征的 70 结束分别计算分裂后两组数据的平方损失Square Error 左节点平方损失 右节点平方损失找到使平方损失和 最小的那个划分节点即为最佳划分节点。例如以年龄 7 为划分节点将小于 7 的样本划分为到左节点大于等于 7 的样本划分为右节点。左节点包括 x0右节点包括样本所有可能划分情况如下表所示以上划分点是的总平方损失最小为0.025有两个划分点年龄21和体重60所以随机选一个作为划分点这里我们选 年龄21现在我们的第一棵树长这个样子我们设置的参数中树的深度 max_depth3现在树的深度只有 2需要再进行一次划分这次划分要对左右两个节点分别进行划分对于左节点只含有 0,1 两个样本根据下表我们选择 年龄7 划分对于右节点只含有 2,3 两个样本根据下表我们选择 年龄30 划分也可以选体重70现在我们的第一棵树长这个样子此时我们的树深度满足了设置还需要做一件事情给这每个叶子节点分别赋一个参数 γ来拟合残差。这里其实和上面初始化学习器是一个道理平方损失求导令导数等于零化简之后得到每个叶子节点的参数 γ其实就是标签值的均值。这个地方的标签值不是原始的 y而是本轮要拟合的标残差 .根据上述划分结果为了方便表示规定从左到右为第个叶子结点此时的树长这个样子此时可更新强学习器需要用到参数学习率learning_rate0.1用 lr 表示。为什么要用学习率呢这是Shrinkage的思想如果每次都全部加上学习率为1很容易一步学到位导致过拟合。重复此步骤直到 结束最后生成5棵树。下面将展示每棵树最终的结构这些图都是GitHub上的代码生成的感兴趣的同学可以去一探究竟https://github.com/Freemanzxp/GBDT_Simple_Tutorial第一棵树第二棵树第三棵树第四棵树第五棵树4.得到最后的强学习器5.预测样本5中样本4的年龄为25大于划分节点21岁又小于30岁所以被预测为0.2250。在中样本4的…此处省略…所以被预测为0.2025为什么是 0.2025这是根据第二颗树得到的可以 GitHub 简单运行一下代码在中样本4的…此处省略…所以被预测为0.1823在中样本4的…此处省略…所以被预测为0.1640在中样本4的…此处省略…所以被预测为0.1476最终预测结果5. 总结 本文章从GBDT算法的原理到实例详解进行了详细描述但是目前只写了回归问题GitHub 上的代码也是实现了回归、二分类、多分类以及树的可视化希望大家继续批评指正感谢各位的关注。Github:https://github.com/Freemanzxp/GBDT_Simple_Tutorial参考资料 李航 《统计学习方法》Friedman J H . Greedy Function Approximation: A Gradient Boosting Machine[J]. The Annals of Statistics, 2001, 29(5):1189-1232.欢迎关注我的微信公众号--机器学习与计算机视觉或者扫描下方的二维码大家一起交流学习和进步