概率预测之NGBoost(Natural Gradient Boosting)回归和线性分位数回归
- NGBoost
- NGBoost超参数解释
- NGBoost.fit
- score(X, Y)
- staged_predict(X)
- feature_importances_
- pred_dist 方法来获取概率分布对象
- 分位数回归(Quantile Regression)
- smf.quantreg 对多变量数据进行分位数回归分析
- 概率预测指标
- 参考
概率预测是一种预测方法,它不仅提供一个具体的预测值(如点预测),还提供预测值的概率分布或置信区间。这种方法能够更好地捕捉预测的不确定性,适用于需要了解预测结果可靠性的场景。
NGBoost
NGBoost(Natural Gradient Boosting)是一个用于提升树的分位数回归和概率预测的强大库。它通过自然梯度提升方法来优化分位数损失函数,从而能够提供更准确的概率预测和分位数回归。
NGBoost超参数解释
- n_estimators
含义:提升树的数量。
作用:控制模型的复杂度和拟合能力。增加树的数量可以提高模型性能,但也可能导致过拟合。
默认值:通常为50或100。 - learning_rate
含义:学习率,用于缩放每棵树的贡献。
作用:降低每棵树的影响以防止过拟合,同时通过更多的树逐步逼近目标。
默认值:0.1。 - minibatch_frac
含义:每次迭代时使用的样本比例(类似于随机梯度下降中的批量大小)。
作用:减少计算量并引入随机性,有助于防止过拟合。
默认值:1.0(使用所有