网站流量分析的指标有哪些,wordpress京东主题,谷歌上怎样做网站,二手车 网站开发文章目录 第6章 逻辑斯谛回归与最大熵模型6.1 逻辑斯谛回归模型6.1.1 逻辑斯谛分布6.1.2 二项逻辑斯谛回归模型6.1.3 模型参数估计6.1.4 多项逻辑斯谛回归 《统计学习方法#xff1a;李航》笔记 从原理到实现#xff08;基于python#xff09;-- 第3章 k邻近邻法 《统计学习… 文章目录 第6章 逻辑斯谛回归与最大熵模型6.1 逻辑斯谛回归模型6.1.1 逻辑斯谛分布6.1.2 二项逻辑斯谛回归模型6.1.3 模型参数估计6.1.4 多项逻辑斯谛回归 《统计学习方法李航》笔记 从原理到实现基于python-- 第3章 k邻近邻法 《统计学习方法李航》笔记 从原理到实现基于python-- 第1章 统计学习方法概论 《统计学习方法李航》笔记 从原理到实现基于python-- 第 2章感知机 《统计学习方法李航》笔记 从原理到实现基于python-- 第3章 k邻近邻法 《统计学习方法李航》笔记 从原理到实现基于python-- 第4章 朴素贝叶斯法 《统计学习方法李航》笔记 从原理到实现基于python-- 第5章 决策树 我算是有点基础的有过深度学习和机器学的项目经验但也是半路出家无论是学Python还是深度学习都是从问题出发边查边做没有系统的学过相关的知识这样的好处是入门快如果想快速入门大家也可以试试直接上手项目从小项目开始但也存在一个严重的问题就是很多东西一知半解容易走进死胡同出不来感觉有点像陷入局部最优解找不到出路所以打算系统的学习几本口碑比较不错的书籍。   书籍选择 当然机器学习相关的书籍有很多很多英文版的神书据说读英文版的书会更好奈何英文不太好比较难啃。国内也有很多书周志华老师的“西瓜书”我也有了解过看了前几章个人感觉他肯能对初学者更友好一点讲述的非常清楚有很多描述性的内容。对比下来更喜欢《统计学习方法》毕竟能坚持看完才最重要。   笔记内容 笔记内容尽量省去了公式推导的部分一方面latex编辑太费时间了另一方面我觉得公式一定要自己推到一边才有用最好是手写。尽量保留所有标题但内容会有删减通过标黑和列表的形式突出重点内容要特意说一下标灰的部分大家最好读一下这部分是我觉得比较繁琐但又不想删掉的部分。   代码实现 最后是本章内容的实践如果想要对应的.ipynb文件可以留言 第6章 逻辑斯谛回归与最大熵模型 逻辑斯谛回归logistic regression 是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则将其推广到分类问题得到最大熵模型maximum entropy model。 逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 首先介绍逻辑斯谛分布logistic distribution。   逻辑斯谛分布的密度函数 f ( x ) f(x) f(x)和分布函数 F ( x ) F(x) F(x)的图形如图6.1所示。分布函数属于逻辑斯谛函数其图形是一条S形曲线sigmoid curve。该曲线以点 为中心对称即满足 曲线在中心附近增长速度较快在两端增长速度较慢。形状参数 γ γ γ的值越小曲线在中心附近增长得越快。 6.1.2 二项逻辑斯谛回归模型 二项逻辑斯谛回归模型binomial logistic regression model是一种分类模型由条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)表示形式为参数化的逻辑斯谛分布。 这里随机变量 X X X取值为实数随机变量 Y Y Y取值为1或0。我们通过监督学习的方法来估计模型参数。   对于给定的输入实例 x x x按照式6.3和式6.4可以求得 P ( Y 1 ∣ x ) P(Y1|x) P(Y1∣x)和 P ( Y 0 ∣ x ) P(Y0|x) P(Y0∣x)。 逻辑斯谛回归比较两个条件概率值的大小将实例 x x x分到概率值较大的那一类。 有时为了方便将权值向量和输入向量加以扩充仍记作 w x wx wx即 权值向量: w ( w ( 1 ) , w ( 2 ) , … , w ( n ) , b ) T w(w^{(1)},w^{(2)}, …,w^{(n)},b)^T w(w(1),w(2),…,w(n),b)T输入向量: x ( x ( 1 ) , x ( 2 ) , … , x ( n ) , 1 ) T x(x^{(1)},x^{(2)},…,x^{(n)},1)^T x(x(1),x(2),…,x(n),1)T。 这时逻辑斯谛回归模型如下   逻辑斯谛回归模型的特点。 一个事件的几率odds是指该事件发生的概率与该事件不发生的概率的比值。 如果事件发生的概率是p那么该事件的几率是 p 1 − p \frac{p}{1-p} 1−pp​ 该事件的对数几率log odds或logit函数是 l o g i t ( p ) l o g p 1 − p logit(p)log\frac{p}{1-p} logit(p)log1−pp​ 对逻辑斯谛回归而言由式6.5与式6.6得 l o g P ( Y 1 ∣ x ) 1 − P ( Y 1 ∣ x ) w ⋅ x log\frac{P(Y1|x)}{1-P(Y1|x)} w\cdot x log1−P(Y1∣x)P(Y1∣x)​w⋅x 这就是说在逻辑斯谛回归模型中输出 Y 1 Y1 Y1的对数几率是输入 x x x的线性函数。或者说输出 Y 1 Y1 Y1的对数几率是由输入 x x x的线性函数表示的模型即逻辑斯谛回归模型。 换一个角度看考虑对输入 x x x进行分类的线性函数 w ⋅ x w·x w⋅x其值域为实数域。注意这里 x ∊ R N 1 x∊R^{N1} x∊RN1, w ∊ R N 1 w∊R^{N1} w∊RN1。通过逻辑斯谛回归模型定义式6.5可以将线性函数 w ⋅ x w·x w⋅x转换为概率 P ( Y 1 ∣ x ) e x p ( w ⋅ x ) 1 e x p ( w ⋅ x ) P(Y1|x)\frac{exp(w \cdot x)}{1exp(w \cdot x)} P(Y1∣x)1exp(w⋅x)exp(w⋅x)​ 这时 线性函数的值越接近正无穷概率值就越接近1线性函数的值越接近负无穷概率值就越接近0如图6.1所示。 这样的模型就是逻辑斯谛回归模型。 6.1.3 模型参数估计 逻辑斯谛回归模型学习时对于给定的训练数据集 T ( x 1 y 1 ) , ( x 2 y 2 ) , … , ( x N , y N ) T{(x_1y_1),(x_2y_2),…,(x_N,y_N)} T(x1​y1​),(x2​y2​),…,(xN​,yN​)其中 x i ∊ R n x_i∊R^n xi​∊Rn y i ∊ 0 , 1 y_i∊{0,1} yi​∊0,1可以应用极大似然估计法估计模型参数从而得到逻辑斯谛回归模型。 设 P Y 1 ∣ x π ( x ) PY1|x\pi(x) PY1∣xπ(x) P Y 0 ∣ x 1 − π ( x ) PY0|x1-\pi(x) PY0∣x1−π(x) 似然函数为: ∏ i 0 N [ π ( x i ) ] y i [ 1 − π ( x i ) ] 1 − y i ] \prod \limits_{i0}^N[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}] i0∏N​[π(xi​)]yi​[1−π(xi​)]1−yi​] 对数似然函数为: 对 L ( w ) L(w) L(w)求极大值得到 w w w的估计值。 这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。 假设 w w w的极大似然估计值是 那么学到的逻辑斯谛回归模型为 P ( Y 1 ∣ x ) e x p ( w ^ ⋅ x ) 1 e x p ( w ^ ⋅ x ) P(Y1|x)\frac{exp(\hat{w} \cdot x)}{1exp(\hat{w} \cdot x)} P(Y1∣x)1exp(w^⋅x)exp(w^⋅x)​ P ( Y 0 ∣ x ) 1 1 e x p ( w ^ ⋅ x ) P(Y0|x)\frac{1}{1exp(\hat{w} \cdot x)} P(Y0∣x)1exp(w^⋅x)1​ 6.1.4 多项逻辑斯谛回归 上面介绍的逻辑斯谛回归模型是二项分类模型用于二类分类。 可以将其推广为多项逻辑斯谛回归模型multi-nominal logistic regression model用于多类分类。 假设离散型随机变量Y的取值集合是 1 , 2 , … , K {1,2,…,K} 1,2,…,K那么多项逻辑斯谛回归模型是   二项逻辑斯谛回归的参数估计法也可以推广到多项逻辑斯谛回归。