我想做教育网站那里做,app推荐,九江市住房和城乡建设局网站,百度推广代理商赚钱吗归一化 Normalization 归一化一般是将数据映射到指定的范围#xff0c;用于去除不同维度数据的量纲以及量纲单位。 常见的映射范围有 [0, 1] 和 [-1, 1] #xff0c;最常见的归一化方法就是 Min-Max 归一化#xff1a; 举个例子#xff0c;我们判断一个人的身体状况是否健…归一化 Normalization 归一化一般是将数据映射到指定的范围用于去除不同维度数据的量纲以及量纲单位。 常见的映射范围有 [0, 1] 和 [-1, 1] 最常见的归一化方法就是 Min-Max 归一化 举个例子我们判断一个人的身体状况是否健康那么我们会采集人体的很多指标比如说身高、体重、红细胞数量、白细胞数量等。 一个人身高 180cm体重 70kg白细胞计数 [公式] etc. 衡量两个人的状况时白细胞计数就会起到主导作用从而遮盖住其他的特征归一化后就不会有这样的问题。 ###标准化 Normalization 归一化和标准化的英文翻译是一致的但是根据其用途或公式的不同去理解或翻译 下面我们将探讨最常见的标准化方法 Z-Score 标准化。 机器学习的目标无非就是不断优化损失函数使其值最小。在上图中 [公式] 就是我们要优化的目标函数 我们不难看出标准化后可以更加容易地得出最优参数 [公式] 和 [公式] 以及计算出 [公式] 的最小值从而达到加速收敛的效果。 [公式] 注上图来源于 Andrew Ng 的课程讲义 正则化 Regularization 正则化主要用于避免过拟合的产生和减少网络误差。 正则化是指为解决适定性问题或过拟合而加入额外信息的过程常用的额外项一般有两种一般英文称作 l1−norml_1-norml1​−norm 和l2−norml_2-norml2​−norm中文称作 L1正则化 和 L2正则化或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型使用L1正则化的模型建叫做Lasso回归使用L2正则化的模型叫做Ridge回归岭回归。 正则化一般具有如下形式 其中第 1 项是经验风险第 2 项是正则项 [公式] 为调整两者之间关系的系数。 第 1 项的经验风险较小的模型可能较复杂有多个非零参数这时第 2 项的模型复杂度会较大。 下面是Lasso回归的损失函数式中加号后面一项α∣∣w∣∣1\alpha∣∣w∣∣_1α∣∣w∣∣1​即为L1正则化项。 Lasso的优化目标为 下面是Ridge回归的损失函数式中加号后面一项α∣∣w∣∣22\alpha∣∣w∣∣_2^2α∣∣w∣∣22​即为L2正则化项。 Ridge Regression的优化目标为 一般回归分析中www表示特征的系数从上式可以看到正则化项是对系数做了处理限制。L1正则化和L2正则化的说明如下 L1正则化是指权值向量www中各个元素的绝对值之和通常表示为∣∣w∣∣1∣∣w∣∣_1∣∣w∣∣1​ ​L2正则化是指权值向量www中各个元素的平方和然后再求平方根可以看到Ridge回归的L2正则化项有平方符号通常表示为∣∣w∣∣22∣∣w∣∣_2^2∣∣w∣∣22​ 一般都会在正则化项之前添加一个系数Python的机器学习包sklearn中用α\alphaα表示一些文章也用λ\lambdaλ表示。这个系数需要用户指定。 那添加L1和L2正则化有什么用 L1正则化可以产生稀疏权值矩阵即产生一个稀疏模型可以用于特征选择 L2正则化可以防止模型过拟合overfitting一定程度上L1也可以防止过拟合 ———————————————— 原文链接https://zhuanlan.zhihu.com/p/29957294 https://blog.csdn.net/jinping_shi/article/details/52433975