江苏建设信息官网网站,景安免费虚拟主机,成都企业网站开发公司,怎么做网页小游戏正则化方法有如下几种#xff1a; 一、参数范数惩罚 其中L2、L1参数正则化介绍与关系如下 1、L2 参数正则化 直观解释如下#xff1a; 2、L1 参数正则化 二、获取更多数据#xff08;扩样本#xff09; 避免过拟合的基本方法之一是从数据源获得更多数据#xff0c;当训练数… 正则化方法有如下几种 一、参数范数惩罚  其中L2、L1参数正则化介绍与关系如下 1、L2 参数正则化 直观解释如下 2、L1 参数正则化   二、获取更多数据扩样本         避免过拟合的基本方法之一是从数据源获得更多数据当训练数据有限时可以通过数据增强data augmentation变换原有的数据生成新的数据来扩大训练集。即使拥有大量数据进行数据增强也是有必要的因为可以防止神经网络学习到不相干的模式从根本上提升整体性能。还要注意在使用增强技术的同时必须确保不增加无关无意义的数据。数据增强的主要方法请移步https://www.cnblogs.com/CJT-blog/p/10423213.html   三、噪声鲁棒性 将噪声加入到输入。在一般情况下,注入噪声远比简单地收缩参数强大,特别是噪声被添加到隐藏单元时会更加强大如Dropout。对于某些模型而言向输入添加方差极小的噪声等价于对权重施加范数惩罚。 将噪声加入到权重。这项技术主要用于循环神经网络。权重上的噪声相当于鼓励参数进入权重小扰动对输出相对影响较小的参数空间区域。或者说推动模型进入对权重小的变化相对不敏感的区域找到的点不只是极小点还是由平坦区域包围的极小点。   四、BN层 请移步https://www.cnblogs.com/CJT-blog/p/10424058.html   五、限制训练时间、次数及早停止可以看作正则化方法一种 数据集一般分为训练集、验证集和测试集。训练过程中每隔一定step就会在验证集上测试一次训练集和测试集上的Loss变化趋势如下图所示图片来自Deep Learning。  从上图可以看出训练到一定步数后训练集上的损失还在下降 但验证集上的损失已经不变甚至增大。这时模型就有过拟合的风险应提前终止模型训练。   六、参数绑定和参数共享参数范数惩罚或约束是相对于固定区域或点如 L2 正则化是对参数偏离0 固定值进行惩罚。但有时我们需要对模型参数之间的相关型进行惩罚使模型参数尽量接近或者相等。 卷积神经网络参数共享强迫模型某些参数相等主要应用卷积神经网络CNN优点显著降低了CNN模型的参数数量CNN模型参数数量经常是千万量级以上减少模型所占用的内存并且显著提高了网络大小而不需要相应的增加训练数据。   七、稀疏表示稀疏表示也是卷积神经网络经常用到的正则化方法。 L1 正则化会诱导稀疏的参数使得许多参数为0而稀疏表示是惩罚神经网络的激活单元稀疏化激活单元。换言之稀疏表示是使得每个神经元的输入单元变得稀疏很多输入是0。    八、多种模型结合 其实bagging的方法是可以起到正则化的作用,因为正则化就是要减少泛化误差,而bagging的方法可以组合多个模型起到减少泛化误差的作用. 在深度学习中同样可以使用此方法,但是其会增加计算和存储的成本.   九、Dropout策略 Dropout是一种非常有效的防止模型过拟合的技术可以看作正则化方法一种参考论文《ImageNet Classification with Deep Convolutional》。其基本原理是在深度神经网络训练过程中按照一定的概率随机丢弃(dropout)一些神经元的激活提高模型的泛化能力使模型更为鲁棒。下图给出Dropout的示意图 Dropout在模型训练中非常有效尤其是当数据量大时效果会很好。但Dropout为什么会起作用呢 在每次训练过程中Dropout强迫一个神经元和随机挑选出来的其他神经元共同工作消弱减除了神经元节点之间的联合适应性可以阻止某些特征的协同作用使得模型不会太依赖某些局部特征从而增强模型的鲁棒性。模型组合ensemble:每次做完Dropout相当于从整个网络中得到一个子网络。通过多个网络的组合能够提高模型的泛化能力。而且这些子网络权值共享具有相同的网络层数能够大大减小计算量与直接把n个结构完全不同的网络组合相比。需要注意的是使用dropout后会使训练时间加长收敛速度变慢但是对测试阶段没有影响。使用dropout进行训练时相当于做了data augmentation因为总可以找到一个样本使得在原始网络上也能达到dropout后的效果。同时使用dropout后相当于得到了更多的局部簇同等数据下簇变多了使得区分性变大同时稀疏性也变大。  十、半监督学习、多任务学习、对抗学习    参考文献 https://blog.csdn.net/u011239443/article/details/78152022 https://blog.csdn.net/red_stone1/article/details/80755144转载于:https://www.cnblogs.com/CJT-blog/p/10424060.html