网站建设与网络推广的关系,xml网站模板,做资源下载网站好吗,品牌活动策划现有一个使用Relu激活函数的网络#xff0c;训练过程中发现#xff0c;它对所有的输入样本都输出一样的预测概率#xff0c;比如二分类#xff0c;对所有样本的预测概率都是[0.4,0.6]。由于预测概率都一样#xff0c;因此预测标签也都一样#xff0c;全预测为0或1。 一开…现有一个使用Relu激活函数的网络训练过程中发现它对所有的输入样本都输出一样的预测概率比如二分类对所有样本的预测概率都是[0.4,0.6]。由于预测概率都一样因此预测标签也都一样全预测为0或1。 一开始以为是不是网络结构搭建有问题因为当网络参数确定后不同的输入样本的输入数据不一样那么输出的预测概率肯定不一样怎么会全输出一样的概率。然后一层一层找原因发现某一卷积层的输出值全为0。经过分析该层使用的是Relu激活函数而且该层训练后的权值W和偏置b都是负数这样输入在这一层的卷积运算结果全为负值再经过Relu激活函数后这一层的输出值就全为0。因此不管输入样本是什么经过该层后的输出都为0从而导致网络最终输出的预测概率和输入样本完全没有关系此时输出概率取决于这一层后面层的偏置参数b。 解决方法 换一种网络参数的初始化方法或者改变初始化方法中的参数比如使用正态初始化的话可以尝试改变方差 网络参数的初始化方法 https://blog.csdn.net/weixin_38314865/article/details/106049511