国际国内新闻最新消息今天,seo经验是什么,网站如何添加百度统计,wordpress怎么改导航目录 一、AlexNet卷积神经网络结构模型 1、数据库ImageNet 2、AlexNet第一层卷积层 二、AlexNet卷积神经网络的改进 1、非线性变化函数的改变——ReLU 2、最大池化#xff08;Max Pooling#xff09;概念的提出——卷积神经网络通用 1#xff09;池化层 2#xff0…目录 一、AlexNet卷积神经网络结构模型 1、数据库ImageNet 2、AlexNet第一层卷积层 二、AlexNet卷积神经网络的改进 1、非线性变化函数的改变——ReLU 2、最大池化Max Pooling概念的提出——卷积神经网络通用 1池化层 2最大池化 问题1在AlexNet中后向传播时池化后特征图像的梯度怎么传给池化前的图像——赢者通吃法 3池化过程的功能和效果 3、随机丢弃Drop Out 问题2为什么参数要乘以1-p 4、增加训练样本 5、利用2片GPU进行加速 ​ 三、AlexNet的效果 四、AlexNet中的参数 一、AlexNet卷积神经网络结构模型 1998年LeNet卷积神经网络 2013年AlexNet卷积神经网络 AlexNet卷积神经网络相较于LeNet卷积神经网络其实本质上没有改变只是在一些细节上进行了改善 1、数据库ImageNet 数据库ImageNet 样本数据120万 类别1000类 2、AlexNet第一层卷积层 第一层卷积层的相关参数 图像大小227*227*3 卷积核大小11*11*3 卷积核个数96个 步长【44】 特征图像大小55*55*96图上看起来是48实际上是96将96分成两个48给两个GPU进行处理 二、AlexNet卷积神经网络的改进 1、非线性变化函数的改变——ReLU 2、最大池化Max Pooling概念的提出——卷积神经网络通用 1池化层 在LeNet中这一层叫做降采样层Alex将其改名为池化层Pooling 2最大池化 LeNet中这一层所做的事情是将红色区域的所有值的平均值作为输出变成右边的一个蓝色像素格子 但是在AlexNet中是将红色区域中最大的像素值作为输出变成右边的一个蓝色像素格子的值 问题1在AlexNet中后向传播时池化后特征图像的梯度怎么传给池化前的图像——赢者通吃法 答在LeNet中前向传播是平均池化后向传播时将池化后的特征每一个格子的梯度平均分给池化前的图像 但是在AlexNet中由于是最大池化得到的池化后的特征图像因此在后向传播的梯度处理上也是基于此。将上图中蓝色格子的梯度直接传播赋值给池化前红色区域的像素值最大的格子其余的格子的梯度设置为0这就是赢者通吃法则 3池化过程的功能和效果 功能 降采样 非线性操作——因此池化用的是最大池化和RULE函数进行非线性转换的效果是一样的 效果 只有最大像素值有关其余像素的梯度均设置为0这样导致的结果就是参与前向计算的神经元减少降低了过拟合的可能 3、随机丢弃Drop Out 训练用丢弃神经元后的神经网络测试的时候需要用完整的神经网络 注随机丢弃可以随机地激活一部分神经元会使得参数稳定化避免了过拟合 问题2为什么参数要乘以1-p 答望赐教 4、增加训练样本 有的时候参数过多训练样本不够这样就会导致待测参数的不准确使得性能不够 5、利用2片GPU进行加速 三、AlexNet的效果 四、AlexNet中的参数 参数个数可参考《机器学习——深度学习之卷积神经网络CNN——LeNet卷积神经网络结构》