冠县网站建设多少钱,网站开发手机模拟器,网站建设的公司哪家是上市公司,哪里可以检测钢结构防火涂料推荐阅读时间#xff1a;8min~15min主要内容#xff1a;卷积神经网络《Convolutional Neural Networks》是Andrw Ng深度学习专项课程中的第四门课。这门课主要介绍卷积神经网络#xff08;CNN#xff09;的基本概念、模型和具体应用。该门课共有4周课时#xff0c;所以我将… 推荐阅读时间8min~15min主要内容卷积神经网络《Convolutional Neural Networks》是Andrw Ng深度学习专项课程中的第四门课。这门课主要介绍卷积神经网络CNN的基本概念、模型和具体应用。该门课共有4周课时所以我将分成4次笔记来总结这是第一节笔记。1Computer Vision机器视觉Computer Vision是深度学习应用的主要方向之一。一般的CV问题包括以下三类Image ClassificationObject detectionNeural Style Transfer下图展示了一个神经风格转换Neural Style Transfer的例子使用传统神经网络处理机器视觉的一个主要问题是输入层维度很大。例如一张64x64x3的图片神经网络输入层的维度为12288。如果图片尺寸较大例如一张1000x1000x3的图片神经网络输入层的维度将达到3百万使得网络权重W非常庞大。这样会造成两个后果一是神经网络结构复杂数据量相对不够容易出现过拟合二是所需内存、计算量较大。解决这一问题的方法就是使用卷积神经网络CNN。2 Edge Detection Example对于CV问题我们在之前的笔记中介绍过神经网络由浅层到深层分别可以检测出图片的边缘特征 、局部特征例如眼睛、鼻子等、整体面部轮廓。这一小节我们将介绍如何检测图片的边缘。最常检测的图片边缘有两类一是垂直边缘vertical edges二是水平边缘horizontal edges。图片的边缘检测可以通过与相应滤波器进行卷积来实现。以垂直边缘检测为例原始图片尺寸为6x6滤波器filter尺寸为3x3卷积后的图片尺寸为4x4得到结果如下上图只显示了卷积后的第一个值和最后一个值。顺便提一下* 表示卷积操作。python中卷积用conv_forward()表示tensorflow中卷积用tf.nn.conv2d()表示keras中卷积用Conv2D()表示。Vertical edge detection能够检测图片的垂直方向边缘。下图对应一个垂直边缘检测的例子3 More Edge Detection图片边缘有两种渐变方式一种是由明变暗另一种是由暗变明。以垂直边缘检测为例下图展示了两种方式的区别。实际应用中这两种渐变方式并不影响边缘检测结果可以对输出图片取绝对值操作得到同样的结果。垂直边缘检测和水平边缘检测的滤波器算子如下所示下图展示一个水平边缘检测的例子除了上面提到的这种简单的Vertical、Horizontal滤波器之外还有其它常用的filters例如Sobel filter和Scharr filter。这两种滤波器的特点是增加图片中心区域的权重。上图展示的是垂直边缘检测算子水平边缘检测算子只需将上图顺时针翻转90度即可。在深度学习中如果我们想检测图片的各种边缘特征而不仅限于垂直边缘和水平边缘那么filter的数值一般需要通过模型训练得到类似于标准神经网络中的权重W一样由梯度下降算法反复迭代求得。CNN的主要目的就是计算出这些filter的数值。确定得到了这些filter后CNN浅层网络也就实现了对图片所有边缘特征的检测。4 Padding按照我们上面讲的图片卷积如果原始图片尺寸为n x nfilter尺寸为f x f则卷积后的图片尺寸为(n-f1) x (n-f1)注意f一般为奇数。这样会带来两个问题卷积运算后输出图片尺寸缩小原始图片边缘信息对输出贡献得少输出图片丢失边缘信息为了解决图片缩小的问题可以使用padding方法即把原始图片尺寸进行扩展扩展区域补零用p来表示每个方向扩展的宽度。经过padding之后原始图片尺寸为(n2p) x (n2p)filter尺寸为f x f则卷积后的图片尺寸为(n2p-f1) x (n2p-f1)。若要保证卷积前后图片尺寸不变则p应满足5 Strided ConvolutionsStride表示filter在原图片中水平方向和垂直方向每次的步进长度。之前我们默认stride1。若stride2则表示filter每次步进长度为2即隔一点移动一次。我们用s表示stride长度p表示padding长度如果原始图片尺寸为n x nfilter尺寸为f x f则卷积后的图片尺寸为上式中⌊…⌋表示向下取整。值得一提的是相关系数cross-correlations与卷积convolutions之间是有区别的。实际上真正的卷积运算会先将filter绕其中心旋转180度然后再将旋转后的filter在原始图片上进行滑动计算。filter旋转如下所示比较而言相关系数的计算过程则不会对filter进行旋转而是直接在原始图片上进行滑动计算。其实目前为止我们介绍的CNN卷积实际上计算的是相关系数而不是数学意义上的卷积。但是为了简化计算我们一般把CNN中的这种“相关系数”就称作卷积运算。之所以可以这么等效是因为滤波器算子一般是水平或垂直对称的180度旋转影响不大而且最终滤波器算子需要通过CNN网络梯度下降算法计算得到旋转部分可以看作是包含在CNN模型算法中。总的来说忽略旋转运算可以大大提高CNN网络运算速度而且不影响模型性能。卷积运算服从分配律6 Convolutions Over Volume对于3通道的RGB图片其对应的滤波器算子同样也是3通道的。例如一个图片是6 x 6 x 3分别表示图片的高度height、宽度weight和通道#channel。3通道图片的卷积运算与单通道图片的卷积运算基本一致。过程是将每个单通道RGB与对应的filter进行卷积运算求和然后再将3通道的和相加得到输出图片的一个像素值。不同通道的滤波算子可以不相同。例如R通道filter实现垂直边缘检测G和B通道不进行边缘检测全部置零或者将RGB三通道filter全部设置为水平边缘检测。为了进行多个卷积运算实现更多边缘检测可以增加更多的滤波器组。例如设置第一个滤波器组实现垂直边缘检测第二个滤波器组实现水平边缘检测。这样不同滤波器组卷积得到不同的输出个数由滤波器组决定。7 One Layer of  a Convolutional Network卷积神经网络的单层结构如下所示相比之前的卷积过程CNN的单层结构多了激活函数ReLU和偏移量b。整个过程与标准的神经网络单层结构非常类似卷积运算对应着上式中的乘积运算滤波器组数值对应着权重  所选的激活函数为ReLU。我们来计算一下上图中参数的数目每个滤波器组有3x3x327个参数还有1个偏移量b则每个滤波器组有27128个参数两个滤波器组总共包含28x256个参数。我们发现选定滤波器组后参数数目与输入图片尺寸无关。所以就不存在由于图片尺寸过大造成参数过多的情况。例如一张1000x1000x3的图片标准神经网络输入层的维度将达到3百万而在CNN中参数数目只由滤波器组决定数目相对来说要少得多这是CNN的优势之一。8 Simple Convolutional Network Example下面介绍一个简单的CNN网络模型9 Pooling LayersPooling layers是CNN中用来减小尺寸提高运算速度的同样能减小noise影响让各特征更具有健壮性。Pooling layers的做法比convolution layers简单许多没有卷积运算仅仅是在滤波器算子滑动区域内取最大值即max pooling这是最常用的做法。注意超参数p很少在pooling layers中使用。Max pooling的好处是只保留区域内的最大值特征忽略其它值降低noise影响提高模型健壮性。而且max pooling需要的超参数仅为滤波器尺寸f和滤波器步进长度s没有其他参数需要模型训练得到计算量很小。如果是多个通道那么就每个通道单独进行max pooling操作。除了max pooling之外还有一种做法average pooling。顾名思义average pooling就是在滤波器算子滑动区域计算平均值。实际应用中max pooling比average pooling更为常用。10 CNN Example下面介绍一个简单的数字识别的CNN例子图中CON层后面紧接一个POOL层CONV1和POOL1构成第一层CONV2和POOL2构成第二层。特别注意的是FC3和FC4为全连接层FC它跟标准的神经网络结构一致。最后的输出层softmax由10个神经元构成。整个网络各层的尺寸和参数如下表格所示11 Why Convolutions相比标准神经网络CNN的优势之一就是参数数目要少得多。参数数目少的原因有两个参数共享一个特征检测器例如垂直边缘检测对图片某块区域有用同时也可能作用在图片其它区域。连接的稀疏性因为滤波器算子尺寸限制每一层的每个输出只与输入部分区域内有关。除此之外由于CNN参数数目较小所需的训练样本就相对较少从而一定程度上不容易发生过拟合现象。而且CNN比较擅长捕捉区域位置偏移。也就是说CNN进行物体检测时不太受物体所处图片位置的影响增加检测的准确性和系统的健壮性。