在线教育网站建设策划,WordPress自定义icon,网络营销流程,有创意的公司名字目录 图像识别简介 神经网络 感知器 前馈神经网络 自动编码器 受限玻尔兹曼机 深度卷积网络 理解图像内容以及图像含义方面#xff0c;计算机遇到了很大困难。本章先介绍计算机理解图像教育方面 遇到的难题#xff0c;接着重点讲解一个基于深度学习的解决方法。我们会…目录 图像识别简介 神经网络 感知器 前馈神经网络 自动编码器 受限玻尔兹曼机 深度卷积网络 理解图像内容以及图像含义方面计算机遇到了很大困难。本章先介绍计算机理解图像教育方面 遇到的难题接着重点讲解一个基于深度学习的解决方法。我们会学习配置深度学习模型的高层 次理论并且讨论如何使用一个Java库——Deeplearning4j实现对图像进行分类的模型。 本章涵盖如下内容  图像识别简介  讨论深度学习基础  创建一个图像识别模型 图像识别简介 图像识别的典型目标是从一幅数字图像中检测并识别一个对象。图像识别可以应用于工厂自 动化系统以监督产品质量也可以应用于监控系统以识别潜在的危险行为比如行人或移动 的车辆还可以应用到于安保系统以通过指纹、虹膜、面部特征进行生物特征识别以及应 用于汽车自动驾驶技术以重建路面与环境条件等。 数字图像不以带有属性描述的结构化方式呈现相反它们会被编码为不同通道中的颜色数 量比如黑白与红绿蓝通道。学习的目标是识别与特定对象相关联的模式。传统的图像识别 方法是将一幅图像转换为不同形式比如识别对象的角点、边缘、同色斑点与基本形状。然后 使用这些模式训练学习器使之能够区分不同对象。下面列出了一些有名的传统图像识别算法。  边缘检测查找一幅图像中对象的边界。  角点检测识别两条边的交叉点或者其他感兴趣的点比如行尾结束符号、曲率极大值/ 极小值等。  斑点检测识别与周边区域有不同特征的区域比如亮度、颜色。  岭检测使用平滑函数识别图像中的兴趣点。  尺度不变特征变换SIFT这个算法十分强大即使目标对象大小或方向与比对数据库 中的典型样本不同它依然能够匹配目标对象。  霍夫变换Hough transform识别图像中的特定模式。 目前图像识别使用的最新方法是深度学习技术。深度学习是神经网络的一种它模仿了大 脑处理信息的方法。深度学习的主要优点是我们可以设计神经网络自动提取相关模式这些模 式反过来用于训练学习器。随着神经网络技术最新取得进展图像识别精度得到了明显提升。比 如ImageNet挑战赛ImageNet2016中主办方提供了120万张图像这些图像分别来自1000 个不同分类最佳算法的错误率由28%2010年利用SVM降低到7%2014年利用深度神 经网络。 本章将简单了解神经网络从最基本的构建块——感知器开始逐渐引入更复杂的结构。 神经网络 神经网络最早出现在20世纪60年代其灵感来自生物神经网络的研究。神经网络最新研究成 果表明深度神经网络非常适合用于模式识别任务因为它们能够自动提取有趣特征并且学习 底层表示。这部分内容中我们将学习从单个感知器到深度网络的基本结构与组件。 感知器 感知器是神经网络最基本的构建单元也是最早的监督算法之一。它定义为用权值对输入 进行加权并加上偏置。求和函数称为“和传递函数”sum transfer function它被送到一个激 活函数activation function。如果激活函数到达阈值输出为1否则为0。这就为我们提供了 一个二元分类器。感知器神经元模型如图 训练感知器使用的学习算法相当简单先在计算输出值与正确的训练输出值之间计算误差 然后根据误差调整权重从而实现某种形式的梯度下降算法。这个算法通常称为delta规则。 单层感知器不是很先进非线性可分函数比如XOR不能用它建模。为了解决这个问题 人们引入了多个感知器结构称为多层感知器也叫前馈神经网络。 前馈神经网络 前馈神经网络是由多个感知器组成的人工神经网络这些感知器按层组织可分为输入层、 输出层、一个或多个隐藏层如图所示。每层感知器也叫神经元与下层感知器直接相连 两个神经元之间的连接带有一个权重类似于感知器权重。图8-2显示的是一个带有四元输入层 的网络对应于长度为4的特征向量、四元隐藏层以及二元输出层每元对应于一个类值。 训练多层网络最流行的方法是反向传播算法。这种算法中采用与delta规则一样的方式将 计算得到的输出值与实际输出值进行比较。然后借助各种技术通过网络反馈误差调整每个连 接的权重以便减小误差值。这个过程不断重复达到足够多的训练周期直到错误少于某个特 定阈值。 前馈神经网络可以拥有一个以上的隐藏层每一个新增隐藏层在先前层之上创建一个新的抽 象。这样做通常可以让模型变得更精确但增加隐藏层数目会导致如下两个问题。  消失的梯度问题随着隐藏层的增多将信息传递到先前层时反向传播训练方法变得 越来越无用这会导致先前层训练很慢。  过拟合模型对训练数据拟合过度对于真实样本表现糟糕。 接下来了解用来处理这些问题的其他网络结构。 自动编码器 自动编码器Autoencoder是一种前馈神经网络其目标是学习如何压缩原数据集。我们不 是将特征映射到输入层以及将标签映射到输出层而是将特征同时映射到输入与输出层。隐藏层 的元数与输入层的元数通常是不同的这会强制网络要么扩展要么减少原特征的数量。借助这种方式网络会学习那些重要特征进而有效进行维数缩减。 图是一个自动编码器的例子。如图所示首先三元输入层扩展为四元层然后压缩成一 元层。在网络的另一侧将一元层恢复为四元层然后再恢复为原来的三元输入层。 一旦网络训练好之后我们就可以利用左侧网络提取图像特征就像我们在传统图像处理中 所做的那样。 还可以将多个自动编码器组成堆叠式自动编码器如图8-4所示。前面已经对最基本的自动 编码器做了讲解这里要讨论其隐藏层。然后选取学好的隐藏层圆圈并且重复这个步骤 学习更多的抽象表示。可以多次重复这个过程将原特征转换为越来越少的维数。最后选择所 有隐藏层将其堆叠为一个规则的前馈网络如图 受限玻尔兹曼机 受限玻尔兹曼机Restricted Boltzman machineRBM是一种无向神经网络也称为生成式随机神经网络Generative Stochastic NetworksGSN它能够在输入集之上学习概率分布。 顾名思义它起源于玻尔兹曼机Boltzman machine这是一种20世纪80年代出现的循环神经网 络。“受限”是指神经元必须组成两个全连接层——输入层与隐藏层如图 不同于前馈网络可见层与隐藏层之间的连接是无向的。 因此值可以沿着“可见隐藏” 与“隐藏可见”方向传播。 受限玻尔兹曼机的训练基于对比散度算法Contrastive Divergence使用类似反向传播的 梯度下降过程更新权重将吉布斯采样Gibbs sampling应用到马尔可夫链以评估梯度——权 重的改变方向。 我们也可以堆叠受限玻尔兹曼机形成深度信念网络Deep Belief NetworksDBN。此情 形之下RBM的隐藏层充当RBM层的可见层如图 训练是渐进式的即逐层训练。 深度卷积网络 最近在图像识别测试中取得很好效果的一种网络结构是卷积神经网络Convolutional Neural NetworkCNN。它是前馈神经网络的一种模拟视觉皮层的行为用于探索输入图像 的2D结构即展现空间局部相关性的模式。 CNN网络由若干卷积与子采样层组成后面可以有全连接层。图8-7显示的是一个CNN网络。 输入层读取一幅图像中的所有像素然后应用多个过滤器。图中应用了4个不同的过滤器。每个 过滤器都应用到原图像比如一个6×6过滤器的一个像素被计算为输入像素的6×6平方与相应的 6×6权重之和。这实际引入了与处理标准图像类似的过滤器比如平滑、相关、边缘检测等。这 样产生的结果图像称为特征图feature map。 图像例子中我们有4个特征图每一个对应一 个过滤器。 接下来的层是子采样层它用于减少输入大小。在2×2的连续区域上大图像高达5×5 通常采用平均值或最大池化max pooling方法对每个特征图做子采样。比如如果特征图大 小是16×16子采样区域是2×2缩减后的特征图尺寸是8×8通过计算最大、最小、平均值或 者用其他函数将4个像素2×2方格合并成一个像素。 网络可以包含几个连续卷积与子采样层如图所示。一个特定的特征图会被连接到下一 个缩减/卷积特征图而相同层上的特征图不会彼此相连。 在最后的子采样层或卷积层之后通常会有一个全连接层与标准多层神经网络中的层完全 相同表示目标数据。 CNN训练采用修改过的反向传播算法它会把子采样层也一起考虑进来并且基于所有应用 过滤器的值更新卷积过滤器的权重。 至此我们大致了解了主要的神经网络结构。接下来我们将学习如何实际实现。