网站主机建设方案,三合一网站cms,贪玩传世官网,专做蓝领的网站目录 NLP自然语言处理 的RNN、Seq2Seq与attention注意力机制 RNN循环神经网络 前馈网络入门 前馈网络 循环网络 多层感知器架构示例 循环神经网络的运作原理 展开 RNN seq2seq模型 Attention#xff08;注意力机制#xff09; 总结 引用 NLP自然语言处理 的RNN、…目录 NLP自然语言处理 的RNN、Seq2Seq与attention注意力机制 RNN循环神经网络 前馈网络入门 前馈网络 循环网络 多层感知器架构示例 循环神经网络的运作原理 展开 RNN seq2seq模型 Attention注意力机制 总结 引用 NLP自然语言处理 的RNN、Seq2Seq与attention注意力机制 RNN循环神经网络 我们为什么需要 RNN 也许你现在想的是已经有像卷积网络这样表现非常出色的网络了为什么还需要其他类型的网络呢有一个需要用到 RNN 的特殊例子。为了解释 RNN你首先需要了解序列的相关知识我们先来讲一下序列。 序列是相互依赖的有限或无限数据流比如时间序列数据、信息性的字符串、对话等。在对话中一个句子可能有一个意思但是整体的对话可能又是完全不同的意思。股市数据这样的时间序列数据也是单个数据表示当前价格但是全天的数据会有不一样的变化促使我们作出买进或卖出的决定。 当输入数据具有依赖性且是序列模式时CNN 的结果一般都不太好。CNN 的前一个输入和下一个输入之间没有任何关联。所以所有的输出都是独立的。CNN 接受输入然后基于训练好的模型输出。如果你运行了 100 个不同的输入它们中的任何一个输出都不会受之前输出的影响。但想一下如果是文本生成或文本翻译呢所有生成的单词与之前生成的单词都是独立的有些情况下与之后的单词也是独立的这里暂不讨论。所以你需要有一些基于之前输出的偏向。这就是需要 RNN 的地方。RNN 对之前发生在数据序列中的事是有一定记忆的。这有助于系统获取上下文。理论上讲RNN 有无限的记忆这意味着它们有无限回顾的能力。通过回顾可以了解所有之前的输入。但从实际操作中看它只能回顾最后几步。 本文仅为了与人类大体相关联而不会做任何决定。本文只是基于之前关于该项目的知识做出了自己的判断我甚至尚未理解人类大脑的 0.1%。 何时使用 RNN RNN 可用于许多不同的地方。下面是 RNN 应用最多的领域。 1. 语言建模和文本生成 给出一个词语序列试着预测下一个词语的可能性。这在翻译任务中是很有用的因为最有可能的句子将是可能性最高的单词组成的句子。 2. 机器翻译 将文本内容从一种语言翻译成其他语言使用了一种或几种形式的 RNN。所有日常使用的实用系统都用了某种高级版本的 RNN。 3. 语音识别 基于输入的声波预测语音片段从而确定词语。 4. 生成图像描述 RNN 一个非常广泛的应用是理解图像中发生了什么从而做出合理的描述。这是 CNN 和 RNN 相结合的作用。CNN 做图像分割RNN 用分割后的数据重建描述。这种应用虽然基本但可能性是无穷的。 5. 视频标记 可以通过一帧一帧地标记视频进行视频搜索。 深入挖掘 本文按照以下主题进行。每一部分都是基于之前的部分进行的所以不要跳着读。 前馈网络循环网络循环神经元基于时间的反向传播BPTTRNN 实现 前馈网络入门 前馈网络通过在网络的每个节点上做出的一系列操作传递信息。前馈网络每次通过每个层直接向后传递信息。这与其他循环神经网络不同。一般而言前馈网络接受一个输入并据此产生输出这也是大多数监督学习的步骤输出结果可能是一个分类结果。它的行为与 CNN 类似。输出可以是以猫狗等作为标签的类别。 前馈网络是基于一系列预先标注过的数据训练的。训练阶段的目的是减少前馈网络猜类别时的误差。一旦训练完成我们就可以用训练后的权重对新批次的数据进行分类。 一个典型的前馈网络架构 在前馈网络中无论在测试阶段展示给分类器的图像是什么都不会改变权重所以也不会影响第二个决策。这是前馈网络和循环网络之间一个非常大的不同。 前馈网络 在测试时不会记得之前的输入数据。它们始终是取决于时间点的。它们只会在训练阶段记得历史输入数据。 循环网络 循环网络不仅将当前的输入样例作为网络输入还将它们之前感知到的一并作为输入。 我们试着建立了一个多层感知器。从简单的角度讲它有一个输入层、一个具备特定激活函数的隐藏层最终可以得到输出。 多层感知器架构示例 如果在上述示例中的层数增加了输入层也接收输入。那么第一个隐藏层将激活传递到下一个隐藏层上依此类推。最后到达输出层。每一个隐藏层都有自己的权重和偏置项。现在问题变成了我们可以输入到隐藏层吗 每一层都有自己的权重W、偏置项B和激活函数F。这些层的行为不同合并它们从技术层面上讲也极具挑战性。为了合并它们我们将所有层的权重和偏置项替换成相同的值。如下图所示 现在我们就可以将所有层合并在一起了。所有的隐藏层都可以结合在一个循环层中。所以看起来就像下图 我们在每一步都会向隐藏层提供输入。现在一个循环神经元存储了所有之前步的输入并将这些信息和当前步的输入合并。因此它还捕获到一些当前数据步和之前步的相关性信息。t-1 步的决策影响到第 t 步做的决策。这很像人类在生活中做决策的方式。我们将当前数据和近期数据结合起来帮助解决手头的特定问题。这个例子很简单但从原则上讲这与人类的决策能力是一致的。这让我非常想知道我们作为人类是否真的很智能或者说我们是否有非常高级的神经网络模型。我们做出的决策只是对生活中收集到的数据进行训练。那么一旦有了能够在合理时间段内存储和计算数据的先进模型和系统时是否可以数字化大脑呢所以当我们有了比大脑更好更快的模型基于数百万人的数据训练出的时会发生什么 我们用一个例子来阐述上面的解释这个例子是预测一系列字母后的下一个字母。想象一个有 8 个字母的单词 namaskar。 namaskar合十礼印度表示尊重的传统问候或姿势将手掌合起置于面前或胸前鞠躬。 如果我们在向网络输入 7 个字母后试着找出第 8 个字母会发生什么呢隐藏层会经历 8 次迭代。如果展开网络的话就是一个 8 层的网络每一层对应一个字母。所以你可以想象一个普通的神经网络被重复了多次。展开的次数与它记得多久之前的数据是直接相关的。 循环神经网络的运作原理 循环神经元 这里我们将更深入地了解负责决策的实际神经元。以之前提到的 namaskar 为例在给出前 7 个字母后试着找出第 8 个字母。输入数据的完整词汇表是 {n,a,m,s,k,r}。在真实世界中单词或句子都会更复杂。为了简化问题我们用的是下面这个简单的词汇表。 在上图中隐藏层或 RNN 块在当前输入和之前的状态中应用了公式。在本例中namaste 的字母 n 前面什么都没有。所以我们直接使用当前信息推断并移动到下一个字母 a。在推断字母 a 的过程中隐藏层应用了上述公式结合当前推断 a 的信息与前面推断 n 的信息。输入在网络中传递的每一个状态都是一个时间步或一步所以时间步 t 的输入是 a时间步 t-1 的输入就是 n。将公式同时应用于 n 和 a 后就得到了一个新状态。 用于当前状态的公式如下所示 h_t 是新状态h_t-1 是前一个状态。x_t 是时间 t 时的输入。在对之前的时间步应用了相同的公式后我们已经能感知到之前的输入了。我们将检查 7 个这样的输入它们在每一步的权重和函数都是相同的。 现在试着以简单的方式定义 f()。我们使用 tanh 激活函数。通过矩阵 W_hh 定义权重通过矩阵 W_xh 定义输入。公式如下所示 上例只将最后一步作为记忆因此只与最后一步的数据合并。为了提升网络的记忆能力并在记忆中保留较长的序列我们必须在方程中添加更多的状态如 h_t-2、h_t-3 等。最后输出可以按测试阶段的计算方式进行计算 其中y_t 是输出。对输出与实际输出进行对比然后计算出误差值。网络通过反向传播误差来更新权重进行学习。本文后续部分会对反向传播进行讨论。 基于时间的反向传播算法BPTT 现在我们了解了 RNN 是如何实际运作的但是在实际工作中如何训练 RNN 呢该如何决定每个连接的权重呢如何初始化这些隐藏单元的权重呢循环网络的目的是要准确地对序列输入进行分类。这要靠误差值的反向传播和梯度下降来实现。但是前馈网络中使用的标准反向传播无法在此应用。 与有向无环的前馈网络不同RNN 是循环图这也是问题所在。在前馈网络中可以计算出之前层的误差导数。但 RNN 的层级排列与前馈网络并不相同。 答案就在之前讨论过的内容中。我们需要展开网络。展开网络使其看起来像前馈网络就可以了。 展开 RNN 在每个时间步取出 RNN 的隐藏单元并复制。时间步中的每一次复制就像前馈网络中的一层。在时间步 t1 中每个时间步 t 层与所有可能的层连接。因此我们对权重进行随机初始化展开网络然后在隐藏层中通过反向传播优化权重。通过向最低层传递参数完成初始化。这些参数作为反向传播的一部分也得到了优化。 展开网络的结果是现在每一层的权重都不同因此最终会得到不同程度的优化。无法保证基于权重计算出的误差是相等的。所以每一次运行结束时每一层的权重都不同。这是我们绝对不希望看到的。最简单的解决办法是以某种方式将所有层的误差合并到一起。可以对误差值取平均或者求和。通过这种方式我们可以在所有时间步中使用一层来保持相同的权重。 RNN循环神经网络被广泛应用于自然语言处理中对于处理序列数据有很好的效果常见的序列数据有文本、语音等至于为什么要用到循环神经网络而不是传统的神经网络我们在这里举一个例子。 假如有一个智能订票系统我只需要输入一句话该系统能识别出我将在什么时间订购去哪里的车票。那么程序需要根据我们输入的文本识别出我们出发的时间目的地以及始发地。 如:我一月一号去郑州。 那么“一月一号”是时间“郑州”是目的地“我”和“去”都是其他不需要提取的信息我们统一归为其他类。 那么假如我输入另外一个句子: 我一月一号离开郑州 此时“一月一号”是时间“郑州”就变成了始发地“我”和“离开”都是其他。 针对这个例子我输入不同的文本郑州表示为不同的label,用前馈神经网络去做的话就不能将两个不同语境下的“郑州”区分开所以这时我们需要我们的神经网络具有记忆功能即当在看到第一个文本中的“郑州”的时候神经网络已经存储了“去”这个词的信息。当在看到第二个文本中的“郑州”的时候就已经存储了“离开”这个词的信息因为“去”和“离开”两个词的信息不同故就可以将两个文本中的“郑州”区分开。 下面我们根据这个例子去了解循环神经网络的结构 对于一个文本的每一个词可以看做是一个时序。RNN的每一个时序是一个前馈神经网络但是为了在每一个时刻都包含前边时序的信息所以RNN的每个时序共享了隐藏层即当前时刻的输入不仅包含了当前时刻的词还包含了前一时刻的隐藏层的输出。 RNN结构图 因为计算机并不能读懂汉字所以我们一般会用向量的方式去表示一个词。 向量表示词的方法有很多常用的比如one-hot、词袋模型、词嵌入等。 在本例中为了方便计算在这里我们使用 [1,1]表示我 [2,2]表示去 [3,3]表示离开 [4,4]表示郑州 并且假设所有的权重都是1所有的偏置都是0。 下图为“我去郑州”的循环神经网络结构图。 我去郑州 我离开郑州 下图为“我离开郑州”的循环神经网络结构图。 我们看到因为“去”和“离开”的词向量不同所以在循环神经网络中最后的“郑州”的输出也不相同这样就能把两个“郑州”给区分开来了。 根据上边的例子可以看出来循环神经网络中每一个时序的隐藏层不仅包含了前边时序的输入信息也包含了前边时序的顺序信息。可以理解为包含了前边时序的语义信息。 循环神经网络展开图: RNN展开图 可以看出每一个时刻的输出不仅包含了该时刻的输入向量也包含了前一时刻的隐藏层的输出。具体的计算公式如下: seq2seq模型 刚才的例子其实是N对N的循环神经网络即我的输入序列长度是N,输出也是对应的N长度的序列。其实循环神经网络还有其他的比如:1对N、N对1。 但很多时候我们会遇到输入序列和输出序列不等长的例子但又不是1对N和N对1如机器翻译智能问答源语言和目标语言的句子往往并没有相同的长度。为此我们引出RNN最重要的一个变种N vs M。这种结构又叫Encoder-Decoder模型也可以称之为Seq2Seq模型。 seq2seq模型 还有一种做法是将c当做每一步的输入 seq2seq模型 对于序列到序列的数据来说可以把Encoder和Decoder分别看成是RNN在Encoder中根据输入数据生成一个语义编码CC的获取方式有很多种最简单的就是把Encoder中最后一个隐藏层赋值给C也可以对最后一个隐藏状态做一个变换得到C还可以对所有的隐藏状态做变换得到C。 拿到C之后就可以用另一个RNN进行解码这部分RNN被称为Decoder具体做法就是将C当做之前的初始状态h0输入到Decoder中C还有一种做法是将C当做每一步的输入。 这里我们用一个机器翻译的例子解释seq2seq模型。 例:机器学习翻译 成 machine learning Attention注意力机制 图片展示的Encoder-Decoder框架是没有体现“注意力模型”的所以可以把它看做是注意力不集中分心模型。因为在生成目标句子的单词时不论生成哪个单词它们使用的输入句子的语义编码C都是一样的没有任何区别。而语义编码C是由原句子中的每个单词经过Encoder编码产生的这意味着原句子中任意单词对生成某个目标单词来说影响力都是相同的这就是模型没有体现出注意力的缘由。 在上边那个例子中在生成“machine”时机,器,学,习的贡献是相同的很明显这是不太合理显然机,器对于翻译成machine更为重要。所以我们希望在模型翻译machine的时候机器两个字的贡献(权重)更大当在翻译成learning时学习两个字贡献(权重)更大。 上图中输入序列上是“机器学习”因此Encoder中的h1、h2、h3、h4分别代表“机,器,学,习”的信息在翻译macine时第一个上下文向量C1应该和机,器两个字最相关所以对应的权重a比较大在翻译learning时第二个上下文向量C2应该和学,习两个字最相关所以学,习对应的权重a比较大。 a其实是一个0-1之间的值a可以看成是e的softmax后的结果。 翻译matchine 翻译learning 那现在关于attention来说就只剩下一个问题了就是e是怎么来的。关于e的计算业界有很多种方法常用的有以下三种方式: 计算Encoder的序列h与Decoder的序列h的余弦相似度.在1的基础上乘上一个WaWa是需要学习的参数从学习到Encoder和Decoder的隐藏的打分e。设计一个前馈神经网络前馈神经网络的输入是Encoder和Decoder的两个隐藏状态Va、Wa都是需要学习的参数。 总结 到这里本文已经介绍了RNN循环神经网络的基本概念seq2seq模型的基本概念及seq2seq中的注意力机制希望能帮到大家。