郑州英语网站建设,费县住房和城乡建设局网站,专业汽车网站,抚州市做棋牌网站1️⃣ LSTM介绍 标准的RNN存在梯度消失和梯度爆炸问题#xff0c;无法捕捉长期依赖关系。那么如何理解这个长期依赖关系呢#xff1f; 例如#xff0c;有一个语言模型基于先前的词来预测下一个词#xff0c;我们有一句话 “the clouds are in the sky”#xff0c;基于无法捕捉长期依赖关系。那么如何理解这个长期依赖关系呢 例如有一个语言模型基于先前的词来预测下一个词我们有一句话 “the clouds are in the sky”基于the clouds are in the预测sky在这样的场景中预测的词和提供的信息之间位置间隔是非常小的如下图所示RNN可以捕捉到先前的信息。 然而针对复杂场景我们有一句话I grew up in France… I speak fluent FrenchFrench基于France推断但是它们之间的间隔很远很远RNN 会丧失学习到连接如此远信息的能力。这就是长期依赖关系。 为了解决该问题LSTM通过引入三种门遗忘门输入门输出门控制信息的流入和流出有助于保留长期依赖关系并缓解梯度消失【注意没有梯度爆炸昂】。LSTM在1997年被提出 2️⃣ 原理 下面这张图是标准的RNN结构 x t x_t xt​是t时刻的输入 s t s_t st​是t时刻的隐层输出 s t f ( U ⋅ x t W ⋅ s t − 1 ) s_tf(U\cdot x_tW\cdot s_{t-1}) st​f(U⋅xt​W⋅st−1​)f表示激活函数 s t − 1 s_{t-1} st−1​表示t-1时刻的隐层输出 h t h_t ht​是t时刻的输出 h t s o f t m a x ( V ⋅ s t ) h_tsoftmax(V\cdot s_t) ht​softmax(V⋅st​) LSTM的整体结构如下图所示第一眼看到反正我是看不懂。前面讲到LSTM引入三种门遗忘门输入门输出门现在我们逐一击破一个个分析一下它们到底是什么。 这是3D视角的LSTM 首先来看遗忘门也就是下面这张图 遗忘门输入包含两部分 s t − 1 s_{t-1} st−1​表示t-1时刻的短期记忆即隐层输出在LSTM中当前时间步的输出 h t − 1 h_{t-1} ht−1​就是隐层输出 s t − 1 s_{t-1} st−1​ x t x_t xt​表示t时刻的输入 遗忘门输出为 f t f_t ft​公式表示为 f t σ ( W f ⋅ [ h t − 1 , x t ] b f ) f_t\sigma\left(W_f\cdot[h_{t-1},x_t] b_f\right) ft​σ(Wf​⋅[ht−1​,xt​]bf​) 其中 W f W_f Wf​和 b f b_f bf​是遗忘门的参数 [ s t − 1 , x t ] [s_{t-1},x_t] [st−1​,xt​]表示concat操作。 σ ( ) \sigma() σ()表示sigmoid函数。 遗忘门定我们会从长期记忆中丢弃什么信息【理解为删除什么日记】输出一个在 0 到 1 之间的数值1 表示“完全保留”0 表示“完全舍弃”。 然后来看输入门 输入门的输入包含两部分 s t − 1 s_{t-1} st−1​表示t-1时刻的短期记忆 x t x_t xt​表示t时刻的输入 输入门的输出为新添加的内容 i t ∗ C ~ t i_t * \tilde{C}_t it​∗C~t​其具体操作为 i t σ ( W i ⋅ [ s t − 1 , x t ] b i ) C ~ t tanh ⁡ ( W C ⋅ [ s t − 1 , x t ] b C ) \begin{aligned}i_{t}\sigma\left(W_i\cdot[s_{t-1},x_t] b_i\right)\\\tilde{C}_{t}\tanh(W_C\cdot[s_{t-1},x_t] b_C)\end{aligned} it​C~t​​σ(Wi​⋅[st−1​,xt​]bi​)tanh(WC​⋅[st−1​,xt​]bC​)​ 输入门决定什么样的新信息被加入到长期记忆即细胞状态中【理解为添加什么日记】。 然后我们来更新长期记忆将 C t − 1 C_{t-1} Ct−1​更新为 C t C_t Ct​。我们把旧状态 C t − 1 C_{t-1} Ct−1​与遗忘门的输出 f t f_t ft​相乘忘记一些东西。接着加上输入门的输出 i t ∗ C ~ t i_t * \tilde{C}_t it​∗C~t​新加一些东西最终得到新的长期记忆 C t C_t Ct​。具体操作为 C t f t ∗ C t − 1 i t ∗ C ~ t C_tf_t*C_{t-1}i_t*\tilde{C}_t Ct​ft​∗Ct−1​it​∗C~t​ 最后来看输出门 输出门的输入包含 s t − 1 s_{t-1} st−1​表示t-1时刻的短期记忆 x t x_t xt​表示t时刻的输入 c t c_t ct​更新后的长期记忆 输出门的输出为 h t h_{t} ht​和 s t s_{t} st​ h t h_t ht​作为当前时间步的输出 s t s_{t} st​当做短期记忆输入到t1其具体操作为 o t σ ( W o [ s t − 1 , x t ] b o ) s t h t o t ∗ t a n h ( C t ) \begin{aligned}o_{t}\sigma\left(W_{o} \left[ s_{t-1},x_{t}\right] b_{o}\right)\\s_{t}h_{t}o_{t}*\mathrm{tanh}\left(C_{t}\right)\end{aligned} ​ot​σ(Wo​[st−1​,xt​]bo​)st​ht​ot​∗tanh(Ct​)​ 首先我们运行一个 sigmoid 层来确定长期记忆的哪个部分将输出出去。接着我们把长期记忆通过 tanh 进行处理得到一个在-1到1之间的值并将它和 o t o_{t} ot​相乘最终将输出copy成两份 h t h_t ht​和 s t s_{t} st​ h t h_t ht​作为当前时间步的输出 s t s_{t} st​当做短期记忆输入到t1。 LSTM的结构分析完了那为什么LSTM能够缓解梯度消失呢 我前面写的这篇文章中介绍了为什么RNN会有梯度消失和爆炸点这里查看 主要原因是反向传播时梯度中有这一部分 ∏ j k 1 3 ∂ s j ∂ s j − 1 ∏ j k 1 3 t a n h ′ W \prod_{jk1}^3\frac{\partial s_j}{\partial s_{j-1}}\prod_{jk1}^3tanh^{}W jk1∏3​∂sj−1​∂sj​​jk1∏3​tanh′W LSTM的作用就是让 ∂ s j ∂ s j − 1 \frac{\partial s_j}{\partial s_{j-1}} ∂sj−1​∂sj​​≈1 在LSTM里隐藏层的输出换了个符号从 s s s变成 C C C了即 C t f t ∗ C t − 1 i t ∗ C ~ t C_tf_t*C_{t-1}i_t*\tilde{C}_t Ct​ft​∗Ct−1​it​∗C~t​。注意 f t f_t ft​ , i t 和 C ~ t i_{t\text{ 和}}\tilde{C}_t it 和​C~t​ 都是 C t − 1 C_{t-1} Ct−1​的复合函数(因为它们都和 h t − 1 h_{t-1} ht−1​有关而 h t − 1 h_{t-1} ht−1​又和 C t − 1 C_{t-1} Ct−1​有关)。因此我们来求一下 ∂ C t ∂ C t − 1 \frac{\partial C_t}{\partial C_{t-1}} ∂Ct−1​∂Ct​​ ∂ C t ∂ C t − 1 f t ∂ f t ∂ C t − 1 ⋅ C t − 1 … \frac{\partial C_t}{\partial C_{t-1}}f_t\frac{\partial f_t}{\partial C_{t-1}}\cdot C_{t-1}\ldots ∂Ct−1​∂Ct​​ft​∂Ct−1​∂ft​​⋅Ct−1​… 后面的我们就不管了展开求导太麻烦了。这里面 f t f_t ft​是遗忘门的输出1表示完全保留旧状态0表示完全舍弃旧状态如果我们把 f t f_t ft​设置成1或者是接近于1那 ∂ C t ∂ C t − 1 \frac{\partial C_t}{\partial C_{t-1}} ∂Ct−1​∂Ct​​就有梯度了。因此LSTM可以一定程度上缓解梯度消失然而如果时间步很长的话依然会存在梯度消失问题所以只是缓解。 注意LSTM可以缓解梯度消失但是梯度爆炸并不能解决因为LSTM不影响参数W 3️⃣ 代码 # 创建一个LSTM模型 import torch import torch.nn as nn import torch.nn.functional as Fclass LSTM(nn.Module):def __init__(self,input_size,hidden_size,num_layers,output_size):super().__init__()self.num_layersnum_layersself.hidden_sizehidden_size# 定义LSTM层# batch_firstTrue则输入形状为(batch, seq_len, input_size)self.lstmnn.LSTM(input_size,hidden_size,num_layers,batch_firstTrue)# 定义全连接层用于输出self.fcnn.Linear(hidden_size,output_size)def forward(self, x):# self.lstm(x)会返回两个值# out形状为 (batch,seq_len,hidden_size)# 隐层状态和细胞状态形状为 (batch, num_layers, hidden_size)在这里我们忽略隐层状态和细胞状态的输出因此使用了占位符out, _ self.lstm(x)out self.fc(out)return outif __name____main__:input_size10hidden_size64num_layers1output_size1netLSTM(input_size,hidden_size,num_layers,output_size)# x的形状为(batch_size, seq_len, input_size)xtorch.randn(16,8,input_size)outnet(x)print(out.shape)输出结果为 torch.Size([16, 8, 1])表示有16个batch对于每个batch有8个时间步每个时间步的output大小为14️⃣ 总结 思考一个问题对于多层LSTM如何理解呢 注意图中颜色相同的其实表达的值一样 h s hs hs。 第一层 LSTM 首先初始隐层状态 s 0 l a y e r 1 s^{layer1}_0 s0layer1​和细胞状态 c 0 l a y e r 1 c^{layer1}_0 c0layer1​然后输入 x t − 1 x_{t-1} xt−1​ 生成隐层状态和输出 s t − 1 l a y e r 1 h t − 1 l a r y e r 1 s^{layer1}_{t-1}h_{t-1}^{laryer1} st−1layer1​ht−1laryer1​和细胞状态 c t − 1 l a y e r 1 c^{layer1}_{t-1} ct−1layer1​。第二层 LSTM首先初始隐层状态 s 0 l a y e r 2 s^{layer2}_0 s0layer2​和细胞状态 c 0 l a y e r 2 c^{layer2}_0 c0layer2​然后接收第一层的输出 h t − 1 l a r y e r 1 h_{t-1}^{laryer1} ht−1laryer1​作为输入生成 s t − 1 l a y e r 2 h t − 1 l a r y e r 2 s^{layer2}_{t-1}h_{t-1}^{laryer2} st−1layer2​ht−1laryer2​和 c t − 1 l a y e r 2 c^{layer2}_{t-1} ct−1layer2​第N层 LSTM首先初始隐层状态 s 0 l a y e r N s^{layerN}_0 s0layerN​和细胞状态 c 0 l a y e r N c^{layerN}_0 c0layerN​然后接收第N-1层的输出 h t − 1 l a r y e r N − 1 h_{t-1}^{laryer N-1} ht−1laryerN−1​作为输入生成最终的 s t − 1 l a y e r N h t − 1 l a r y e r 2 s^{layerN}_{t-1}h_{t-1}^{laryer2} st−1layerN​ht−1laryer2​和 c t − 1 l a y e r N c^{layerN}_{t-1} ct−1layerN​ 为什么需要多层LSTM 多层 LSTM 通过增加深度来增强模型的表示能力和复杂度能够学习到更高阶、更抽象的特征 通过控制遗忘门的输出 f t f_t ft​来控制梯度以缓解梯度消失问题但不能缓解梯度爆炸 5️⃣ 参考 理解 LSTM 网络 【LSTM长短期记忆网络】3D模型一目了然带你领略算法背后的逻辑 关于RNN的梯度消失爆炸问题