吉林集安市建设局网站,哈尔滨网站优化对策,做二手车放在哪个网站好,it程序员需要什么学历jax可微分编程的笔记(8) 第八章 循环神经网络 神经网络是可微分编程中最为重要的模型构造形式#xff0c;也是当代 深度学习的基本组成部分#xff0c;深度学习中的“深度”一词#xff0c;便是对 神经网络的层数的形容。 8.1 神经网络的生物学基础 通过层层近似#x…jax可微分编程的笔记(8) 第八章 循环神经网络 神经网络是可微分编程中最为重要的模型构造形式也是当代 深度学习的基本组成部分深度学习中的“深度”一词便是对 神经网络的层数的形容。 8.1 神经网络的生物学基础 通过层层近似从复杂的生物学模型中抽象出一系列较为简化 的数学结构。简单了解计算神经科学后让我们对数学意义上 的“神经网络”有了更加丰富的物理直觉。 8.1.1 神经元的电化学性质 神经网络的基本组成单元称为神经元(neuron),又称为神经细胞。 它是一个来自于生物学的术语。神经元可以被视作一个“装有带 电液体的漏水的袋子”。 在可微分编程的语境之下对膜电位和细胞溶质输运过程的讨论 之所以显得重要是因为相连接的神经元为我们提供了一个绝好的 物理图像使得数学意义下“神经网络”较为抽象的训练过程开始 变得更加真实而具体可感。 各种门控离子通道的存在使得不同的神经元之间的相互“交流” 成为了可能。 8.1.2 神经元输出过程的建模 由于不同种类的膜蛋白具有不同的动力学性质我们需要对它们 分别进行建模。膜电位与时间的非线性关系用非线性函数来描述。 在深度学习中这样的非线性函数称为激活函数。激活函数的选取 方式极为多样。例如当我们需要对函数的输出范围进行限制比如 某一事件发生的概率只能在范围[01]包含于R之内则可以选取 sigmoid函数。常用的sigmoid函数有逻辑斯蒂函数和双曲正切函数。 delta(x)1/(1exp(-x))    tanh(x)(exp(x)-exp(-x))/(exp(x)exp(-x)) 为了解决sigmoid函数带来的梯度消失的问题ReLU函数rectified linear unit 修正线性单元成为最受欢迎的激活函数之一。 ReLU(x)max(x,0) ReLU函数在原点处并不连续为此可以使用softplus函数作为对ReLU函数的近似。 softplus(x)ln(1exp(x)) 对于多分类问题我们还可以采用softmax等激活函数。 8.1.3 神经元构成网络的建模 根据推导得到公式 tr dv(t)/dt -v(t)f(Wu(t)) 这个公式是对神经网络讨论的起点其中的函数f对应着单个神经元的激活函数。 在平衡状态下表达式vf(Wu)刻画了一层前馈神经网络中所蕴含的数据结构。 例如4.2.4节中表达式h(x;0)softmax(wxb)就相当于给出了神经网络的 一个全连接层。同一层神经元间存在通过突触的相互连接这样的网络结构被 称为循环神经网络。 8.2 循环神经网络 对于音乐股票文字等存在顺序的样本输入独立同分布假设一般将不再成立。 此时我们期待循环神经网络表现出色。 8.2.1 简单循环神经网络 设计循环神经网络的要点在于为单向传播的网络引入反馈的结构。 从递推关系导出微分方程的过程利用了将离散变量连续化的思想。 同样依照第7章关于动量法的讨论在时间尺度上离散化可以把 8.24的微分方程相当自然地推导得到8.27的递推关系在这样的 视角下循环神经网络的训练过程不过是对生物学意义上神经网络 系统的一次物理模拟令其“学习”到最优的参数. 8.2.2 循环神经网络的梯度回传 在自然语言处理的语境中我们通常会选取交叉熵作为词向量之间的 损失函数并选择softmax作为输出函数G中的激活函数。 对于存在上界Mc1的情形梯度在实际传递的过程中容易出现梯度消失 的现象从而给计算效率带来相当的损失。为了缓解由梯度消失带来的 计算资源的浪费人们通常会对时间步进行截断。 当序列|Cn|的上确界Mc1时尽管在实践中时间步永远为有限值但不 稳定的级数暗示着类似于蝴蝶效应梯度爆炸等一系列病态数值现象存在。 梯度裁剪的本质是在梯度矢量的范数过大时动态地调整学习率的大小。 尽管它实际上并未完全解决梯度爆炸的问题但至少为该问题提供了一个 快速的修复方式。 简单循环神经网络在时间尺度上的收敛性取决于隐藏层节点间权重矩阵 M的最大本征值λmax;而一般循环神经网络中隐藏层参数的梯度,其理论上界 的存在性,则取决于序列{|Cn|}{n1,T}的上确界Mc。