【AI大模型技术】2.神经网络 - 教程

---

更多内容：XiaoJ的知识星球

---

目录

• • 2.神经网络
  • • 2.1 神经网络基本组成
    • 2.2 神经网络训练
    • • 2.2.1 训练示例
      • 2.2.2 减小损失函数：梯度下降
    • 2.3 词向量：Word2Vec
    • • 2.3.1 CBOW模型（Continuous bag-of-words）
      • 2.3.2 Skip-Gram模型（Continuous Skip-Gram）
      • 2.3.3 负采样（Negative sampling）
      • 2.3.4 分层softmax（Hierarchical softmax）
      • 2.3.5 其他训练技巧
    • 2.4 循环神经网络（RNN）
    • • 2.4.1 RNN基础
      • 2.4.2 RNN的变种：门控循环单元（GRU）
      • 2.4.3 RNN的变种：长短期记忆网络（LSTM）
      • 2.4.4 RNN的变种：双向RNN
    • 2.5 卷积神经网络（CNN）
    • • 2.5.1 CNN主导组成：
      • 2.5.2 CNN工作原理
      • 2.5.3 CNN用于句子表示
      • 2.5.4 网络结构
      • 2.5.5 CNN vs. RNN

---

.

2.神经网络

2.1 神经网络基本组成

1）单个神经元：

2）单神经网络：

3）多层网络：

非线性函数的意义：例如激活函数

• 没有非线性，神经网络只能做线性变换。

  • 我们不想的。就是例如，以下两层网络，如果没有非线性，则最后可化为一层来表示，这

  $$h_1=W_{1}x+b_1,h_2=W_2{h}_1+b_2-->h_2=W_2{W}_{1}x+W_2{b}_1+b_2$$

• 对于非线性，神经网络可近似更多艰难的能力与更多的层。

• 非线性函数：

  

4）输出层：

线性输出层&Sigmoid层

多分类层：

.

2.2 神经网络训练

训练目标：最小化损失函数。

2.2.1 训练示例

均方误差（Mean Squared Error）

• 给定N个训练样例{(x, y)}，其中x和y是计算机的属性和价格。大家想训练一个神经网络F()，以属性x为输入并预测其价格y。一个合理的训练目标是均方误差（Mean Squared Error）:

$$\underset{\theta }{\min }J(\theta )=\underset{\theta }{\min }\frac{1}{N}\sum _{i=1}^N{\left(y_i-F_{\theta }(x_i)\right)}^2$$

交叉熵（Cross-entropy）

• 给定N个训练样例{(x, y)}，其中x和y是句子及其情感标签。大家想训练一个神经网络F()，以句子x为输入并预测其情感标签y。一个合理的训练目标是交叉熵（Cross-entropy）：

$$\underset{\theta }{\min }J(\theta )=\underset{\theta }{\min }-\frac{1}{N}\sum _{i=1}^N\log P_{\text{model}}\left(F_{\theta }(x_i)=y_i\right)$$

• 示例：

2.2.2 减小损失函数：梯度下降

随机梯度下降（Stochastic Gradient Descent）：

$$\begin{gathered} {\theta }^{\text{new}}={\theta }^{\text{old}}-\alpha {\nabla }_{\theta }J(\theta ) \\ | \\ \alpha 是步长或学习率 \end{gathered}$$

• 梯度（Gradient）：输出对输入的每个维度的偏倒数

计算梯度：

• 一个函数：

  • 给定一个有1个输出和n个输入的函数：

  $$F(x)=F(x_1,x_2,\cdots ,x_n)$$

  • 它的梯度是一个偏导数的向量：

  $$\frac{\partial F}{\partial x}=\left[\frac{\partial F}{\partial x_1},\frac{\partial F}{\partial x_2},\dots ,\frac{\partial F}{\partial x_n}\right]$$

• Jacobian矩阵:

  • 给定一个有m个输出和n个输入的函数：

  $$F(x)=\left[F_1(x_1,x_2,\dots ,x_n),F_2(x_1,x_2,\dots ,x_n),\dots ,F_m(x_1,x_2,\dots ,x_n)\right]$$

  • Jacobian矩阵是一个( m * n )矩阵的偏导数：

  $$\frac{\partial F}{\partial x}=\left[\begin{array}{ccc}\frac{\partial F_1}{\partial x_1}& \dots & \frac{\partial F_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial F_m}{\partial x_1}& \dots & \frac{\partial F_m}{\partial x_n}\end{array}\right]{\left(\frac{\partial F}{\partial x}\right)}_{ij}=\frac{\partial F_i}{\partial x_j}$$

• 链式法则求梯度：

  • 单变量函数：
    $$\begin{array}{rl}z& =3y\\ y& =x^2\\ \frac{dz}{dx}& =\frac{dz}{dy}\frac{dy}{dx}=3\times 2x=6x\end{array}$$

  • 多变量函数：
    $$\begin{array}{rl}h& =f(z)\\ z& =Wx+b\\ \frac{\partial h}{\partial x}& =\frac{\partial h}{\partial z}\frac{\partial z}{\partial x}=\cdots \end{array}$$

• 链式法则计算示例：

• 反向传播（Backpropagation）：

  • 前向传播：

  

  • 反向传播：（蓝色内容）

  

  • 反向传播计算梯度：

  

  • 反向传播计算梯度，示例：

.

2.3 词向量：Word2Vec

Word2vec应用一个固定大小的滑动窗口，沿着句子移动。

每个窗口中，中间词是目标单词（target word），其他单词是上下文单词(context words)。

• CBOW（Continuous bag-of-words）**：**根据上下文单词预测目标单词的概率。

• **skip-gram：**根据目标单词预测上下文单词的概率。

2.3.1 CBOW模型（Continuous bag-of-words）

CBOW：根据上下文单词预测目标单词的概率。

假设窗口大小为5，不考虑context词的次序，预测“too”过程如下图：

2.3.2 Skip-Gram模型（Continuous Skip-Gram）

skip-gram：根据目标单词预测上下文单词的概率。

假设窗口大小为5，不考虑context词的次序，根据“too”预测其他Context词语的过程如下图：

2.3.3 负采样（Negative sampling）

只采样高频部分的单词。降低计算量。

示例：

• Skip-Gram模型–非负例采样：

• Skip-Gram模型–负例采样：只采样4个负例词

2.3.4 分层softmax（Hierarchical softmax）

Hierarchical softmax 通过构建一个二叉树来组织词汇表，其中每个词都是树的一个叶节点。然后，softmax 函数不是在整个词汇表上计算，而是在树的路径上计算。这种方法可以显著减少计算量，因为每个词的计算只依赖于它在树中的路径，而不是整个词汇表。

2.3.5 其他训练技巧

1）Sub-Sampling：为了平衡常见单词与罕见单词。

• 某些词汇（如“的”、“是”）非常常见。若是不对这些常见词汇进行处理，训练中可能会导致模型过度关注这些词，忽视信息量更大的罕见词。

2）滑动窗口：

• 固定滑动窗口：context词地位平等。

• 非固定滑动窗口（soft sliding window）：离target词越近的context词越要紧。

.

2.4 循环神经网络（RNN）

2.4.1 RNN基础

循环神经网络（Recurrent Neural Network，简称RNN）：

• 它能够处理序列数据，并且能够处理输入数据的前后依赖关系。

• 关键：处理序列数据时的顺序记忆（Sequential Memory）。

RNN:

RNN语言模型：

RNN梯度问题：

• 梯度消失：

  • 训练过程中，由于连续乘积中包含大量小于1的梯度，导致网络中较早时间步的梯度变得非常小，几乎接近于零。这使得网络难以学习到长距离的依赖关系。

• 梯度爆炸：

  • 训练过程中，由于连续乘积中包含大量大于1的梯度，导致网络中较早时间步的梯度变得非常大，以至于更新权重时会导致模型不稳定。

LSTM和GRU是RNN的变种，它们凭借引入输入门、遗忘门和输出门（在LSTM中）或更新门和重置门（在GRU中）来控制信息的流动，从而有效缓解梯度消失和梯度爆炸的问题。

2.4.2 RNN的变种：门控循环单元（GRU）

GRU（Gated Recurrent Unit）：指在解决传统RNN在处理长序列数据时面临的梯度消失和梯度爆炸问题。

GRU通过引入更新门（update gate）和重置门（reset gate）来控制信息的流动，有效地捕捉长距离依赖关系。

GRU的主要组成部分：

1. 更新门（Update Gate）：更新门用于控制信息的保留和更新。它决定了每个时间步的信息应该保留多少，以及需要更新多少新信息。

2. 重置门（Reset Gate）：重置门用于控制过去信息对当前状态的影响。它决定了应该忽略多少过去的信息。

3. 候选隐藏状态（Candidate Hidden State）：候选隐藏状态是一个临时的隐藏状态，它结合了当前输入和过去的信息。

4. 最终隐藏状态（Final Hidden State）GRU单元的输出，它结合了更新门、重置门和候选隐藏状态。就是：最终隐藏状态

2.4.3 RNN的变种：长短期记忆网络（LSTM）

LSTM（Long Short-Term Memory）用来解决传统RNN在处理长序列数据时的梯度消失问题。

它通过引入门控机制来保持长期依赖关系。

LSTM的组成及流程：

1. 遗忘门（Forget Gate）：决定哪些信息应该从单元状态中丢弃。

• 遗忘门决定哪些信息应该被丢弃或保留。它经过一个sigmoid层来完成，输出一个介于0（完全丢弃）和1（完全保留）之间的数值。

2. 输入门（Input Gate）：决定哪些新的信息将被存储。

• 输入门由两部分组成：一个sigmoid层决定哪些值将要更新，和一个tanh层创建一个新的候选值向量。

3. 单元状态（Cell State）：根据遗忘门和输入门的输出进行更新。

• 单元状态是LSTM的核心，它携带有关观察到的输入序列的信息，并在整个链中运行。

4. 输出门（Output Gate）：决定隐藏状态的输出值，隐藏状态包含关于前一状态和当前输入的信息。

• 输出门决定下一个隐藏状态的值，隐藏状态包含关于前一状态和当前输入的信息。

2.4.4 RNN的变种：双向RNN

双向循环神经网络（Bi-directional Recurrent Neural Network，Bi-RNN）：

• 它依据结合正向和反向的RNN来处理序列数据，从而能够同时捕捉到序列中过去和未来的信息。

双向RNN的工作原理：

• 正向RNN：按照时间序列的自然顺序处理数据，捕捉到过去的信息。

• 反向RNN：按照时间序列的逆序处理内容，捕捉到未来的信息。

• 信息合并：正向和反向RNN在每个时间步的输出被合并（通常是拼接），以得到包含过去和未来信息的完整表示。

.

2.5 卷积神经网络（CNN）

2.5.1 CNN核心组成：

1. 卷积层（Convolutional Layer）：

• 卷积层是CNN的核心，它采用滤波器（或称为卷积核）在输入数据上滑动以产生特征图（feature maps）。

• 滤波器能够捕捉到局部特征，如边缘、纹理等。

2. 激活函数（Activation Function）：

• 通常在卷积层之后使用激活函数，如ReLU（Rectified Linear Unit），以引入非线性，使得网络能够学习更复杂的特征。

3. 池化层（Pooling Layer）：

• 池化层用于降低特征图的空间尺寸，减少计算量和防止过拟合。

• 最常见的池化操作是最大池化（Max Pooling）和平均池化（Average Pooling）。

4. 全连接层（Fully Connected Layer）：

• 在多个卷积和池化层之后，通常会有一个或多个全连接层，这些层将特征图展平并进行分类或回归。

5. 归一化层（Normalization Layer）：

• 归一化层，如批量归一化（Batch Normalization），用于调整中间层的输出，以提高训练速度和性能。

6. softmax层：

• 在网络的最后一层，通常使用softmax层将输出转换为概率分布，用于多分类任务。

2.5.2 CNN工作原理

1. 前向传播：

• 输入图像通过卷积层，滤波器提取特征并生成特征图。

• 激活函数对特征图进行非线性转换。

• 池化层减少特征图的空间尺寸。

• 最后，全连接层对特征进行整合并输出最终结果。

2. 反向传播：

• 在训练过程中，通过反向传播算法计算损失函数关于网络参数的梯度。

• 运用梯度下降或其他优化算法更新网络权重。

2.5.3 CNN用于句子表示

• 卷积神经网络(CNN)通常用于

  • 计算机视觉(CV)

  • 在各种NLP任务中取得了令人满意的结果:

    • 情感分类

    • 关系分类

• CNN擅长提取局部和位置不变的模式（local ang position-invariant patterns）

  • 在CV中，颜色，边缘，纹理等

  • 在NLP中，短语和其他局部语法结构

2.5.4 网络结构

通过滑动窗口，从输入表示中提取特征：

2.5.5 CNN vs. RNN

.

---

声明：资源可能存在第三方来源，若有侵权请联系删除！