补充知识：∇ 和 ⊙ 运算符详解

• 在神经网络的反向传播算法中，我们经常会遇到像${\delta }^L={\nabla }_{a}L\odot f^{\prime }(z^L)$ 这样的表达式。让我们来深入探讨其中的 ∇ (nabla) 和 ⊙ (圆圈点) 运算符。

∇ (nabla) 运算符

• ∇ 符号在数学中被称为 “nabla” 或 “del” 运算符，它表示梯度（gradient）。在神经网络中：

• ∇ₐL 表示损失函数 L 相对于网络最后一层激活输出 aᴸ 的梯度

• 这是一个向量，其中每个元素是损失函数对相应激活值的偏导数

• 数学表达式为：${\nabla }_{a}L=[\partial L/\partial a_1,\partial L/\partial a_2,...,\partial L/\partial a_n{]}^T$

• 在反向传播中，${\nabla }_{a}L$ 告诉我们如果稍微改变输出层的激活值，损失函数会如何变化。这是误差从损失函数向后传播的第一步。

⊙ (圆圈点) 运算符

• ⊙ 符号表示逐元素乘法（也称为 Hadamard 乘积）：

• 它作用于两个相同维度的向量或矩阵。不是矩阵乘法，而是简单地对相应位置的元素相乘

• 数学表达式为：$(A\odot B{)}_{ij}=A_{ij}\times B_{ij}$

反向传播基本公式

方程	含义
${\delta }^L={\nabla }_{a}L\odot f^{\prime }(z^L)$	BP1 输出层误差
${\delta }^l=((w^l{)}^T{\delta }^{l+1})\odot f^{\prime }(z^l)$	BP2 第 $l$ 层误差
$\frac{\partial L}{\partial b_i^l}={\delta }_i^l$	BP3 损失函数关于偏置(b)的偏导
$\frac{\partial L}{\partial w_{i,j}^l}=a_j^{l-1}{\delta }_i^l$	BP4 损失函数关于权值(w)的偏导

计算图和基本定义

• 损失函数：$$L=\frac{1}{2}(y-a^l{)}^2$$
• 通项：$$a^l=\delta (z^l)=\delta (w^l{a}^{l-1}+b^l)$$
• 定义第$l$层的第$i$个神经元的误差为${\delta }_i^l$
  $${\delta }_i^l=\frac{\partial L}{\partial z_i^l}$$

BP1：输出层误差推导

• 前置公式
  • 损失函数：$L=\frac{1}{2}(y-a^l{)}^2$
  • 第$l$层神经元关系$a^l=\delta (z^l)$

---

• 采用上图中$l-1$层$z_1$节点为例
  $$\begin{array}{rl}\delta & =\frac{\partial L}{\partial z_1^l}\\ & =\frac{\partial L}{\partial a_1^l}\times \frac{\partial a_1^l}{\partial z_1^l}\\ & =\frac{\partial [\frac{1}{2}(y_1-a_1^l{)}^2]}{\partial a_1^l}\times \frac{\partial a_1^l}{\partial z_1^l}\\ & =2\times \frac{1}{2}(a_1^l-y_1)\times \frac{\partial a_1^l}{\partial z_1^l}\\ & =(a_1^l-y_1){\delta }^{{}^{\prime }}(z_1^l)\\ & ={\nabla }_{a}L\odot f^{\prime }(z_1^L)\end{array}$$

• 总结：输出层误差通用公式为：${\delta }^L={\nabla }_{a}L\odot f^{\prime }(z^L)$

• $f^{\prime }(z^L)$ 是激活函数的导数在 $z^L$ 处的值

• 这个逐元素乘法将梯度信息与激活函数的局部变化率结合起来

BP1公式的重要性

• 这个 δᴸ 公式是输出层的误差项，它是反向传播的起点。通过它，误差可以继续向网络的前层传播：

1. ${\nabla }_{a}L$告诉我们损失函数对输出的敏感度
2. $f^{\prime }(z^L)$告诉我们激活函数在当前输入下的变化率
3. 它们的逐元素乘积给出了完整的误差信号 ${\delta }^L$

实际例子

• 假设我们有一个简单的输出层，使用 sigmoid 激活函数：
  • 设 $a^L=[0.8,0.3],y=[1,0]$ (真实标签)
  • 使用平方误差损失：$L=½||y-a^L|{|}^2$
  • 则 ${\nabla }_{a}L=a^L-y=[-0.2,0.3]$
  • sigmoid 的导数$f^{\prime }(z)=a(1-a)$，设 $f^{\prime }(z^L)=[0.16,0.21]$
• 那么 ${\delta }^L=[-0.2,0.3]\odot [0.16,0.21]=[-0.032,0.063]$

BP2第$l$层误差推导

• 前置公式：
  • $z^{l+1}=w^{l+1}{a}^l+b^{l+1}$
  • $a^{l+1}=\delta (z^l)$
    $$\begin{array}{rl}{\delta }^l& =\frac{\partial L}{\partial z^l}\\ & =\frac{\partial L}{\partial z_i^{l+1}}\times \frac{\partial z_i^{l+1}}{\partial z_i^l}\\ & ={\delta }_i^{l+1}\times \frac{\partial z_i^{l+1}}{a^l}\times \frac{\partial a^l}{\partial z^l}\\ & ={\delta }_i^{l+1}\times (w^l{)}^T\times {\delta }^{{}^{\prime }}(z^l)\\ & =((w^l{)}^T{\delta }_i^{l+1})\odot {\delta }^{{}^{\prime }}(z^l)\end{array}$$
• 总结：BP2第$l$层误差公式为： ${\delta }^l=((w^l{)}^T{\delta }^{l+1})\odot f^{\prime }(z^l)$

BP3 ：损失函数关于偏置(b)偏导的推导

• 前置公式

  • $a_1^l=\delta (z_1^l)$和$a_2^l=\delta (z_2^l)$
  • $z^l=w^l{a}^{l-1}+b^l$

• 求上图中$b_1$的偏导
  $$\begin{array}{rl}\frac{\partial L}{\partial b_1}& =\frac{\partial L}{\partial z_1^l}\times \frac{\partial z_1^l}{\partial b_1^l}\\ & ={\delta }_1^l\times 1\\ & ={\delta }_1^l\end{array}$$

• 求上图中$b_2$的偏导
  $$\begin{array}{rl}\frac{\partial L}{\partial b_2}& =\frac{\partial L}{\partial z_2^l}\times \frac{\partial z_2^l}{\partial b_2^l}\\ & ={\delta }_2^l\times 1\\ & ={\delta }_2^l\end{array}$$

• 总结：BP3 损失函数关于偏置(b)偏导为：$\frac{\partial L}{\partial b_i^l}={\delta }_i^l$

BP4： 损失函数关于权值(w)偏导推导

• 前置公式
  • $z^l=w^l{a}^{l-1}+b^l$
  • ${\delta }_i^l=\frac{\partial L}{\partial z_i^l}$
• 详细推导过程：
  $$\begin{array}{rl}\frac{\partial L}{\partial w_{i,j}^l}& =\frac{\partial L}{\partial z_i^l}\times \frac{\partial z_i^l}{\partial w_{i,j}^l}\\ & =\frac{\partial L}{\partial z_i^l}\times a_j^{l-1}\\ & ={\delta }_i^l\times a_j^{l-1}\\ & =a_j^{l-1}\times {\delta }_i^l\end{array}$$
• 总结：BP4： 损失函数关于权值(w)偏导为：$\frac{\partial L}{\partial w_{i,j}^l}=a_j^{l-1}{\delta }_i^l$