反向传播公式推导

参考博客：反向传播算法（过程及公式推导）

1. 符号定义

• $w_{jk}^L$ 表示第$L-1$层的第$j$个神经元到第$L$层的第$k$个神经元映射的权值。
• $b_k^L$ 表示第$L$层的第$k$个神经元的偏置量。
• $z_k^L=\sum_j w_{jk}^L a_j^{L-1}+b_k^L​$ 表示第$L​$层的未经激活函数的输出。
• $a_k^{L}=\sigma(z_j^L)$ 表示第$L$层经过sigmoid函数后的输出。

2. 损失函数定义

二次代价函数：($x$代表输入的样本，$y(x)$代表标签值)

$$C=\frac{1}{2n}\sum_x||y(x)-a^L(x)||^2$$

当只关注某一个样本$x_i​$的时候，有：

$$C=\frac{1}{2}(y-a)^2$$

3. 反向传播推导

• 计算最后一层神经网络产生的错误

  对于每一个$L$层的神经元有：

$$\delta^L_k=\frac{\partial{C}}{\partial{z_k^L}}=\frac{\partial{C}}{\partial{a_{k}^L}}\cdot\frac{\partial{a_k^L}}{\partial{z_{k}^{L}}}$$

​ 则整个$L​$层可以用矩阵的Hadamard积(矩阵行行对应相乘)来进行计算：

$$\delta^L=\nabla_aC\odot\sigma^\prime(z^L)$$

• 反向传播

  计算每一层的每个神经元产生的误差，推广到每一层的每个神经元有：

  $$\begin{align} \delta_k^L=\frac{\partial C}{\partial z_k^L}&=\sum_m\frac{\partial C}{\partial z_m^{L+1}}\cdot\frac{\partial{z_m^{L+1}}}{\partial{a_{k}^{L}}}\cdot\frac{\partial a_k^L}{\partial z_k^L}\\ &=\sum_m{\delta_m^{L+1}}\cdot\frac{w_{km}^{L+1}a_k^{L}+b_m^{L+1}}{\partial{a_k^L}}\cdot\sigma'(z_k^L)\\ &=\sum_m\delta_m^{L+1}\cdot w_{km}^{L+1}\cdot\sigma'(z_k^L) \end{align}$$

  推广到整个一层有：

  $$\delta^L=((W^{L+1})^T\cdot \delta^{L+1})\odot \sigma'(z^L)$$

• 计算权重的梯度

  $$\frac{\partial C}{\partial w_{jk}^L}=\frac{\partial C}{\partial{z_k^L}}\cdot \frac{\partial{z_k^L}}{\partial{w_{jk}^L}}=\delta_k^L\cdot\frac{\partial{(w_{jk}^La_j^{L-1}+b_k^L)}}{\partial w_{jk}^L}=a_j^{L-1}\cdot\delta_k^L$$

• 计算偏置的梯度

  $$\frac{\partial C}{\part b_k^L}=\frac{\partial{C}}{\partial z_{k}^L} \cdot \frac{\partial z_k^L}{\partial b_k^L}=\delta_k^L\cdot\frac{\partial{(w_{jk}^La_j^{L-1}+b_k^L)}}{\partial b_{k}^L}=\delta_k^L$$

4.总结

反向传播四个公式：

1. 输出层误差：

   $$\delta^L=\nabla_aC\odot\sigma^\prime(z^L)$$

2. 反向传播每一层误差：

   $$\delta^L=((W^{L+1})^T\cdot \delta^{L+1})\odot \sigma'(z^L)$$

3. 权重梯度：

   $$\frac{\partial C}{\partial w_{jk}^L}=a_j^{L-1}\cdot\delta_k^L$$

4. 偏置梯度：

   $$\frac{\partial C}{\partial b_k^L}=\delta_k^L$$