深度学习常见Loss推导

1. Softmax Loss 推导

(1) $N$为类别数

(2) $a$为输出向量，$a_j$为向量$a$的第$j$个值

参考：卷积神经网络系列之softmax loss对输入的求导推导

---

1.1 Softmax

$$S_i=\frac{e^{a_i}}{\sum_{j}e^{a_j}}$$

1.2 Cross-entropy Loss

$$L=\sum_{j}-y_ilnP_j$$

1.3 Softmax Loss

• 当Cross-entropy的$P_j=S_i$ ，即Softmax输出的时候。

$$L_{softmax}=\sum_{j}-y_ilnS_i$$

1.4 Softmax对Softmax输入的导数

• $S_i$对$a_j$求导：

$$\frac{\partial{S_i}}{\partial{a_j}}=\frac{\partial{\frac{e^{a_i}}{\sum_ke^{a_k}}}}{\partial a_j}$$

• 这里求导有两种情况

  • 1）当$i=j$时：

    $$\begin{aligned} \frac{\partial{S_i}}{\partial{a_j}} &=\frac{\partial{S_i}}{\partial{a_i}} \\ &=\frac{\frac{\partial{e^{a_i}}}{\partial{a_i}}\sum_ke^{a_k}-\frac{\sum_ke^{a_k}}{\partial{a_i}}e^{a_i}}{(\sum_ke^{a_k})^2} \\ &=\frac{e^{a_i}\sum_ke^{a_k}-e^{a_i}e^{a_i}}{\sum_k{e^{2a_k}}} \\ &=\frac{e^{a_i}}{\sum_k{e^{a_k}}}-\frac{e^{a_i}}{\sum_k{e^{a_k}}}\cdot{\frac{e^{a_i}}{\sum_k{e^{a_k}}}} \\ &=S_i-S_i^2\\ &=S_i(1-S_i) \end{aligned}$$

  • 2）当$i≠j$时：

    $$\begin{aligned} \frac{\partial{S_i}}{\partial{a_j}} &=\frac{\frac{\partial{e^{a_i}}}{\partial{a_j}}\sum_ke^{a_k}-\frac{\sum_ke^{a_k}}{\partial{a_j}}e^{a_i}}{(\sum_ke^{a_k})^2} \\ &=\frac{-e^{a_j}e^{a_i}}{\sum_k{e^{2a_k}}} \\ &=-S_jS_i \end{aligned}$$

1.5 Softmax Loss对softmax输入的导数

• 第③个等号就用到了上面$S_i$对$a_j$求导的结论，第三个等号结果的左半部分是$i=k$的时候$S_i$对$a_j$求导的导数，右半部分是$i≠k$的时候S_i$对​$a_j$求导的导数。
• 第⑥、⑦个等号是将$y_iS_i​$合并到∑里面。最后一个等号的成立是建立在假设$∑y_k=1​$的前提下，这个对于常见的单标签分类任务而言都是成立的。

$$\begin{aligned} \frac{\partial{L_{softmax}}}{\partial{a_k}}&=-\sum_ky_k\frac{\partial{lnS_k}}{\partial{a_i}} \\ &=-\sum_ky_k\frac{1}{S_k}\frac{\partial{S_k}}{\partial{a_i}} \\ &=-y_i(1-S_i)-\sum_{k≠i}y_k\frac{1}{S_k}({-S_kS_i}) \\ &=-y_i(1-S_i)+\sum_{k≠i}y_kS_i \\ &=-y_i+y_iS_i+\sum_{k≠i}y_kS_i \\ &=\sum_ky_kS_i-y_i \\ &=S_i-y_i \end{aligned}$$

1.6 总结

因此假设一个5分类任务，经过Softmax层后得到的概率向量$S$是$[0.1,0.2,0.25,0.4,0.05]$，真实标签$y$是$[0,0,1,0,0]$，那么损失回传时该层得到的梯度就是$p-y=[0.1,0.2,-0.75,0.4,0.05]$。这个梯度就指导网络在下一次forward的时候更新该层的权重参数。