卷积神经网络：原理、架构与设计指南
1. 卷积层的反向传播
在训练卷积层时，我们需要计算卷积层关于其参数和输入的梯度。为了简化问题，我们先研究一维卷积层的反向传播。假设有一个卷积神经网络的两层，右侧层的神经元共享相同的权重，并且是局部连接的。设权重向量 $W = {w_0, w_1, w_2}$，$w_i \in R$。假设我们已经知道损失函数关于 $H_2$ 中计算节点的梯度，用 $\delta_i$ 表示（$i = 0, \ldots, 3$）。
根据反向传播算法，$\frac{\delta L}{\delta w_i}$ 的计算公式为：
[
\frac{\delta L}{\delta w_i} = \frac{\delta H_2^0}{\delta w_i}\frac{\delta L}{\delta H_2^0} + \frac{\delta H_2^1}{\delta w_i}\frac{\delta L}{\delta H_2^1} + \frac{\delta H_2^2}{\delta w_i}\frac{\delta L}{\delta H_2^2} + \frac{\delta H_2^3}{\delta w_i}\frac{\delta L}{\delta H_2^3} = \frac{\delta H_2^0}{\delta w_i}\delta_0 + \frac{\delta H_2^1}{\delta w_i}\delta_1 + \frac{\delta H_2^2}{\delta w_i}\delta_2 + \frac{\delta H_2^3}{\delta w_i}\delta_3
]
通过计算图中每个 $
)
