自动微分与其他神经网络架构介绍
1. 反向模式自动微分
反向模式自动微分是一种强大且准确的技术，特别适用于输入多而输出少的情况。它只需对计算图进行两次遍历，就能计算出所有输出相对于所有输入的偏导数。
1.1 工作原理
反向模式自动微分的工作分为两个阶段：
1.前向传播：从输入到输出遍历计算图，计算每个节点的值。
2.反向传播：从输出到输入遍历计算图，计算所有偏导数。
1.2 计算示例
假设我们有一个函数 (f(x, y))，其计算图由多个节点组成，节点标记为 (n1) 到 (n7)。已知 (x = 3)，(y = 4)，输出节点 (n7 = f(3, 4) = 42)。
- 因为 (n7) 是输出节点，所以 (\frac{\partial f}{\partial n7} = 1)。
- 对于节点 (n5)，(\frac{\partial f}{\partial n5} = \frac{\partial f}{\partial n7} \times \frac{\partial n7}{\partial n5})。由于 (n7 = n5 + n6)，所以 (\frac{\partial n7}{\partial n5} = 1)，则 (\frac{\partial f}{\partial n5} = 1 \times 1 = 1)。
- 对于节点 (n4)，(\frac{\partial f}{\partial n4} = \frac{\partial f}{\partial n5} \times \f
