反向传播(BP)及随时间反向传播（back-propagation through time, BPTT）

正向传播字训练神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并根据链式法则应用反向传播计算并存储梯度。

1. 定义模型

简单起见，我们考虑一个无偏差项的循环神经网络，且激活函数为恒等映射（$\varphi (x)=x$）。设时间步 $t$ 的输入为单样本 $x_t\in R^d$，标签为 $y_t$，那么隐藏状态 $h_t\in R^h$ 的计算表达式为
$$h_t=W_{hx}{x}_t+W_{hh}{h}_{t-1}$$

其中 $W_{hx}\in R^{h\times d}$ 和 $W_{hh}\in R^{h\times h}$ 是隐藏层权重参数。设输出层权重参数 $W_{qh}\in R^{q\times h}$ ，时间步 t 的输出层变量 $O_t\in R^q$ 计算为
$$o_t=W_{qh}{h}_t$$

设时间步 t 的损失为 $\ell (o_t,y_t)$。时间步数为 T 的损失函数 L 定义为、
$$L=\frac{1}{T}\sum _{t=1}^T\ell (o_t,y_t)$$

我们将 L 陈给有关给定时间步的数据样本的目标函数，并在后续讨论中称为目标函数。

2. 模型计算图

为了可视化循环神经网络中模型变量和参数在计算中的依赖关系，我们可以绘制模型计算图，如图所示。例如，时间步3的隐藏状态$h_3$ 的计算依赖模型参数 $W_{hx},W_{hh}$ 上一时间步隐藏状态 $h_2$ 以及当前时间步输入 $x_3$

时间步数为3的循环神经网络模型计算中的依赖关系。方框代表变量（无阴影）或参数（有阴影），圆圈代表运算符

3. 方法

刚刚提到，图中的模型的参数是${\mathbf{W}}_{hx},{\mathbf{W}}_{hh}$ 和 ${\mathbf{W}}_{qh}$。与3.14节(正向传播、反向传播和计算图)中类似，训练模型通常需要模型参数的梯度 $\partial L/\partial {\mathbf{W}}_{hx},\partial L/\partial {\mathbf{W}}_{hh}$ 和 $\partial L/\partial {\mathbf{W}}_{qh}$。根据图中的依赖关系，我们可以按照其中箭头所指的反方向一次计算并存储梯度。为了表述方便，我们依然采用3.14节中表达链式法则的运算符 prod。

首先，目标函数有关各时间步输出层变量的梯度 $\partial L/\partial {\mathbf{o}}_t\in {\mathbb{R}}^q$ 很容易计算：
$$\frac{\partial L}{\partial o_t}=\frac{\partial \ell \left(o_t,y_t\right)}{T\cdot \partial o_t}$$

下面，我们可以计算目标函数有关模型参数${\mathbf{W}}_{qh}$ 的梯度 $\partial L/\partial {\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$ 。 根据图6.3, $L$ 通过 ${\mathbf{o}}_1,\dots ,{\mathbf{o}}_T$ 依赖 ${\mathbf{W}}_{qh}$ 依据链式法则,
$$\frac{\partial L}{\partial {\mathbf{W}}_{qh}}=\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial o_t},\frac{\partial o_t}{\partial {\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{o}}_t}{\mathbf{h}}_t^{\top }.$$

其次，我们注意到隐藏状态之间也存在依赖关系。 在图6.3中，$L$ 只通过 ${\mathbf{O}}_T$ 依赖最终时间步 $T$ 的隐藏状态 ${\mathbf{h}}_{T\text{ 。 }}$。因此，我们先计算目标函数有关最终时间步隐藏状态的梯度 $\partial L/\partial {\mathbf{h}}_T\in {\mathbb{R}}^h$ 。依据链式法则，我们得到
$$\frac{\partial L}{\partial {\mathbf{h}}_T}=\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_T},\frac{\partial \mathbf{o}\mathbf{T}}{\partial {\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_T}$$

接下来对于时间步 $t<T$, 在图6.3中, $L$ 通过 ${\mathbf{h}}_{t+1}$ 和 ${\mathbf{o}}_t$ 依赖 ${\mathbf{h}}_t$ 。 依据链式法则, 目标函数有关时间步 $t<T$ 的隐藏状态的梯度 $\partial L/\partial {\mathbf{h}}_t\in {\mathbb{R}}^h$ 需 要按照时间步从大到小依次计算:
$$\frac{\partial L}{\partial {\mathbf{h}}_t}=\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_{t+1}},\frac{\partial h_{t+1}}{\partial {\mathbf{h}}_t}\right)+\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial \mathbf{o}\mathbf{t}}{\partial {\mathbf{h}}_t}\right)={\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t}$$

将上面的递归公式展开，对任意时间步 $1\le t\le T$, 我们可以得到目标函数有关隐藏状态梯度的通项公式
$$\frac{\partial L}{\partial \mathbf{h}t}=\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{\top }\right)}^{T-i}{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial \mathbf{o}T+t-i}$$

由上式中的指数项可见, 当时间步数 $T$ 较大或者时间步 $t$ 较小时，目标函数有关隐藏状态的梯度较容易出现衰减和爆炸。这也会影响其他包含 $\partial L/\partial {\mathbf{h}}_t$ 项的梯度, 例如隐藏层中模型参数的梯度 $\partial L/\partial {\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$ 和 $\partial L/\partial {\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$ 。在图6.3中, $L$ 通过 ${\mathbf{h}}_1,\dots ,{\mathbf{h}}_T$ 依赖这些模型参数。依据链式法则, 我们有
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{W}}_{hx}}& =\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hx}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{x}}_t^{\top }\\ \frac{\partial L}{\partial {\mathbf{W}}_{hh}}& =\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\top }.\end{array}$$

我们已在3.14节里解释过, 每次迭代中, 我们在依次计算完以上各个梯度后, 会将它们存储起来, 从而避免重复计算。例如, 由于隐藏状态梯度 $\partial L/\partial {\mathbf{h}}_t$ 被计算和存储, 之后的模型参数梯度 $\partial L/\partial {\mathbf{W}}_{hx}$ 和 $\partial L/\partial {\mathbf{W}}_{hh}$ 的计算可以直接读取 $\partial L/\partial {\mathbf{h}}_t$ 的值, 而无须重复计算它们。此外, 反向传播中的梯度计算可能会依赖变量的当前值。它们正是通过正向传播计算出来的。举例来说, 参数梯度 $\partial L/\partial {\mathbf{W}}_{hh}$ 的计算需要依赖隐藏状态在时间 步 $t=0,\dots ,T-1$ 的当前值 $h_t(h_0$ 是初始化得到的) 。这些值是通过从输入层到输出层的正向传播计算并存储得到的。

小结

• 通过时间反向传播是反向传播在循环神经网络中的具体应用。
• 当总的时间步数较大或者当前时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。