消失梯度

网络训练过程中，如果每层网络的梯度都小于 1，各层梯度的偏导数会与后面层
传递而来的梯度相乘得到本层的梯度，并向前一层传递。该过程循环进行，最后导
致梯度指数级地减小，这就产生了梯度消失现象。这种情况会导致神经网络层数较
浅的部分梯度接近 0。一般来说，产生很小梯度的原因是使用了类似于 Sigmoid 这样
的激活函数，当输入的值过大的时候这类函数曲线会趋于直线，梯度近似
为零。针对这个问题，主要的解决办法是使用更加易于优化的激活函数，比如，使用
ReLU 代替 Sigmoid 和 Tanh 作为激活函数。

爆炸梯度

网络训练过程中，如果参数的初始值过大，而且每层网络的梯度都大于 1，反向
传播过程中，各层梯度的偏导数都会比较大，会导致梯度指数级地增长直至超出浮
点数表示的范围，这就产生了梯度爆炸现象。如果发生这种情况，模型中离输入近
的部分比离输入远的部分参数更新得更快，使网络变得非常不稳定。在极端情况下，
模型的参数值变得非常大，甚至于溢出。

有几种技术专注于爆炸梯度问题。一种常见的方法是L2 正则化，它在网络的成本函数中应用“权重衰减”。正则化参数变大，权重变小，有效地降低了它们的用处，从而使模型更线性。 然而，我们将专注于一种在获得结果和易于实施方面要优越得多的技术——梯度裁剪。

梯度裁剪 

 针对梯度爆炸的问题，常用的解决办法为梯度裁剪（Gradient Clipping）。

 梯度裁剪以两种变体实现：

• 按值裁剪
• 按范数裁剪

按值裁剪背后的想法很简单。我们定义了一个最小剪辑值和一个最大剪辑值。 

如果梯度超过某个阈值，我们将该梯度剪裁到阈值。如果梯度小于下限，那么我们也将其裁剪到阈值的下限。 

算法如下：

g ← ∂C/∂W

如果 ‖ g ‖ ≥ max_threshold或 ‖ g ‖ ≤ min_threshold那么

 g ←阈值（相应地）

按范数梯度裁剪
按范数裁剪背后的想法类似于按值裁剪。不同之处在于我们通过将梯度的单位向量与阈值相乘来裁剪梯度。 
算法如下：

g ← ∂C/∂W

如果 ‖ g ‖ ≥ threshold那么

   g ←阈值 * g / ‖ g ‖

 参考英文链接：

https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem