勾配爆発問題とは

勾配爆発問題は、勾配消失問題と対になる現象です。学習中に勾配が極端に大きくなり、重みが一気に動いてしまいます。

なぜ起きるのか

誤差逆伝播法では、連鎖律により、出力層から入力層へ向かって各層の微分や重みが次々に掛け合わされます。掛け合わせる値が1より小さいと勾配は0に近づき、勾配消失問題になります。逆に、1より大きい値が続くと、勾配は層をさかのぼるほど急激に大きくなります。たとえば2を20回掛けると100万を超えます。

特に起きやすいのがRNNです。RNNは同じ重みを各時刻で使い回すので、BPTTで過去にさかのぼるたびに、同じ重みが何度も掛け合わされます。重みによる拡大の度合いが1を超えていると、長い系列ほど勾配が爆発的に大きくなりやすくなります。

症状

勾配が大きすぎると、1回の更新で重みが極端に大きく動きます。損失が急に跳ね上がったり振動したりし、最後にはNaN（数値として表せない値）になって学習が止まることもあります。

なお、学習率が大きすぎる場合も、更新が行き過ぎて損失が発散します。症状は似ていますが、勾配爆発問題は逆伝播の途中で勾配そのものが大きくなる現象です。

主な対策

• 勾配クリッピング：勾配の大きさ（ノルム）がしきい値を超えたら、向きは変えずに大きさだけをしきい値まで縮めます。ノルムで縮めるこの方法は、2013年にパスカヌらがRNNの学習向けに提案し、広く使われています。
• 重みの初期値：層の大きさに合わせた初期化で、層を通るたびに値が拡大・縮小するのを抑えます。
• 正規化：バッチ正規化などで、各層の値の大きさを整えます。
• 重みの正則化：L2正則化などで、重みが大きくなりすぎるのを防ぎます。

LSTMやGRUのゲート機構は、主に勾配消失問題への対策です。そのため、LSTMを使う場合も、勾配クリッピングを併用することがよくあります。

覚え方

「1より大きい数の掛け算は、すぐに手に負えなくなる」と覚えます。