勾配爆発

勾配爆発とは、誤差を逆向きに伝えていく過程で勾配がどんどん大きくなり、重みの更新量が跳ね上がって学習が壊れてしまう問題です。

層が深いネットワークや、同じ重みをくり返し使う回帰結合層で起こりやすく、誤差の値が急に発散して学習を続けられなくなります。

勾配の大きさに上限を設ける「勾配クリッピング」などで対処します。勾配消失問題と対になる、深いネットワーク特有の課題です。