勾配消失問題

勾配消失問題とは、誤差を出力側から入力側へ伝えていくうちに勾配がどんどん小さくなり、入力に近い層がほとんど学習しなくなってしまう問題です。

シグモイド関数のように傾きが小さくなりやすい活性化関数を何層も通すと、掛け算のたびに勾配が縮み、最後にはゼロ同然になってしまいます。

長らくネットワークを深くできない原因でしたが、ReLU 関数やスキップ結合の登場で大きく改善し、ディープラーニングの実現につながりました。