勾配降下法の問題と改善

勾配降下法の問題と改善とは、誤差が小さくなる方向へ重みを少しずつ動かしていく「勾配降下法」がうまく働かない場面と、それを乗り越えるための工夫をまとめた考え方です。

たとえば、歩幅にあたる学習率が大きすぎると答えを通り過ぎて発散し、小さすぎると学習がいつまでも終わりません。途中の平らな場所や偽の谷にはまって動けなくなることもあります。

こうした問題に対して、モーメンタムや ADAM といった改良手法が次々と考案されてきました。個々の手法を覚える前に「何に困っていたのか」を押さえると理解が早くなります。