AdaGrad

AdaGrad とは、パラメータ 1 つひとつについて学習率を自動で調整してくれる最適化手法です。

これまで大きく動いたパラメータほど学習率を小さくし、あまり動いていないパラメータには大きめの歩幅を残します。出番の少ない特徴もきちんと学習できるのが利点です。

便利な反面、更新を重ねるほど学習率が下がり続け、最後にはほとんど動かなくなるという弱点があり、RMSprop などの改良につながりました。