ADAM

ADAM とは、モーメンタムの「慣性」と、AdaGrad 系の「パラメータごとの学習率調整」を組み合わせた最適化手法です。

進んできた方向の勢いを活かしつつ、パラメータごとに適切な歩幅を選ぶため、幅広い問題で安定して速く学習が進みます。

特別な理由がなければまず ADAM を選ぶ、と言われるほど広く使われている定番の手法です。