RMSprop

RMSprop とは、AdaGrad の「学習率が下がりすぎて学習が止まってしまう」という弱点を改善した最適化手法です。

過去の勾配をすべて平等に足し込むのではなく、直近の勾配を重視して古い情報を少しずつ忘れていくことで、学習率が下がりきらないようにします。

実務でもよく使われ、モーメンタムと組み合わせた ADAM の土台にもなっている重要な手法です。