AdaDelta

AdaDelta とは、RMSprop と同じ時期に提案された、学習率を状況に応じて自動調整する最適化手法です。

直近の勾配だけを見て調整する点は RMSprop と共通しますが、更新量そのものの大きさも利用することで、学習率を人が指定しなくても動くよう設計されています。

AdaGrad の弱点を解消する系統の手法として、RMSprop と並べて覚えておくとよいでしょう。