AdaBound

AdaBound とは、ADAM の学習率が極端な値になるのを防ぐため、学習率に上限と下限を設けた手法です。

学習の序盤は ADAM のように素早く進み、進むにつれて上下限の幅を狭めていくことで、終盤は確率的勾配降下法のように落ち着いた学習へ移っていきます。

ADAM は学習は速いものの最終的な汎化性能で SGD に劣ることがある、という指摘に応えた改良手法です。