AMSBound

AMSBound とは、ADAM の改良版である AMSGrad に対して、AdaBound と同じ学習率の上下限を組み合わせた手法です。

AMSGrad は過去の勾配の情報が急に小さくならないようにして収束を安定させる手法で、そこへ上下限を加えることで極端な更新をさらに防ぎます。

AdaBound と対になる手法として、ADAM 系の改良の流れの中で押さえておくとよいでしょう。