モーメンタム

モーメンタムとは、これまで進んできた方向を「慣性」として次の更新に加えることで、学習を加速させる工夫のことです。

坂道を転がるボールが勢いをつけて進み、小さなくぼみなら乗り越えていくイメージです。同じ方向へ進み続けるほど歩幅が大きくなります。

この勢いのおかげで局所最適解や鞍点にはまりにくくなり、ジグザグな動きも抑えられます。ADAM にもこの考え方が取り込まれています。