学習率

学習率とは、1 回の更新で重みをどれくらい大きく動かすかを決める値のことです。坂を下るときの歩幅を決める設定だとイメージすると分かりやすいでしょう。

学習率が大きすぎると最適な場所を飛び越えてしまい、誤差が減るどころか発散します。逆に小さすぎると少しずつしか進めず、学習に膨大な時間がかかります。

学習がうまくいかないときに真っ先に見直すべき代表的なハイパーパラメータで、学習の途中で少しずつ小さくしていく「学習率の減衰」もよく使われます。