最急降下法

最急降下法とは、誤差が最も急に小さくなる方向を計算し、その向きへ重みを少しずつ動かしていく、最も基本的な学習方法です。

目隠しをして山を下りるとき、足元でいちばん傾きが急な方向へ一歩ずつ進むイメージです。訓練データ全体から傾き（勾配）を求め、その反対方向へ進みます。

考え方はシンプルですが毎回すべてのデータを使うため計算が重く、実際にはミニバッチ学習や確率的勾配降下法といった派生手法が使われます。