確率的勾配降下法

確率的勾配降下法（SGD）とは、訓練データからランダムに選んだ少数のデータだけを使って勾配を求め、重みを更新していく手法です。

全データを使う最急降下法に比べて 1 回の計算が軽く、更新の回数を多く回せるため学習が速く進みます。ランダムに選ぶぶん、更新の向きは多少ぶれます。

このぶれはむしろ利点にもなり、局所最適解や鞍点から抜け出す助けになります。現在の最適化手法の多くは SGD を土台にしています。