局所最適解

局所最適解とは、その周辺だけを見れば誤差が最も小さいものの、全体で見ればもっと良い解が別にある点のことです。

浅い谷に落ちてしまった状態で、周りはどこも上り坂になっているため、傾きだけを頼りに進む勾配降下法はここで止まってしまいます。

抜け出す工夫として、更新にランダム性を持たせる確率的勾配降下法や、勢いを加えるモーメンタムなどが使われます。