鞍点

鞍点とは、ある方向から見ると谷底なのに、別の方向から見ると山の頂上になっている、馬の鞍のような形をした点のことです。

この場所では傾きがほぼゼロになるため、勾配だけを見て進む手法は「もう最適だ」と勘違いして止まってしまいます。

次元が高いディープラーニングでは局所最適解よりも鞍点のほうが問題になりやすく、モーメンタムや ADAM はここを抜け出す助けになります。