鞍点とは

鞍点は、ある方向から見ると谷底なのに、別の方向から見ると山の頂上になっている点です。名前は、乗馬で使う鞍（くら）の形に由来します。鞍の中央は、馬の前後の方向に見るとくぼんだ底ですが、左右の方向に見ると盛り上がった頂点です。山道でいえば、2つの山の間を越える峠にあたります。

勾配が0になる点

鞍点では、どの方向にも傾きがなく、勾配が0になります。たとえばf(x, y) = x² − y²の原点がそうです。原点からx方向に動くと値は増え、y方向に動くと値は減ります。勾配が0でも、極小ではないので、局所最適解とは区別します。

勾配降下法は勾配を頼りに進むため、鞍点にぴったり乗ると動けなくなります。鞍点の近くでも勾配が小さく、更新がとても遅くなります。このとき損失はほとんど下がらず、学習が止まったように見えます。

高次元では鞍点が多い

ある点が極小になるには、すべての方向で谷底である必要があります。重みが数百万個あるニューラルネットワークで、損失がまだ大きい領域では、すべての方向が同時に谷底になる点はまれです。どこかの方向が下り坂になっている鞍点のほうが、ずっと多く現れます。

2014年のドーファンらの研究は、高次元の学習を難しくしているのは、局所最適解よりも鞍点の多さだと指摘しました。鞍点の周りには損失の高い平らな領域（プラトー）が広がり、学習を大きく遅らせるとしています。

抜け出す工夫

確率的勾配降下法の勾配のばらつきや、モーメンタムの勢いは、鞍点の付近から抜け出す助けになります。AdamやRMSpropのように、勾配の大きさに応じて更新幅を調整する手法では、勾配が小さい方向でも更新が極端に小さくなりにくくなります。

覚え方

「鞍点は峠。一方から見れば底、もう一方から見れば頂上」と覚えます。