局所最適解とは

局所最適解は、そのすぐ周りでは損失が最も小さいものの、関数全体で見ると最小とは限らない点です。数学でいう極小点にあたり、局所解とも呼ばれます。関数全体で最小になる点は大域最適解と呼んで区別します。

くぼみと谷底のたとえ

山の斜面を転がり下りるボールを考えます。ボールは途中の小さなくぼみに入ると、そこで止まってしまいます。本当の谷底がもっと低い所にあっても、くぼみの中からは見えません。

勾配降下法も同じです。足元の傾きだけを見て下るため、くぼみの底に近づくと勾配がほぼ0になり、重みがほとんど動かなくなります。たどり着いた点が本当の谷底かどうかは、勾配からは判断できません。

どんなときに問題になるか

線形回帰の二乗誤差のように、損失関数がお椀のような形（凸関数）なら、途中で引っかかるくぼみがありません。この場合、局所最適解は必ず大域最適解になります。

ニューラルネットワークの損失関数は凸関数ではなく、くぼみがたくさんあります。どのくぼみに入るかは、重みの初期値やデータの順番で変わります。

ただし、十分に大きなネットワークでは、多くの局所最適解の損失は大域最適解に近いという見方が有力です。むしろ、勾配が0になる鞍点や、平らな領域での停滞が注目されています。

抜け出すための工夫

• 確率的勾配降下法・ミニバッチ学習：一部のデータで求めた勾配のばらつきが揺れとなり、浅いくぼみから抜け出せることがあります。
• モーメンタム：それまでの更新の勢いで、浅いくぼみを通り過ぎやすくなります。
• 初期値を変えて何度か学習し、検証データでの結果が最もよいモデルを選びます。

覚え方

「局所最適解は地区で1位、大域最適解は全国で1位」と覚えます。