大域最適解とは

大域最適解は、関数全体で損失が最も小さくなる点です。機械学習でいえば、考えられるすべての重みの中で、訓練データに対する誤差が最も小さくなる重みです。大域解やグローバルミニマムとも呼ばれます。

局所最適解との関係

周りより低いだけの点が局所最適解で、全体で最も低い点が大域最適解です。大域最適解は全体で最も低いので、その周りでも最も低く、局所最適解の1つでもあります。逆は成り立ちません。

勾配降下法は、足元の傾きを頼りに下ります。そのため、たどり着いた点が本当に全体で最も低いのかを、自分では確かめられません。

見つけやすい場合と難しい場合

損失関数がお椀型の凸関数なら、途中で引っかかるくぼみがなく、局所最適解は大域最適解と一致します。線形回帰を最小二乗法で解く場合がこれにあたり、どこから下り始めても最も低い谷底に着きます。

ニューラルネットワークの損失関数は凸関数ではなく、くぼみや鞍点が数多くあります。重みが数百万個を超えることもあり、すべての点を調べることもできません。そのため、見つけた解が大域最適解だという保証は得られません。

大域最適解にこだわらない理由

実際のディープラーニングでは、大域最適解を見つけることにはこだわりません。理由は2つあります。

1つは、大規模なネットワークでは、多くの局所最適解が大域最適解に近い損失をもつと考えられていることです。もう1つは、訓練データの誤差を最小にした重みが、未知のデータでも最もよいとは限らないことです。訓練誤差を下げすぎると過学習になり、汎化性能が下がることがあります。そのため、検証データの誤差が悪化し始めたところで学習を止める早期終了などが使われます。

覚え方

「大域最適解は全国で1位。全国1位は地区でも1位」と覚えます。