早期終了とは

早期終了は、学習をやりすぎる前に止めることで、過学習を防ぐ方法です。

仕組み

ニューラルネットワークは、学習データ全体を何周も繰り返して学習します。1周をエポックと呼びます。学習データに対する誤差は、エポックを重ねるほど下がり続けます。一方、学習に使っていない検証データの誤差は、ある時点までは下がり、その後は上がり始めることがよくあります。これは、モデルが学習データのノイズまで覚え込み、汎化性能が落ちてきたサインです。早期終了では、検証データの誤差が最も小さかった時点のパラメータを残し、そこで学習を打ち切ります。

試験勉強にたとえると、模試の点が伸びなくなった時点で、同じ問題集の周回をやめる判断に当たります。

実際の使い方

検証データの誤差は小刻みに上下します。1回悪化しただけで止めると、早すぎることがあります。そこで「一定回数続けて改善しなければ止める」という猶予を設けるのが一般的です。この回数をpatience（忍耐）と呼びます。止めた後は、最良だった時点のパラメータに戻して使います。

正則化としての位置づけ

早期終了は、正則化の一種として扱われます。L2正則化のように誤差関数に罰則項を加える必要がなく、モデルの構造も変えません。学習の手順にほとんど手を加えずに使えるのが利点です。学習の回数を、検証データで決めるハイパーパラメータの1つとみなす見方もあります。二乗誤差で学習する線形モデルなど限られた条件のもとでは、L2正則化と同じ効果をもつことが示されています。

注意点

2019年の研究では、学習を続けると、検証データの誤差がいったん上がった後に再び下がる場合があると報告されました。これは二重降下現象の一種で、エポック数に対して起きるものです。最初に誤差が上がった時点で止めると、その先の改善を逃すこともあります。

覚え方

「検証データの誤差が底を打ったら止める」と覚えます。