二重降下現象とは

二重降下現象は、ディープラーニングなどの大きなモデルで観察される、直感に反するテスト誤差の動きです。英語ではdouble descentといいます。

古典的な見方

従来の機械学習では、モデルの規模とテスト誤差の関係はU字型になると考えられてきました。モデルが小さすぎると、データの傾向をとらえきれず誤差が大きくなります。大きくすると誤差は下がりますが、大きくしすぎると訓練データの細かな雑音まで覚え、誤差は再び上がります。これが過学習です。この見方では、ちょうどよい規模で止めるのが最善です。

2回目の降下

ところが、パラメータの数が訓練データの数を大きく上回るニューラルネットワークでも、高い汎化性能を示す例が知られていました。Belkinらは2019年に学術誌PNASに掲載された論文で、U字の山を越えてさらにモデルを大きくすると、テスト誤差が再び下がることを示し、これを二重降下と呼びました。山の頂点は、訓練データをほぼ誤差なく当てはめきれるようになる規模（補間しきい値）の付近に現れます。

Nakkiranらは同じ年に、ResNetなどのCNNやTransformerでも同じ変化を確かめました。モデルの規模を固定して学習のエポック数を増やす場合にも似た変化が見られます。条件によっては、データを増やすとかえって性能が下がることも報告されています。

実務での意味

「大きなモデルは必ず過学習する」とは限らないことを示す現象です。ただし、山が現れる位置や高さはデータやモデルによって変わります。検証データで汎化性能を確かめ、モデルの規模や学習を止める時期を決める手順は、これまでと変わりません。

覚え方

「下がって、上がって、もう一度下がる」。降下が2回あるので二重降下です。