深層学習で観察される二重降下現象に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：二重降下現象の特徴
ポイント
二重降下現象では、訓練データを当てはめきれる規模を超えてモデルを大きくすると、テスト誤差が再び下がることがあります。
選択肢ごとの解説
- A
適切
二重降下現象の基本的な形です。テスト誤差が下がる局面が2回現れることが名前の由来です。山を越えた先の大きなモデルの領域で、最初の谷より低い誤差になる場合もあります。
- B
適切
訓練データをちょうど当てはめきれる規模は、補間しきい値（interpolation threshold）と呼ばれます。この付近では、ノイズを含む訓練データに合わせられるモデルが限られ、ノイズの影響を強く受けるため、テスト誤差が大きくなりやすいとされます。
- C
適切
Nakkiranらは、モデルの規模だけでなくエポック数に対しても、テスト誤差が下がって上がり、再び下がる現象を報告しました。条件によっては、訓練データを増やすと性能が下がる場合も示されています。
- D
不適切 正解
古典的なバイアスとバリアンスの考え方では、テスト誤差はモデルの規模に対してU字型になり、大きくしすぎると上がり続けるとされてきました。二重降下現象は、その先で誤差が再び下がることを示し、この見方の見直しを促しました。
試験での狙われ方
過学習やバイアスとバリアンスのトレードオフとの関係を、テスト誤差の曲線の形で問う形が考えられます。