ある製造業の企業が、外観検査に使う画像分類モデルを学習させている。訓練データの損失も検証データの損失も高い水準のまま、何エポックもほとんど下がらなくなった。調べると、勾配の大きさは0に近かった。この状況への対応として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：学習の停滞への対処
ポイント
訓練データの損失が高いまま勾配が0に近いときは、鞍点やプラトーでの最適化の停滞を疑います。過学習とは症状も対策も異なります。
選択肢ごとの解説
- A
適切
モーメンタムは過去の更新量を引き継ぐため、勾配がほぼ0の場所でも、それまでの勢いで進み続けられます。鞍点やその周辺の平坦な領域で停滞しにくくなります。
- B
不適切 正解
過学習は、訓練データの損失が下がる一方で検証データの損失が上がる状態です。ここでは訓練データの損失自体が高いまま止まっており、最適化の停滞が疑われます。正則化を強めると、当てはめはさらに進みにくくなります。
- C
適切
どの局所最適解や平坦な領域にたどり着くかは、重みの初期値によって変わります。初期値を変えて複数回学習するのは、悪い停滞点に左右されないための素朴で有効な方法です。
- D
適切
ミニバッチが小さいほど、勾配の推定値は全データの勾配からばらつきます。このばらつきにより、勾配がほぼ0の点に止まり続けにくくなり、鞍点などから抜け出すきっかけになります。
試験での狙われ方
学習が停滞する原因（局所最適解、鞍点、プラトー）と、その対策の組み合わせを問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目16 最適化手法）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （8.2.3 Plateaus, Saddle Points and Other Flat Regions）
- Dauphin et al., Identifying and attacking the saddle point problem in high-dimensional non-convex optimization (2014)