ある部品メーカーが、部品の画像を良品と不良品に分類するモデルをミニバッチ学習で訓練する。保存されたデータは、良品の画像がすべて先に並び、不良品の画像がその後に続いている。この並び順のまま先頭から順にミニバッチを作るのは問題だと指摘された。その理由と対応として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：ミニバッチの並び順の影響
ポイント
ミニバッチ学習では、データをシャッフルしてからミニバッチを作り、各ミニバッチが訓練データ全体を偏りなく代表するようにします。
選択肢ごとの解説
- A
適切 正解
ミニバッチの勾配が全体の勾配のよい近似になるには、各ミニバッチが訓練データ全体から偏りなく選ばれている必要があります。シャッフルしてから分割するのが基本で、エポックごとに並べ替え直す実装も一般的です。
- B
不適切
重みは1回ごとに順番に更新されるため、並び順の影響は1周しても消えません。この例では、エポックの後半に不良品だけで更新が続き、不良品寄りの判定に引っ張られた状態でエポックを終えます。
- C
不適切
学習率を大きくすると、偏ったミニバッチごとに重みがより大きく振れるだけです。良品だけ、不良品だけで続く更新がそれぞれ強く効き、学習はかえって不安定になります。
- D
不適切
オンライン学習は1件ずつ更新するため、むしろ並び順の影響を強く受けます。同じクラスのデータが続けて届けば、更新はそのクラスに偏り続けます。
試験での狙われ方
データの並び順やミニバッチの選び方が学習に与える影響を、業務データの保存形式とあわせて問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目16 最適化手法）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （8.1.3 Batch and Minibatch Algorithms）