バッチ学習、ミニバッチ学習、オンライン学習の比較に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点:バッチ・オンライン学習の比較
ポイント
1回の更新に使うデータが少ないほど、更新は頻繁になる一方、勾配のばらつきは大きくなります。オンライン学習はその最も極端な形です。
選択肢ごとの解説
- A
適切
バッチ学習は全データの勾配を平均して使うため、更新の向きがぶれにくくなります。その反面、データが多いと1回の更新に時間がかかり、メモリに載りきらないこともあります。
- B
適切
オンライン学習は1件ごとに更新できるため、データを貯めてから学習し直す必要がありません。ログやセンサーの値のように、データが継続的に届く場面に向きます。
- C
不適切 正解
1件だけから求めた勾配は、全データの勾配に比べてばらつきが大きくなります。そのため損失は細かく上下しながら下がります。3つの方式でばらつきが最も小さいのは、全データを使うバッチ学習です。
- D
適切
ミニバッチ学習では、数十〜数百件程度のデータをまとめて行列演算で処理します。GPUは同じ種類の計算を同時に多数こなすのが得意なため、1件ずつ処理するより効率よく計算できます。
試験での狙われ方
3つの学習方式について、1回の更新に使うデータ数、計算効率、勾配のばらつきを比べさせる形が考えられます。
参考
- G検定 試験出題範囲(シラバス2024)第1.4版 (技術分野 項目16 最適化手法)
- Goodfellow, Bengio, Courville, Deep Learning (2016) (8.1.3 Batch and Minibatch Algorithms)