G検定 練習問題 #0175・最適化手法

バッチ・オンライン学習の比較

ディープラーニングの概要 › 最適化手法 単一選択 難易度 基礎

バッチ学習、ミニバッチ学習、オンライン学習の比較に関する説明として、最も不適切なものを1つ選べ。

正解と解説を見る

解説

正解 C

この問題の論点:バッチ・オンライン学習の比較

ポイント

1回の更新に使うデータが少ないほど、更新は頻繁になる一方、勾配のばらつきは大きくなります。オンライン学習はその最も極端な形です。

選択肢ごとの解説

  1. A

    適切

    バッチ学習は全データの勾配を平均して使うため、更新の向きがぶれにくくなります。その反面、データが多いと1回の更新に時間がかかり、メモリに載りきらないこともあります。

  2. B

    適切

    オンライン学習は1件ごとに更新できるため、データを貯めてから学習し直す必要がありません。ログやセンサーの値のように、データが継続的に届く場面に向きます。

  3. C

    不適切 正解

    1件だけから求めた勾配は、全データの勾配に比べてばらつきが大きくなります。そのため損失は細かく上下しながら下がります。3つの方式でばらつきが最も小さいのは、全データを使うバッチ学習です。

  4. D

    適切

    ミニバッチ学習では、数十〜数百件程度のデータをまとめて行列演算で処理します。GPUは同じ種類の計算を同時に多数こなすのが得意なため、1件ずつ処理するより効率よく計算できます。

試験での狙われ方

3つの学習方式について、1回の更新に使うデータ数、計算効率、勾配のばらつきを比べさせる形が考えられます。

参考

表示設定

テーマ
文字の大きさ
問題演習