バッチ学習・ミニバッチ学習とオンライン学習の違い

バッチ学習、ミニバッチ学習、オンライン学習は、勾配降下法で重みを更新するときの進め方の違いです。損失が小さくなる向き（勾配と逆の向き）へ重みを少しずつ動かす点はどれも同じで、1回の更新に使うデータの件数だけが違います。

バッチ学習

訓練データ全件について勾配を求め、その平均を使って1回更新します。データ全体の傾向を反映するので、更新の向きは安定します。その代わり、データが多いと1回の計算に時間がかかり、メモリに載りきらないこともあります。新しいデータが加わったときは、全件で学習し直すのが基本です。

ミニバッチ学習

訓練データを数十〜数百件ずつのまとまりに分け、まとまりごとに更新します。1つのまとまりの件数がバッチサイズで、学習を始める前に人が決めるハイパーパラメータです。勾配のぶれをある程度抑えながら、GPUでまとめて並列に計算できるため、ディープラーニングの学習ではこの方式が標準です。偏ったまとまりができないよう、データをシャッフルしてから分けます。

オンライン学習

データを1件受け取るたびに、その1件だけで更新します。1回の計算は軽く、データが次々に届く場面でもモデルを更新し続けられます。一方で、1件ごとの勾配はばらつきが大きく、損失は上下しながら下がります。誤ったデータの影響もすぐに表れるため、運用中は性能の監視が欠かせません。

呼び方の注意

ランダムに選んだ1件やミニバッチで更新する方法は、まとめて確率的勾配降下法（SGD）と呼ばれます。決まった訓練データを何周も使うものを「確率的」、次々に生まれるデータの流れから学ぶものを「オンライン」と呼び分ける説明もあります。まずは、1回の更新に何件使うかで3つを見分けられるようにします。