ミニバッチ学習とは

ミニバッチ学習は、ニューラルネットワークの学習で最もよく使われる、重みの更新の進め方です。訓練データを小さなまとまりに分け、まとまりごとに重みを更新します。このまとまりをミニバッチ、1つのミニバッチに含まれるデータの件数をバッチサイズと呼びます。

3つの学習方法の比較

勾配降下法で重みを更新するとき、1回の更新に何件のデータを使うかで、次の3つに分かれます。

• バッチ学習：訓練データ全件の勾配で1回更新します。勾配は安定しますが、1回の計算が重く、データが多いと扱いにくくなります。
• オンライン学習：データを1件ずつ使って更新します。計算は軽いものの、1件ごとのばらつきで更新の向きが大きくぶれます。
• ミニバッチ学習：その中間です。数十〜数百件の勾配の平均で更新するため、ぶれをある程度抑えつつ、計算量も現実的な範囲に収まります。

ミニバッチ学習とオンライン学習は、ランダムに選んだデータで更新するため、どちらも確率的勾配降下法（SGD）と呼ぶことがよくあります。

エポックとイテレーション

訓練データ全体を1回使い切ることを1エポック、重みを1回更新することを1イテレーションと数えます。1エポックのイテレーション数は「データ数 ÷ バッチサイズ」です。たとえば1万件のデータをバッチサイズ100で学習すると、1エポックで100回更新します。

利点と注意点

ミニバッチ内の複数のデータは、GPUでまとめて並列に計算できます。また、勾配に適度なばらつきがあるため、局所最適解や鞍点にとどまりにくくなる効果も期待されます。

バッチサイズはハイパーパラメータです。大きすぎるとメモリが足りなくなり、小さすぎると更新がぶれやすくなります。なお、バッチ正規化は、このミニバッチの単位で平均と分散を計算します。

覚え方

「全部はバッチ、1件はオンライン、その間がミニバッチ」と覚えます。