バッチ正規化とレイヤー正規化の違い

バッチ正規化

バッチ正規化は、2015年にIoffeとSzegedyが提案しました。学習はミニバッチ単位で進みます。バッチ正規化は、そのミニバッチに含まれる複数のサンプルの値を特徴（CNNではチャネル）ごとに集めて平均と分散を求め、平均0・分散1にそろえます。

各層への入力の大きさがそろうので、大きめの学習率でも発散しにくくなり、学習が速く進みます。ただし、統計量がほかのサンプルに依存するため、ミニバッチが小さいと推定がぶれます。また、推論では1件ずつ予測することもあるので、学習中に記録しておいた平均と分散を使います。学習時と推論時で計算が変わる点が特徴です。

レイヤー正規化

レイヤー正規化は、2016年にBaらが提案しました。1つのサンプルの中で、その層のすべてのユニットの値をまとめて平均と分散を求めます。ほかのサンプルを使わないので、バッチサイズが1でも同じ計算ができます。学習時と推論時の計算も同じです。

時刻ごとに計算し、系列の長さもデータごとに違うRNNと相性がよい手法です。現在はTransformerの標準的な部品で、元のTransformerでは、各サブ層の出力に入力を足し合わせた後に置かれています。

共通点と使い分け

どちらも、そろえた値に学習するパラメータ（γとβ）で拡大と平行移動を加えてから、次の層へ渡します。違うのは、平均と分散を計算する範囲です。

目安として、CNNではバッチ正規化、RNNやTransformerではレイヤー正規化が使われます。CNNでもバッチサイズを大きく取れないときは、チャネルをいくつかのグループに分けて計算するグループ正規化が選ばれます。