バッチ正規化とは

バッチ正規化は、ニューラルネットワークの途中の層で、値の範囲をそろえる手法です。2015年にIoffeとSzegedyが提案しました。CNNでは、畳み込み層の直後に入れる構成が広く使われています。

しくみ

学習では、データを数十〜数百件程度ずつまとめたミニバッチ単位で計算します。バッチ正規化は、このミニバッチの中で、特徴（CNNではチャネル）ごとに平均と分散を求めます。そして各値から平均を引き、標準偏差で割って、平均0・分散1にそろえます。

ただし、そろえたままでは層が表せる値の範囲が狭くなります。そこで、学習で決まる2つのパラメータ（スケールγとシフトβ）で拡大と平行移動を加えてから、次の層へ渡します。

効果

• 大きめの学習率でも発散しにくくなり、学習が速く進みます。
• 重みの初期値の影響を受けにくくなります。
• ミニバッチごとに統計量がぶれるため、弱い正則化の効果もあります。提案論文では、ドロップアウトが不要になる場合もあったと報告されています。

提案論文は、学習中に各層への入力の分布が変わる「内部共変量シフト」を減らすことが効く理由だと説明しました。その後、誤差関数の形をなめらかにして最適化を進めやすくすることが主な理由だとする研究も出ています。効く理由の説明は、今も1つに定まっていません。

推論時の扱い

推論では、1件ずつ予測することもあります。そのため、学習中に移動平均などで記録しておいた平均と分散を使って正規化します。学習時と推論時で、使う統計量が異なる点に注意します。

弱点

ミニバッチが小さいと、平均と分散の推定がぶれて、学習が不安定になります。また、系列の長さが変わるRNNには使いにくい面があります。こうした場面では、サンプルごとに統計量を計算するレイヤー正規化やグループ正規化が使われます。