レイヤー正規化とは

レイヤー正規化は、バッチ正規化の弱点を補う手法として、2016年にBaらが提案しました。現在はTransformerの標準的な部品として広く使われています。

バッチ正規化との違い

違いは、平均と分散を計算する範囲です。

• バッチ正規化：ミニバッチ内の複数のサンプルにまたがって、特徴（チャネル）ごとに計算します。
• レイヤー正規化：1つのサンプルの中で、その層のすべてのユニットの値をまとめて計算します。

求めた平均と分散で値を平均0・分散1にそろえ、学習するパラメータで拡大と平行移動を加える点は、バッチ正規化と同じです。

利点

他のサンプルを使わないため、ミニバッチの大きさに左右されません。バッチサイズが1でも同じように計算できます。また、学習時と推論時でまったく同じ計算をします。バッチ正規化のように、学習中に統計量を記録しておく必要はありません。

RNNとの相性もよい手法です。RNNは時刻ごとに計算し、系列の長さもデータごとに異なります。バッチ正規化では時刻ごとの統計量を扱いにくいのに対し、レイヤー正規化は各時刻でサンプルごとに計算できます。提案論文では、RNNの隠れ状態の変化を安定させる効果が報告されています。

使われる場面と限界

元のTransformerでは、Attentionなどの各サブ層の出力に入力を足し合わせた（スキップ結合）後に、レイヤー正規化をかけます。配置は変わりつつも、BERTやGPT系のモデルでも使われています。

一方、CNNでは、すべてのチャネルを同じ統計量でそろえる方法が合わない場合があります。提案論文も、CNNでの予備実験ではバッチ正規化のほうが高い性能を示したと述べています。CNNではバッチ正規化やグループ正規化、RNNやTransformerではレイヤー正規化、という使い分けが目安になります。

覚え方

「バッチは仲間と比べ、レイヤーは自分の中で比べる」と覚えます。