正規化層（シラバス 技術19）

正規化層の目的

正規化層は、ネットワークの途中を流れる値を、いったん平均0・分散1にそろえる層です。層を重ねると、値の大きさや偏りが層ごとにばらつき、学習が不安定になりがちです。値の分布をそろえると、大きめの学習率でも発散しにくくなり、学習が速く安定して進みます。

手順はどの手法も共通です。

1. ある範囲の値から平均と分散を計算します。
2. 平均を引き、標準偏差で割ってそろえます。
3. 学習で決まる2つのパラメータ（γとβ）で拡大と平行移動を加え、表現の幅を取り戻します。

手法による違いは、1の「どの範囲で平均と分散を計算するか」です。

4つの手法の違い

画像のミニバッチを「N枚の画像 × Cチャンネル × 縦H × 横W」の箱と考えると整理できます。

手法	平均と分散を計算する範囲	バッチサイズの影響	主な使いどころ
バッチ正規化	チャンネルごとに、バッチ内の全画像の全画素	受ける	画像認識のCNN
レイヤー正規化	画像1枚ごとに、全チャンネルの全画素	受けない	Transformer、RNN
インスタンス正規化	画像1枚の1チャンネルごとに、その全画素	受けない	画像のスタイル変換
グループ正規化	画像1枚ごとに、チャンネルを分けたグループの全画素	受けない	バッチが小さい物体検出など

それぞれの特徴

• バッチ正規化：2015年に提案され、CNNで広く使われています。他のデータの値も使って統計量を求めるため、バッチサイズが小さいと推定がぶれます。推論では1件ずつ予測することもあるので、学習中に移動平均などで求めておいた平均と分散を使います。
• レイヤー正規化：1つのデータの中だけで計算するので、バッチサイズに左右されず、学習時と推論時で同じ計算をします。系列の長さがデータごとに違うRNNや、Transformerで標準的に使われます。Transformerでは、トークンごとにベクトルの全要素で計算します。
• インスタンス正規化：1枚の画像の1チャンネルの中で計算します。画像ごとのコントラストなどの違いを打ち消せるため、画風を変えるスタイル変換で効果を上げました。
• グループ正規化：チャンネルをいくつかのグループ（元の論文では32個が基本）に分けて計算します。グループ数を1にするとレイヤー正規化、チャンネル数と同じにするとインスタンス正規化と一致する、両者の中間の手法です。高解像度の画像を扱うため1回に数枚しか処理できない物体検出やセグメンテーションで、バッチ正規化の代わりに使われます。

似た言葉との区別

データを学習前に0〜1の範囲などへそろえる前処理も「正規化」と呼びます。正規化層は、同じような調整をネットワークの内部で層ごとに行うものと考えるとわかりやすくなります。

名前の似た「正則化」は、過学習を防ぐ工夫の総称で、目的が異なります。ただし、バッチ正規化にはミニバッチごとの統計量のぶれによる弱い正則化の効果もあると報告されています。