グループ正規化とは

グループ正規化（Group Normalization）は、2018年にYuxin WuとKaiming Heが提案した正規化の手法です。バッチ正規化が苦手とする、ミニバッチが小さい場面でも安定して使えるように考えられました。

しくみ

CNNの中間層の出力は、サンプル数×チャネル数×高さ×幅の形をしています。グループ正規化は、1つのサンプルの中で、チャネルをいくつかのグループに分けます。たとえば64チャネルを32グループに分けると、1グループは2チャネルです。グループごとに、含まれるチャネルの縦横すべての値から平均と分散を求め、平均0・分散1にそろえます。最後に、チャネルごとに学習するパラメータで拡大と平行移動を加えます。提案論文では、32グループが標準の設定として使われました。

ほかの正規化との関係

統計量を求める範囲で整理すると、違いがはっきりします。

• バッチ正規化：ミニバッチ内の全サンプルにまたがり、チャネルごと
• レイヤー正規化：サンプルごとに、全チャネルをまとめて
• インスタンス正規化：サンプルごと、チャネルごと
• グループ正規化：サンプルごとに、チャネルのグループごと

グループ数を1にするとレイヤー正規化と、チャネル数と同じにするとインスタンス正規化と同じ計算になります。グループ正規化は、その中間に位置づけられます。

なぜ有効か

ほかのサンプルを使わないので、バッチサイズに左右されません。物体検出やセグメンテーションでは、高解像度の画像を使うため、GPUのメモリの制約でバッチを大きくできないことがよくあります。提案論文では、バッチを小さくするとバッチ正規化の誤差は大きく増えた一方、グループ正規化はバッチサイズによらず安定した精度を保ちました。

覚え方

「全部まとめるレイヤーと、1つずつのインスタンスの間をとって、グループでまとめる」と覚えます。