インスタンス正規化とは

インスタンス正規化は、CNNの中間層の出力を整える正規化層の手法の1つです。2016年に、画像のスタイル変換を改良する手法として提案されました。

どの範囲で平均と分散を求めるか

CNNの中間層の出力は「サンプル数×チャネル数×高さ×幅」の4つの軸を持ち、正規化の手法は、どの範囲で平均と分散を計算するかで区別できます。

• バッチ正規化：チャネルごとに、ミニバッチ内の全サンプルにまたがって計算します。
• レイヤー正規化：サンプルごとに、全チャネルをまとめて計算します。
• インスタンス正規化：サンプルごと・チャネルごとに、高さと幅の範囲だけで計算します。
• グループ正規化：サンプルごとに、チャネルをいくつかのグループに分けて計算します。

インスタンス正規化は、この中で最も狭い範囲で計算します。グループ正規化でグループの数をチャネル数と同じにすると、インスタンス正規化と同じ計算になります。

なぜスタイル変換で効くのか

スタイル変換は、写真の内容を保ったまま、絵画などの画風に描き直す処理です。このとき、元の写真の明るさやコントラストは、出力の画風に関係させたくない情報です。インスタンス正規化は1枚ごと・チャネルごとに平均と分散をそろえるので、こうした違いが打ち消され、画風の表現に集中しやすくなります。提案した論文では、生成ネットワークのバッチ正規化をインスタンス正規化に置き換え、推論時にも使うだけで、生成画像の質が大きく改善したと報告されています。

他の手法との違い

インスタンス正規化は他のサンプルの値を使わないため、バッチサイズが小さくても計算が変わらず、学習時と推論時で同じ計算を使えます。一方、ImageNetの画像分類では、バッチ正規化やグループ正規化のほうが高い精度を示したと報告されています。主な用途は、画像生成やスタイル変換です。

覚え方

「インスタンスは1枚1チャネル、いちばん狭い範囲」と覚えます。