ある画像・言語サービス企業が、3つのモデルで正規化層を選んでいる。（ア）写真を絵画風に変換するモデルで、画像ごと・チャネルごとのコントラストの違いを打ち消したい。（イ）長さの異なる文を扱うTransformerで、トークンごとに正規化し、1文ずつ推論するときも学習時と同じ計算にしたい。（ウ）ミニバッチサイズを十分大きくとれる画像分類のCNNで、学習を安定させたい。（ア）〜（ウ）に用いる正規化層の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：場面に応じた正規化層の選択
ポイント
正規化層は、統計量をとる範囲で使い分けます。スタイル変換はインスタンス正規化、Transformerはレイヤー正規化が代表的な組み合わせです。
選択肢ごとの解説
- A
適切 正解
（ア）は画像1枚・チャネル1つごとに正規化するインスタンス正規化、（イ）はトークンごとに特徴量の次元で正規化し、学習時と推論時で計算が変わらないレイヤー正規化、（ウ）は十分なミニバッチで高い精度が出るバッチ正規化が合います。
- B
不適切
（ア）のバッチ正規化は統計量をミニバッチ全体でとるため、画像1枚ごとのコントラストの違いを打ち消せません。（ウ）のインスタンス正規化は、統計量を1枚・1チャネルの縦横の値だけから求めるため、画像分類ではバッチ正規化より誤差率が高いと報告されています。
- C
不適切
（ア）のレイヤー正規化はすべてのチャネルをまとめて正規化するため、チャネルごとのコントラストの違いが残ります。（イ）のインスタンス正規化では、各特徴量を文中のトークン全体で正規化するため、統計量がほかのトークンや文の長さで変わります。
- D
不適切
（ア）のバッチ正規化では、画像ごとのコントラストの違いを打ち消せません。（イ）はトークンごとに正規化できるレイヤー正規化が標準です。（ウ）のレイヤー正規化は、画像分類のCNNでは、十分なミニバッチでのバッチ正規化より誤差率が高いと報告されています。
試験での狙われ方
正規化の手法と、それがよく使われるモデルや課題の組み合わせを選ばせる形で問われます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目19 正規化層）
- Ulyanov, Vedaldi, Lempitsky, Instance Normalization: The Missing Ingredient for Fast Stylization (2016)
- Ba, Kiros, Hinton, Layer Normalization (2016)
- Wu, He, Group Normalization (2018) （Table 1（ResNet-50、ImageNet、1GPUあたり32枚でのBN・LN・IN・GNの誤差率））