ある通販会社が、バッチ正規化を含むCNNで商品画像のカテゴリを推論している。運用を始めると、同じ画像でも、同時にまとめて推論するほかの画像の組み合わせによって、予測結果が変わることがわかった。この現象の原因として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：バッチ正規化の推論時の統計量
ポイント
バッチ正規化は、推論時には学習中に求めておいた固定の平均と分散を使い、結果がほかの入力に左右されないようにします。
選択肢ごとの解説
- A
適切 正解
バッチ正規化は学習時、ミニバッチ内の全サンプルから平均と分散を求めます。推論時にも同じ計算をすると、一緒に処理する画像によって正規化の結果が変わります。推論時は、学習中に求めておいた固定の統計量を使います。
- B
不適切
これはバッチ正規化の推論時の標準的な使い方です。統計量は推論時には固定の値なので、どの画像と一緒に処理しても計算は変わらず、組み合わせで予測が変わる原因にはなりません。
- C
不適切
γとβを固定すると、表現の幅が狭まるおそれはあります。ただし推論時には定数として掛け算と足し算をするだけなので、一緒に処理する画像によって結果が変わることはありません。
- D
不適切
推論時にドロップアウトを無効にするのは標準的な手順です。有効のままだと予測が実行のたびにぶれますが、無効にしていれば、結果がほかの画像に左右されることはありません。
補足
レイヤー正規化、インスタンス正規化、グループ正規化は、1つのサンプルの中だけで平均と分散を求めます。学習時と推論時で計算が同じで、ほかのサンプルに左右されません。統計量の求め方を学習時と推論時で切り替える必要があるのは、バッチ正規化だけです。多くの深層学習ライブラリでは、モデルを推論用のモードに切り替えると、この切り替えが行われます。
試験での狙われ方
バッチ正規化の学習時と推論時の違いや、ミニバッチ内のほかのサンプルに依存する点を、ほかの正規化手法と比べて問う形が見られます。