CNNの中間層にバッチ正規化を導入したときに期待できる効果として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：バッチ正規化の効果
ポイント
バッチ正規化は学習を安定させ、速めるための仕組みです。運用時のデータの変化を補正する機能はありません。
選択肢ごとの解説
- A
適切
正規化で各層の値が極端に大きくなりにくくなるため、大きな学習率を使っても発散しにくく、学習が速く進むと提案論文で報告されています。論文は、層への入力の分布が学習中に変わる内部共変量シフトを抑えることを狙いとしました。
- B
適切
各層の出力を毎回正規化するため、初期の重みの大きさが多少不適切でも、値が極端に大きくなったり小さくなったりしにくくなります。提案論文でも、初期化に気を使う必要が減ると述べられています。
- C
適切
同じデータでも、一緒にミニバッチに入るデータによって正規化の結果が少し変わります。この揺らぎが過学習を抑える方向に働き、提案論文ではドロップアウトが不要になる場合もあったと報告されています。
- D
不適切 正解
推論時のバッチ正規化は、学習中に求めた固定の平均と分散を使うため、運用中のデータの変化には追従しません。データの分布が変わったときは、性能を監視して再学習するなどの対応が必要です。
補足
内部共変量シフトを抑えることがバッチ正規化の効く理由だという説明には、その後の研究で異論も出ています。2018年の研究では、効果の主な理由は損失の曲面がなめらかになり、勾配が安定することにあると主張されました。これは効く理由についての議論で、提案論文が挙げた効果（大きな学習率、初期値への依存の軽減、正則化に似た効果）そのものを否定するものではありません。
試験での狙われ方
バッチ正規化の効果（大きな学習率、初期値への依存の軽減、正則化に似た効果）と、期待できない効果を見分けさせる形で問われます。