ある部品メーカーが、高解像度の外観検査画像から欠陥の領域を推定するCNNを学習している。GPUのメモリの制約でミニバッチサイズを2にしか設定できず、バッチ正規化を使ったモデルの学習が不安定になった。この問題への対処として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：小さいミニバッチでの正規化
ポイント
ミニバッチが小さいときは、統計量がバッチサイズに依存しないグループ正規化などに置き換えると学習が安定します。
選択肢ごとの解説
- A
適切 正解
グループ正規化の統計量は1つのサンプルの中だけで決まるため、ミニバッチサイズが小さくても安定します。提案論文では、ImageNetでResNet-50をバッチサイズ2で学習したとき、誤差がバッチ正規化より10.6ポイント低かったと報告されています。
- B
不適切
問題の原因は、2サンプルだけから求める平均と分散がばらつくことです。同じ不安定な統計量を使う層を増やしても、原因は解消しません。
- C
不適切
正規化層には各層への入力の分布を整え、学習を安定させる働きがあります。取り除いたうえで学習率を上げると、かえって学習が発散しやすくなります。
- D
不適切
入力のスケーリングは入力層の値の範囲をそろえるだけです。学習中に重みが変わると中間層の出力の分布も変わるため、中間層の正規化の代わりにはなりません。
試験での狙われ方
ミニバッチサイズを大きくできない場面を示し、バッチサイズに依存しない正規化手法を選ばせる形で問われます。