ある層の1つのユニットについて、ミニバッチ4件の値が1, 3, 3, 9であった。この値にバッチ正規化を適用する。学習で得られたスケールのパラメータγは3、シフトのパラメータβは−1である。値1に対する出力として、最も適切なものを1つ選べ。なお、分散はデータの個数で割って求め、ゼロ除算を防ぐための小さな定数は無視する。
正解と解説を見る
解説
正解 C
この問題の論点：バッチ正規化の出力の計算
ポイント
バッチ正規化は、ミニバッチの平均と標準偏差で平均0・分散1にそろえた後、γを掛けてβを足す計算です。
選択肢ごとの解説
- A
不適切
−1は、平均4と標準偏差3で正規化した（1－4）÷3の値です。バッチ正規化では、正規化の後に、学習したγを掛けてβを足す処理まで行います。この処理で、層ごとに適した平均と広がりに調整できます。
- B
不適切
−6は、正規化した値に先にβを足してからγを掛けた3×（−1＋（−1））の値です。正規化した値にγを掛けてからβを足すのが正しい順序です。γが値の広がりを、βが値の位置を調整します。
- C
適切 正解
平均は（1＋3＋3＋9）÷4＝4、分散は（9＋1＋1＋25）÷4＝9で、標準偏差は3です。1を正規化すると（1－4）÷3＝−1になり、γとβを適用して3×（−1）－1＝−4となります。
- D
不適切
−2は、標準偏差3ではなく分散9で割って（1－4）÷9＝−1/3とし、3×（−1/3）－1と計算した値です。平均0・分散1にそろえるには、平均を引いた値を標準偏差（分散の平方根）で割ります。
試験での狙われ方
正規化の手順（平均を引き、標準偏差で割り、γとβで調整する）の順序や、γとβが学習で決まるパラメータである点が問われます。