CNNのプーリング層での誤差逆伝播を考える。2×2のウィンドウに含まれる4つの値が、上の行から順に「1、6」「3、2」であり、このウィンドウの出力に対する損失の勾配は0.8であった。最大値プーリングを用いた場合と平均値プーリングを用いた場合に、入力側の「6」の位置へ伝わる勾配の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：プーリング層の誤差逆伝播
ポイント
最大値プーリングでは勾配が最大値をとった位置だけにそのまま伝わり、平均値プーリングでは領域内の各位置に均等に分けられます。
選択肢ごとの解説
- A
適切 正解
最大値プーリングの出力は6そのものなので、6の位置に対する微分は1、ほかの3つの位置は0です。勾配0.8は6の位置にだけ伝わります。平均値プーリングでは各位置に対する微分が1/4なので、0.8×1/4＝0.2です。
- B
不適切
平均値プーリングの出力は（1＋6＋3＋2）÷4で、各入力は4分の1の重さでしか出力に効いていません。そのため勾配も4等分され、4つの位置にそれぞれ0.2ずつ伝わります。
- C
不適切
4.8は0.8×6、1.2は0.8×6÷4で、勾配に入力の値6を掛けています。入力の値を掛けるのは、全結合層などで重みに対する勾配を求めるときの計算です。プーリング層には重みがなく、出力の入力に対する微分だけを掛けます。
- D
不適切
プーリング層の中での微分の値だけを示しています。連鎖律により、出力側から届いた勾配0.8を掛ける必要があります。1×0.8＝0.8、0.25×0.8＝0.2が、入力側へ伝わる勾配です。
補足
最大値プーリングの逆伝播では、勾配が0でない値をもつのは各ウィンドウで最大値をとった位置だけです。このため、逆伝播で得られる勾配のマップは大半の位置が0の、疎なものになります。ウィンドウが重なるように設定した場合は、1つの位置が複数のウィンドウで最大値になることがあり、そのときは届いた勾配を足し合わせます。
試験での狙われ方
プーリング層には学習するパラメータがないことと合わせて、逆伝播で勾配がどの位置へどれだけ伝わるかを問う形が考えられます。