ニューラルネットワークの学習で用いられる誤差逆伝播法に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：誤差逆伝播法の仕組み
ポイント
誤差逆伝播法は、連鎖律で勾配を出力側から効率よく計算する手法です。パラメータを1つずつ動かす数値微分とは異なります。
選択肢ごとの解説
- A
適切
ネットワークは層を重ねた合成関数なので、連鎖律で微分を層ごとに分解できます。出力側で求めた勾配を1層ずつ入力側へ掛け合わせて伝えるため、「逆伝播」と呼ばれます。
- B
適切
信用割当問題は、結果に対してどの内部要素にどれだけ責任があるかを決める問題です。誤差逆伝播法は、隠れ層の重みも含めて、誤差への寄与を勾配として定量化します。
- C
適切
各層の勾配を計算するには、順伝播で得た出力の値が必要です。そのため学習中は中間の値をメモリに保持します。深いモデルほど学習時のメモリ使用量が増えるのはこのためです。
- D
不適切 正解
これは数値微分の説明です。パラメータの数だけ誤差の計算を繰り返すため、大規模なモデルでは現実的ではありません。誤差逆伝播法は1回の逆向きの計算ですべての勾配を求めます。
試験での狙われ方
連鎖律や信用割当問題との対応関係を、説明文の正誤で問う形が典型的です。