勾配降下法と誤差逆伝播法の違い

勾配降下法

勾配降下法は、損失を重みで微分した勾配を使い、その逆向きに重みを少し動かすことを繰り返して、損失が小さくなる重みを探す最適化手法です。更新式はw ← w − η × ∂L/∂wで、ηは1回に動かす幅を決める学習率です。勾配の値さえわかれば使えるので、線形回帰やロジスティック回帰など、ニューラルネットワーク以外のモデルの学習にも使われます。1回の更新に使うデータの量によって、バッチ学習、ミニバッチ学習、オンライン学習に分かれます。

誤差逆伝播法

誤差逆伝播法は、ニューラルネットワークのすべての重みについて、損失の勾配を効率よく求める計算方法です。まず入力から出力へ順に計算して、各層の値を記録します。次に出力層の誤差から出発し、連鎖律を使って層ごとの微分を掛け合わせながら、入力層の方向へ勾配を伝えます。重みを1つずつ少し動かして損失の変化を調べる方法に比べて、計算量を大幅に減らせます。

学習の中での分担

1回の学習は、順伝播、損失の計算、誤差逆伝播法による勾配の計算、勾配降下法による重みの更新の順に進みます。誤差逆伝播法は「各重みを動かすと損失がどう変わるか」を数値で示し、勾配降下法はそれを受けて「どちらにどれだけ動かすか」を決めます。

最適化手法にはSGD、モーメンタム、Adamなどがありますが、どれも誤差逆伝播法で求めた勾配を使う側の手法です。1986年のRumelhartらの論文は、重みを繰り返し調整する学習手順の全体をback-propagationと呼んでいました。現在の教科書では、勾配を求める部分だけを誤差逆伝播法と呼び、最適化手法と区別します。試験の選択肢も、この区別を前提に読みます。