勾配降下法とは

勾配降下法は、機械学習のモデルが誤差を小さくする重みを探すときの、最も基本的な方法です。最急降下法とも呼ばれ、ニューラルネットワークの学習も多くはこれを改良した手法で行います。

坂を下るイメージ

霧のかかった山で、谷底を目指す場面を考えます。遠くは見えませんが、足元の傾きはわかります。そこで、下り坂の方向に少し進んでは傾きを確かめる、という動きを繰り返します。

機械学習では、山の高さが損失（誤差）、立っている位置が重みにあたります。足元の傾きが勾配で、損失を重みで微分して求めます。勾配は損失が最も急に増える向きを指すので、その逆向きに重みを動かします。

更新の式

重みwの更新はw ← w − η × 勾配と書けます。ηは学習率で、1回にどれだけ進むかを決めます。たとえば損失がL(w) = w²で、w = 3、η = 0.1のとき、勾配は2w = 6です。更新後の重みは3 − 0.1 × 6 = 2.4となり、損失が最小になるw = 0に近づきます。

ニューラルネットワークでは、各重みの勾配を誤差逆伝播法で求め、この式で一斉に更新します。

使うデータの量による違い

全データで勾配を求めて1回更新するのがバッチ学習、1件ずつ使うのがオンライン学習、数十〜数百件ずつ使うのがミニバッチ学習です。全データではなく一部のデータで勾配を求める方法は、まとめて確率的勾配降下法（SGD）と呼ばれます。

弱点と改良

勾配降下法は足元の情報しか使いません。そのため、本当の谷底ではない小さなくぼみ（局所最適解）で止まったり、勾配が0になる鞍点の付近で進みが遅くなったりします。学習率が大きすぎると振動や発散が起き、小さすぎると時間がかかります。これを補うのが、モーメンタムやAdamなどの改良手法です。

起源は、1847年にフランスの数学者コーシーが、連立方程式を解く方法として示したものとされています。

覚え方

「勾配は上り坂の向き。だから引き算で下る」と覚えます。