確率的勾配降下法とは

確率的勾配降下法（SGD）は、ニューラルネットワークの重みを調整する最も基本的な最適化手法です。

勾配降下法の考え方

学習とは、誤差関数の値が小さくなる重みを探すことです。勾配降下法では、誤差関数の勾配（傾き）を計算し、坂を下る向きに重みを少しだけ動かします。式で書くとw ← w − η × 勾配です。η（イータ）は学習率で、1回にどれだけ動かすかを決めます。霧の中で、足元の傾きだけを頼りに山を下りる様子にたとえられます。

「確率的」とは

訓練データ全体で勾配を計算してから1回更新する方法を、バッチ学習（最急降下法）といいます。正確ですが、データが多いと1回の更新に時間がかかります。

確率的勾配降下法では、ランダムに選んだ1件のデータだけで勾配を計算し、すぐに更新します。どのデータを使うかがランダムなので「確率的」と呼びます。実際のディープラーニングでは、数十〜数百件のまとまり（ミニバッチ）ごとに更新するミニバッチ学習が主流で、これも広い意味でSGDと呼ばれます。

長所と短所

1回の更新が軽いので、大量のデータや、データが届くたびに学習するオンライン学習に向いています。また、勾配にばらつきがあるため、進む方向が少しずつ揺れます。この揺れのおかげで、浅い局所最適解から抜け出せることがあります。

一方、揺れのために、最適解の近くで行ったり来たりしやすくなります。そこで、学習が進むにつれて学習率を下げる工夫や、過去の更新の勢いを使うモーメンタム、学習率を自動で調整するAdaGrad・RMSprop・Adamなどの改良手法が考えられてきました。

考え方の起源は、1951年のロビンスとモンローによる確率近似法の研究です。

覚え方

「全員に聞かずに数人に聞き、すぐに一歩動く」と覚えます。