モーメンタムとは

モーメンタムは、確率的勾配降下法（SGD）を改良した最適化手法の1つです。坂を転がるボールが勢いをつけて進むように、前回までの更新の流れを引き継いで重みを動かします。英語のmomentumは「運動量」「勢い」という意味です。

更新の式

通常の勾配降下法は、その時点の勾配だけを見て重みを動かします。モーメンタムでは、速度にあたる量vを用意し、次の2段階で更新します。

1. v ← α × v − η × (誤差の勾配)
2. w ← w + v

ηは学習率、αはモーメンタム係数で、0.9程度の値がよく使われます。αは前回の速度をどれだけ残すかを表し、α = 0にすると通常のSGDと同じ更新になります。

何がよくなるのか

谷が細長い形をした誤差関数では、SGDは谷の壁から壁へ行ったり来たりして、なかなか谷底の方向へ進みません。モーメンタムを使うと、毎回向きが入れ替わる成分は打ち消し合い、毎回同じ向きの成分は積み重なって大きくなります。その結果、振動が抑えられ、進みたい方向へ速く進めます。勢いがあるため、勾配がほとんど0の平らな場所や浅いくぼみを通り過ぎやすくなる効果も期待できます。

他の手法との違い

モーメンタムは、更新の向きと勢いを工夫する手法です。これに対し、AdaGradやRMSpropは、パラメータごとに学習率の大きさを自動で調整する手法です。Adamは、勾配の移動平均を使うモーメンタムの考え方と、RMSpropのような学習率の調整を組み合わせています。

モーメンタムの改良版として、少し先に進んだ位置で勾配を計算するNesterovの加速勾配法（NAG）もあります。

覚え方

「モーメンタムは慣性。同じ向きなら加速、逆向きなら相殺」と覚えます。