モーメンタムを用いた勾配降下法で、1つの重みwを更新する。更新式はv←0.9v−0.1g、w←w+vであり、gは勾配、vは速度にあたる量である。初期値をw=1.0、v=0とし、1回目と2回目の更新でgはいずれも2であった。2回の更新後のwの値として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点:モーメンタムの更新計算
ポイント
モーメンタムでは、前回の更新量に係数を掛けて今回の更新に加えるため、同じ向きの勾配が続くと更新が加速します。
選択肢ごとの解説
- A
不適切
モーメンタムを使わない勾配降下法の値です(
1.0 − 0.1×2 − 0.1×2 = 0.6)。モーメンタムでは前回の更新の勢いが加わるため、2回目はこれより大きく動きます。 - B
不適切
2回目のvを
−0.2 − 0.2 = −0.4とし、過去の更新量をそのまま足した値です。モーメンタムでは前回のvに0.9を掛けるため、古い更新の影響は少しずつ小さくなります。 - C
不適切
2回目のvを
0.9×(−0.2) = −0.18とし、今回の勾配の項を足し忘れた値です。vは前回の勢いと今回の勾配の両方から作るため、−0.18 − 0.2 = −0.38になります。 - D
適切 正解
1回目は
v = 0.9×0 − 0.1×2 = −0.2、w = 1.0 − 0.2 = 0.8です。2回目はv = 0.9×(−0.2) − 0.1×2 = −0.38、w = 0.8 − 0.38 = 0.42です。同じ向きの勾配が続き、更新幅が大きくなっています。
補足
同じ勾配gが続くと、vは−0.1×g×(1 + 0.9 + 0.9² + …)に近づき、最終的には通常の勾配降下法の1 ÷ (1 − 0.9) = 10倍の幅で進みます。逆に勾配の向きが交互に変わる方向では、前回の勢いと今回の勾配が打ち消し合い、振動が抑えられます。
試験での狙われ方
モーメンタムの更新式に数値を当てはめ、通常の勾配降下法との違いを計算させる形が考えられます。
参考
- G検定 試験出題範囲(シラバス2024)第1.4版 (技術分野 項目16 最適化手法)
- Goodfellow, Bengio, Courville, Deep Learning (2016) (8.3.2 Momentum)