G検定 練習問題 #0177・最適化手法

モーメンタムの更新計算

ディープラーニングの概要 › 最適化手法 単一選択 難易度 標準

モーメンタムを用いた勾配降下法で、1つの重みwを更新する。更新式はv←0.9v−0.1g、w←w+vであり、gは勾配、vは速度にあたる量である。初期値をw=1.0、v=0とし、1回目と2回目の更新でgはいずれも2であった。2回の更新後のwの値として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解 D

この問題の論点:モーメンタムの更新計算

ポイント

モーメンタムでは、前回の更新量に係数を掛けて今回の更新に加えるため、同じ向きの勾配が続くと更新が加速します。

選択肢ごとの解説

  1. A

    不適切

    モーメンタムを使わない勾配降下法の値です(1.0 − 0.1×2 − 0.1×2 = 0.6)。モーメンタムでは前回の更新の勢いが加わるため、2回目はこれより大きく動きます。

  2. B

    不適切

    2回目のvを−0.2 − 0.2 = −0.4とし、過去の更新量をそのまま足した値です。モーメンタムでは前回のvに0.9を掛けるため、古い更新の影響は少しずつ小さくなります。

  3. C

    不適切

    2回目のvを0.9×(−0.2) = −0.18とし、今回の勾配の項を足し忘れた値です。vは前回の勢いと今回の勾配の両方から作るため、−0.18 − 0.2 = −0.38になります。

  4. D

    適切 正解

    1回目はv = 0.9×0 − 0.1×2 = −0.2、w = 1.0 − 0.2 = 0.8です。2回目はv = 0.9×(−0.2) − 0.1×2 = −0.38、w = 0.8 − 0.38 = 0.42です。同じ向きの勾配が続き、更新幅が大きくなっています。

補足

同じ勾配gが続くと、vは−0.1×g×(1 + 0.9 + 0.9² + …)に近づき、最終的には通常の勾配降下法の1 ÷ (1 − 0.9) = 10倍の幅で進みます。逆に勾配の向きが交互に変わる方向では、前回の勢いと今回の勾配が打ち消し合い、振動が抑えられます。

試験での狙われ方

モーメンタムの更新式に数値を当てはめ、通常の勾配降下法との違いを計算させる形が考えられます。

参考

表示設定

テーマ
文字の大きさ
問題演習