重みwを1つもつモデルを、誤差関数E(w)にL2正則化の罰則項(λ/2)w²を加えた目的関数で、勾配降下法により学習する。現在の重みはw=4.0、元の誤差関数の勾配は∂E/∂w=0.6、学習率はη=0.1、正則化の係数はλ=0.2である。1回更新した後のwの値として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：L2正則化による重みの更新
ポイント
L2正則化を加えた更新はw ← (1 − ηλ)w − η∂E/∂wと書けます。毎回重みを一定の割合で縮めるため、荷重減衰とも呼ばれます。
選択肢ごとの解説
- A
不適切
罰則項を無視し、元の誤差の勾配だけで4.0 − 0.1×0.6 = 3.94と更新した値です。正則化を加えると、勾配に罰則項の微分λwが足されます。
- B
不適切
罰則項の勾配をλ（0.2）として、4.0 − 0.1×(0.6 + 0.2) = 3.92とした値です。重みの大きさによらず一定の勾配になるのは、罰則がλ|w|のL1正則化の場合です。
- C
適切 正解
罰則項(λ/2)w²を微分するとλwなので、目的関数の勾配は0.6 + 0.2×4.0 = 1.4です。更新後はw = 4.0 − 0.1×1.4 = 3.86となります。
- D
不適切
(λ/2)w²の1/2を落とし、罰則項の勾配を2λw = 1.6として4.0 − 0.1×(0.6 + 1.6) = 3.78とした値です。係数1/2は、微分で出る2と打ち消し合うように付けてあります。
補足
この例では(1 − ηλ) = 0.98なので、4.0×0.98 − 0.1×0.6 = 3.92 − 0.06 = 3.86とも計算できます。L2正則化による引き戻しは重みに比例し、重みが0に近づくほど弱まります。一方、L1正則化の引き戻しは重みの大きさによらず一定なので、小さな重みはちょうど0に達しやすくなります。なお、Adamのような適応的な最適化手法では、L2正則化と荷重減衰が同じ働きにならないことが指摘されています。
試験での狙われ方
L2正則化と荷重減衰の関係や、L1正則化とL2正則化で重みの縮み方がどう違うかを問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目14 正則化）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （7.1.1 L2 Parameter Regularization、7.1.2 L1 Regularization）
- Loshchilov, Hutter, Decoupled Weight Decay Regularization (2017)