あるモデルの重みが(w1, w2, w3, w4) = (2, −1, 0, 3)で、正則化を加える前の誤差は1.5である。正則化後の誤差を「元の誤差 + λ × 罰則項」とし、λ = 0.1とする。罰則項を重みの絶対値の和とするL1正則化と、重みの2乗の和とするL2正則化について、正則化後の誤差の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：L1・L2罰則項の計算
ポイント
L1は絶対値の和、L2は2乗の和で罰します。2乗するL2では大きな重みほど罰則が急に増えるため、極端に大きな重みが強く抑えられます。
選択肢ごとの解説
- A
適切 正解
L1は|2| + |−1| + |0| + |3| = 6なので、1.5 + 0.1 × 6 = 2.1です。L2は4 + 1 + 0 + 9 = 14なので、1.5 + 0.1 × 14 = 2.9です。
- B
不適切
L1とL2の値が逆です。絶対値の和（6）を使うのがL1、2乗の和（14）を使うのがL2です。2乗すると3のような大きな重みの寄与が増えるため、この例ではL2の罰則のほうが大きくなります。
- C
不適切
L1の1.9は、符号をつけたまま2 − 1 + 0 + 3 = 4と足した場合の値です。L1正則化は絶対値をとるため、負の重みも正の大きさとして罰則に数えます。
- D
不適切
L2の3.1は、重みを先に足してから(2 − 1 + 0 + 3)² = 16と2乗した場合の値です。L2正則化は、重みを1つずつ2乗してから足し合わせます。
補足
この例では、L2の罰則項14のうち9が重み3によるもので、全体の6割強を占めます。L1では、重み3の寄与は6のうち3で半分です。2乗する分、L2正則化は大きな重みを特に強く罰します。λは罰則の強さを決めるハイパーパラメータで、大きくするほど正則化後の誤差に占める罰則の割合が増えます。
試験での狙われ方
罰則項の形（絶対値の和か2乗の和か）を、具体的な重みの値で確かめさせる形が考えられます。L0正則化なら0でない重みの個数（この例では3）です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目14 正則化）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （7.1.1 L2 Parameter Regularization、7.1.2 L1 Regularization）