ある不動産会社が、物件の特徴から月額賃料を予測する線形回帰モデルを作っている。学習データを入れ替えて何度も学習し直したところ、正則化なしの最小二乗法では係数が学習データごとに大きく揺れたが、リッジ回帰（L2正則化）では揺れが小さく、係数の大きさも全体に0の側へ寄っていた。この結果の解釈として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：リッジ回帰の偏りとばらつき
ポイント
リッジ回帰は係数を0の側へ縮め、偏りと引き換えにばらつきを抑える手法です。λが大きすぎると偏りが大きくなり、未学習になります。
選択肢ごとの解説
- A
適切 正解
最小二乗法の係数は平均的には偏りがありませんが、学習データが変わると大きく揺れます。リッジ回帰は係数を縮めてわずかな偏りを受け入れる代わりに揺れを抑え、偏りとばらつきを合わせた誤差を小さくします。
- B
不適切
リッジ回帰を提案した1970年のHoerlとKennardの論文は、偏りのある推定でも、罰則の強さを適切に選べば最小二乗法より平均二乗誤差を小さくできることを示しました。偏りがあることだけで劣るとは言えません。
- C
不適切
λを大きくするほどばらつきは減りますが、偏りは大きくなります。大きすぎると係数がほぼ0になり、訓練データの傾向さえ捉えられない未学習になります。λは検証データでの誤差を見て調整します。
- D
不適切
2乗和を罰則とするL2正則化は、係数を全体に0の側へ縮めますが、ちょうど0にはしにくい性質があります。係数をちょうど0にして特徴量を減らすのは、絶対値の和を罰則とするラッソ回帰（L1正則化）です。
補足
HoerlとKennardは、説明変数どうしが直交しない（相関がある）とき、最小二乗法の係数が不安定になりやすいことに着目し、偏りを認める代わりに誤差を小さくする推定法としてリッジ回帰を示しました。正則化の強さで偏りとばらつきの釣り合いを調整するという見方は、ニューラルネットワークの荷重減衰にもそのまま当てはまります。
試験での狙われ方
λを大きくしたときに係数や誤差がどう変わるか、またリッジ回帰とラッソ回帰で係数の縮み方がどう違うかを問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目14 正則化）
- Hoerl, Kennard, Ridge Regression: Biased Estimation for Nonorthogonal Problems, Technometrics 12(1), 55–67 (1970) （Abstract）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （7.1.1 L2 Parameter Regularization）