ある通販会社が、顧客ごとの約300項目の属性や行動履歴から、翌月の購入金額を予測する線形回帰モデルを作る。担当者は、予測への影響が小さい項目の係数を0にして、使う項目を絞った説明しやすいモデルにしたい。この目的に合う方法として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：特徴量を絞り込む正則化
ポイント
係数をちょうど0にして項目を絞り込みたいときはL1正則化（ラッソ回帰）を使います。L2正則化は係数を小さくしますが、0にはなりにくい手法です。
選択肢ごとの解説
- A
適切 正解
L1正則化は重みの絶対値の和に罰則を課します。最適解で多くの係数がちょうど0になりやすく、不要な項目を自動的に除く特徴選択の効果が得られます。
- B
不適切
L2正則化は係数を全体的に0へ近づけますが、ちょうど0にはなりにくい性質があります。過学習の抑制や多重共線性への対処には有効ですが、項目の絞り込みには向きません。
- C
不適切
L0正則化は0でない重みの個数を直接数えるため、絞り込みの考え方としては最も直接的です。しかし罰則項が微分できず組み合わせ最適化になるため、勾配降下法でそのまま解くことはできません。
- D
不適切
正則化の係数を0にすると、通常の最小二乗法と同じになります。最小二乗法の推定値がちょうど0になることはまずないため項目は絞り込めず、300項目では訓練データに過剰に適合しやすくなります。
補足
L1正則化で係数が0になりやすい理由は、制約の形で説明できます。係数が2つの場合、L1正則化の制約領域は角を持つひし形、L2正則化は円になります。誤差の等高線が制約領域に最初に触れる点は、ひし形では角（どちらかの係数が0の点）になりやすく、角のない円では0になりにくいのです。
試験での狙われ方
L1正則化とL2正則化のどちらが係数を0にしやすいか、ラッソ回帰・リッジ回帰との対応とあわせて問う形が典型的です。