リッジ回帰とは

リッジ回帰は、線形回帰にL2正則化を加えた手法です。1970年にホーエルとケナードが、説明変数どうしの相関が強いときに係数の推定を安定させる方法として示しました。

式

ラッソ回帰と同じく、二乗誤差の和に罰則を加えたものを最小にします。リッジ回帰の罰則は、係数の二乗和です。

二乗誤差の和 + λ × (w1² + w2² + … + wn²)

λは罰則の強さを決めるハイパーパラメータで、λ = 0なら通常の最小二乗法と同じです。解はw = (XᵀX + λI)⁻¹Xᵀyという式で直接求められます。Xは説明変数を並べた行列、yは目的変数、Iは単位行列です。

多重共線性への効果

気温と冷房の稼働時間のように、互いに強く相関する説明変数があるとします。このような状態を多重共線性と呼びます。通常の最小二乗法ではXᵀXの逆行列の計算が不安定になり、データが少し変わっただけで係数が大きく振れたり、符号が逆になったりします。リッジ回帰はXᵀXにλIを足して計算を安定させ、係数のぶれを抑えます。

バイアスと分散のトレードオフ

罰則を加えると、係数は全体として0の方向へ縮みます。そのため、訓練データへの当てはまりは、通常の最小二乗法より悪くなります。その代わり、学習に使うデータが変わったときの予測のばらつき（分散）が小さくなり、未知のデータに対する誤差が小さくなることがあります。少しの偏り（バイアス）を受け入れて、全体の誤差を減らす考え方です。

ラッソ回帰との違い

二乗の罰則は、係数が0に近づくほど押す力が弱まります。そのため、係数は小さくなっても、ちょうど0にはなりにくい性質があります。すべての説明変数を少しずつ使うモデルになるので、変数を絞り込みたいときはラッソ回帰を使います。どちらも罰則が係数の大きさにかかるので、説明変数を標準化してから使います。

覚え方

「リッジは全員を少しずつ縮め、ラッソは一部を0にする」と覚えます。