L1正則化とL2正則化の違い

L1正則化

L1正則化は、誤差関数に重みの絶対値の和を罰則として加えます。E(w) + λ(|w1| + |w2| + … + |wn|)の形です。λは正則化の強さを決めるハイパーパラメータです。

絶対値の罰則は、重みを0の方向へ一定の強さで押します。予測への影響が小さい重みはこの力に負けて、ちょうど0になります。0になった重みの特徴量は予測に使われないので、学習と同時に特徴量の選択が行われます。線形回帰に加えたものをラッソ回帰と呼び、項目の多いデータから効いている項目だけを残したいときに向きます。

L2正則化

L2正則化は、誤差関数に重みの二乗和を罰則として加えます。E(w) + λ(w1² + w2² + … + wn²)の形です。二乗するので、大きな重みほど強く罰します。特定の特徴量に頼りすぎない、なめらかな予測をするモデルになります。

罰則が重みを0へ押す力は重みに比例し、重みが小さくなるほど弱まります。そのため、重みは0に近づいても、ちょうど0にはなりにくくなります。線形回帰に加えたものはリッジ回帰で、相関の強い説明変数があるときに係数を安定させる目的でも使われます。ニューラルネットワークでは、荷重減衰（weight decay）とも呼ばれます。

図で見る違い

重みが2つの場合、罰則の大きさで重みの範囲を制限すると、L1ではひし形、L2では円の範囲になります。誤差の等高線がこの範囲に最初に触れる点が解です。ひし形は角が座標軸の上にあり、等高線は角で触れやすいため、片方の重みが0になりやすくなります。円には角がないので、解が軸の上に来るとは限りません。