正則化とは

正則化は、機械学習のモデルが訓練データの細かな癖やノイズまで覚えてしまう過学習を防ぐための工夫の総称です。目標は、訓練データでの成績ではなく、まだ見ていないデータでの成績（汎化性能）を上げることにあります。

罰則項を加える正則化

代表的な方法は、誤差関数に重みの大きさに応じた罰則項を足すことです。式ではE(w) + λR(w)と書きます。λは正則化の強さを決めるハイパーパラメータです。モデルは、誤差を減らしながら、重みを大きくしすぎないように学習します。

• L0正則化：0でない重みの個数を罰則にします。考え方は単純ですが、最適化が組合せの問題になり、そのままでは解きにくい方法です。
• L1正則化：重みの絶対値の和を罰則にします。一部の重みがちょうど0になり、使う特徴量が絞られます。線形回帰に加えたものがラッソ回帰です。
• L2正則化：重みの二乗和を罰則にします。重みを全体的に小さく保ちます。線形回帰に加えたものがリッジ回帰です。

罰則項を使わない正則化

ディープラーニングでは、学習の手順に手を加える方法もよく使います。学習中にニューロンの一部を無作為に無効にするドロップアウト、検証データの誤差が悪化し始めたら学習を止める早期終了、データを加工して水増しするデータ拡張などです。いずれも汎化性能の改善を狙う点で、広い意味の正則化に含まれます。

強さの調整

λが小さすぎると過学習が残り、大きすぎるとモデルが単純になりすぎて未学習になります。そのため、検証データや交差検証で適切な値を選びます。

正規化との違い

名前の似た正規化は、入力や中間層の値の範囲をそろえて、学習を安定させる処理です。目的が異なるので、区別して覚えます。

覚え方

「正則化の『則』はルール。モデルにルールを課して、データに合わせすぎないようにする」と覚えます。