正則化（シラバス 技術14）

正則化の考え方

正則化は、モデルが学習データに合わせすぎる過学習を防ぐ工夫です。代表的な方法は、誤差関数に「重みの大きさに応じた罰則」を足すことです。

新しい誤差 = 元の誤差 + λ × 罰則項

過学習したモデルでは、一部の重みが極端に大きくなり、データの細かなノイズにまで反応していることがあります。罰則で重みを抑えると、入力が少し変わっても出力が大きく揺れない、なめらかなモデルになります。

λ（ラムダ）は罰則の強さを決めるハイパーパラメータです。小さすぎると効果が薄く、大きすぎるとモデルが単純になりすぎて未学習になります。検証用データの成績を見ながら決めます。

L0・L1・L2正則化の違い

種類	罰則項	重みへの効果	線形回帰に加えると
L0正則化	0でない重みの個数	使う重みの数を直接減らす	最良部分集合選択に近い
L1正則化	重みの絶対値の和	一部の重みをちょうど0にする	ラッソ回帰
L2正則化	重みの2乗の和	重み全体を小さくする（0にはなりにくい）	リッジ回帰

• L0正則化：0でない重みを数えて罰します。不要な特徴量を減らす目的にはいちばん素直です。ただし、どの重みを0にするかの組み合わせを調べる必要があり、特徴量が多いと計算が非常に難しくなります。
• L1正則化：予測への影響が小さい重みはちょうど0になり、残った特徴量だけを使うモデルになります。学習と同時に特徴量を選べるので、L0正則化の代わりとしても使われます。
• L2正則化：大きな重みほど強く縮めますが、ちょうど0にはなりにくく、すべての特徴量を少しずつ使うモデルになります。ニューラルネットワークでは荷重減衰（weight decay）とも呼ばれます。

ラッソ回帰とリッジ回帰

どちらも、線形回帰の誤差に罰則を足したモデルです。

• ラッソ回帰（L1）：たとえば店舗データの100項目から月の売上を予測するとき、影響の大きい一部の項目だけに係数が残りやすくなります。どの項目が効いているかを説明しやすいモデルになります。
• リッジ回帰（L2）：項目どうしの相関が強いときでも係数が極端な値になりにくく、予測が安定します。

ドロップアウト

ニューラルネットワークでよく使われる正則化の手法です。学習中、データを入れるたびに、ユニットの一部を決められた確率でランダムに無効にします。特定のユニットの組み合わせに頼れなくなるため、各ユニットが単独でも役立つ特徴を学ぶようになります。毎回違う小さなネットワークを学習していると見なせるので、複数のモデルを平均するアンサンブル学習に近い効果があると説明されます。推論時はすべてのユニットを使い、出力の大きさを学習時とそろえます。

正則化に近い効果をもつ工夫

罰則を足す方法以外にも、過学習を抑える工夫があります。検証用データの誤差が悪化し始めたら学習を止める早期終了、データを水増しするデータ拡張などです。これらは別の中項目で扱います。