マージン最大化とは

マージン最大化は、サポートベクターマシン（SVM）が分類の境界を決めるときの基準です。2つのクラスを分ける直線（高次元では超平面）は、多くの場合いくつも引けます。その中から、どちらのクラスからもできるだけ離れた境界を1つ選ぶのがマージン最大化です。

マージンとサポートベクター

マージンは、境界と、境界に最も近いデータとの距離です。この最も近いデータをサポートベクターと呼びます。境界の位置はサポートベクターだけで決まり、遠くにある大多数のデータは影響しません。

なぜマージンを広く取るのか

境界がデータのすぐそばを通ると、少し違う新しいデータが来ただけで、反対側に分類されてしまいます。両側に余裕を持たせた境界は、未知のデータに対しても誤りにくくなります。つまりマージン最大化は、汎化性能を高めるための考え方です。

数式では、境界を w・x + b = 0 と表し、サポートベクターで |w・x + b| = 1 となるように尺度をそろえると、マージンは 1 / ||w||（両側を合わせた幅は 2 / ||w||）になります。そのため、すべてのデータを正しく分けるという条件のもとで、||w|| を最小にする最適化問題として解きます。

ハードマージンとソフトマージン

すべての訓練データを完全に分けることを求める方式を、ハードマージンと呼びます。しかし現実のデータにはノイズや外れ値があり、完全には分けられないことが多くあります。そこで、境界を越えるデータをある程度許し、そのはみ出しに罰（ペナルティ）を与える方式を使います。これがソフトマージンで、罰の強さはパラメータCで調整します。

直線では分けられないデータには、カーネルトリックを組み合わせます。高次元の空間でマージン最大化を行うことで、元の空間では曲がった境界を学習できます。

覚え方

「境界は、両側のいちばん近いデータからなるべく遠くに引く」と覚えます。