サポートベクターマシンとは

サポートベクターマシン（SVM）は、2つのクラスのデータを分ける境界を引く手法です。SVMは、境界と、境界に最も近いデータとの距離（マージン）が最も大きくなる境界を選びます。この考え方をマージン最大化といいます。

なぜマージンを広げるのか

2つのクラスのぎりぎりを通る境界では、少し違う新しいデータが来たとき、反対側に入ってしまいやすくなります。両側のデータからできるだけ離れた位置に境界を置けば、多少のずれがあっても正しく分類しやすくなります。マージンを広げることは、未知のデータへの性能（汎化性能）を高めるための工夫です。

境界に最も近い位置にあり、境界の位置を決めているデータをサポートベクターと呼びます。境界から遠いデータは、少し動かしても境界に影響しません。手法の名前はここから来ています。

ソフトマージンとカーネルトリック

現実のデータは、直線（高次元では超平面）できれいに分けられるとは限りません。そこで、一部のデータがマージンの内側に入ったり誤分類されたりすることを許し、その度合いにペナルティを課すソフトマージンが使われます。ペナルティの重さを決めるパラメータCを大きくすると誤分類を強く嫌い、小さくするとマージンを広くとります。

曲がった境界でなければ分けられないデータには、カーネルトリックを使います。データを高次元の空間に移すと超平面で分けられることがあり、その計算を、実際に移さずに済ませる方法です。

位置づけと注意点

SVMは、ディープラーニングが広まる前から、精度の高い分類手法として広く使われてきました。2クラス分類が基本ですが、複数の分類器を組み合わせて多クラス分類にも使えます。回帰に応用したサポートベクター回帰（SVR）もあります。距離をもとに境界を決めるため、特徴量の標準化が重要です。データ数が非常に多いと、学習に時間がかかりやすい点にも注意が必要です。