スパムフィルタとは

スパムフィルタは、受信したメールが迷惑メール（スパム）かどうかを判定し、迷惑メール用のフォルダに移すなどして振り分ける仕組みです。インターネットの普及で迷惑メールが急増した時期に、機械学習が日常で役立つことを示した身近な応用例になりました。

規則から学習へ

初期のフィルタは、「特定の語句を含むメールは迷惑メールとする」のように、人が書いた規則で判定していました。しかし送信者は表現を次々に変えるため、規則の追加が追いつきません。そこで、迷惑メールと通常のメールの実例から判定基準を学ぶ方法が広まりました。1998年には、ナイーブベイズ分類器で迷惑メールを判定する研究が発表されました。2002年にはポール・グレアムが、手元の迷惑メールと通常のメールから単語ごとの確率を求める方法を公開し、ベイジアンフィルタが広まるきっかけになりました。

仕組み

機械学習の言葉でいえば、スパムフィルタは「迷惑メール」と「通常のメール」の2クラスに振り分ける分類問題です。正解ラベルの付いたメールを学習データにする教師あり学習で作ります。ナイーブベイズでは、「無料」「当選」のような語が、迷惑メールと通常のメールでそれぞれどれくらい現れるかを数えます。そのうえで、受信したメールが迷惑メールである確率を計算し、しきい値を超えれば迷惑メールと判定します。

誤判定のバランス

誤判定には2種類あります。迷惑メールを陽性とすると、迷惑メールの見逃しは偽陰性、必要なメールを迷惑メールとする誤りは偽陽性です。大事な連絡が迷惑メール用のフォルダに入ると気づきにくいため、一般に偽陽性の損失のほうが大きいとされます。この誤りを抑えたいときは、適合率を重視します。しきい値を下げて見逃しを減らすと、偽陽性は増えやすくなります。また、送信者は手口を変え続けるので、新しいデータで再学習し、性能を監視し続ける必要があります。