ベイズの定理とは

ベイズの定理は、「原因があるときに結果が起きる確率」から、「結果が起きたときに、その原因があった確率」を求める定理です。18世紀イギリスの牧師トーマス・ベイズにちなんで名づけられ、その論文は死後の1763年に発表されました。ベイズが示したのは特別な場合で、現在の一般的な形はラプラスが独立に導きました。

式と用語

P(A|B) = P(B|A) × P(A) / P(B)

Aを仮説（原因）、Bを観測したデータ（結果）とすると、各項は次のように呼ばれます。

• P(A)：事前確率。データを見る前の、仮説の確からしさ。
• P(B|A)：尤度。仮説が正しいときに、そのデータが得られる確率。
• P(A|B)：事後確率。データを見たあとの、仮説の確からしさ。
• P(B)：そのデータが得られる確率。考えられるすべての仮説について、尤度と事前確率の積を足して求めます。

事前の見込みを、データの起こりやすさで更新する仕組みです。式は、条件付き確率の定義からP(A∩B) = P(A|B) × P(B) = P(B|A) × P(A)として導けます。

計算例

全メールの20%が迷惑メールで、「無料」という語が迷惑メールの50%、通常のメールの5%に含まれるとします。1,000通で考えると、迷惑メール200通のうち100通、通常のメール800通のうち40通が「無料」を含みます。「無料」を含むメールが迷惑メールである確率は100 / (100 + 40) = 5/7、約71%です。式に当てはめても0.5 × 0.2 / (0.5 × 0.2 + 0.05 × 0.8) = 0.1 / 0.14で、同じ値になります。

迷惑メールが「無料」を含む確率（50%）と、「無料」を含むメールが迷惑メールである確率（約71%）は、条件の向きが逆の、別の値です。

AIでの使われ方

ナイーブベイズ分類器は、クラスが決まったもとで特徴量どうしを独立とみなし、ベイズの定理で各クラスの確率を計算します。迷惑メールの判定や文書分類で使われてきました。初期の統計的機械翻訳も、翻訳モデルと言語モデルの確率の積が最大になる訳文を選ぶ点で、この定理にもとづいています。

覚え方

「事後は、尤度と事前の掛け算に比例する」と覚えます。