ベルヌーイ分布とは

ベルヌーイ分布は、「当たりか外れか」「使うか使わないか」のように、結果が2通りしかない出来事を1回だけ観察するときの確率分布です。スイスの数学者ヤコブ・ベルヌーイにちなんで名づけられました。離散型の確率分布の中で、最も基本的なものの1つです。

式と計算例

成功を1、失敗を0で表し、成功の確率をpとします。するとP(X = 1) = p、P(X = 0) = 1 − pです。まとめてP(X = x) = p^x × (1 − p)^(1 − x)（xは0か1）とも書けます。

期待値はp、分散はp(1 − p)です。たとえば、クーポンを受け取った客がそれを使う確率を0.3とします。期待値は1 × 0.3 + 0 × 0.7 = 0.3、分散は0.3 × 0.7 = 0.21です。分散はpが0.5のときに最大の0.25となり、pが0か1に近いほど0に近づきます。結果を予想しにくいほど、ばらつきが大きくなるということです。

二項分布との関係

成功確率が同じで、互いに独立なベルヌーイ試行をn回くり返したとき、成功の回数は二項分布に従います。逆にいえば、ベルヌーイ分布は二項分布でn = 1とした特別な場合です。1人の客がクーポンを使うかどうかはベルヌーイ分布、100人のうち何人が使うかは二項分布、と使い分けます。

機械学習での使われ方

2値分類の正解ラベルは、0か1をとるベルヌーイ分布に従うとみなせます。ロジスティック回帰や、出力にシグモイド関数を使うニューラルネットワークは、このpを予測しています。2値分類でよく使う交差エントロピー−{y log p + (1 − y) log(1 − p)}は、ベルヌーイ分布の対数尤度の符号を反転したものです。そのため、交差エントロピーを小さくする学習は、最尤法と同じ考え方になります。

覚え方

「1回きりの、0か1か」と覚えます。