確率分布とは

確率分布は、「どの値がどのくらい出やすいか」の全体像です。確率変数1つごとに、1つの確率分布が対応します。実際に集めたデータの散らばりを数えた度数分布に対し、確率分布は、値の起こりやすさを確率で表した理論上の分布です。

離散型と連続型

離散型の確率分布は、値ごとの確率で表します。この対応を表す関数を確率質量関数と呼び、すべての値の確率を足すと1になります。連続型の確率分布は確率密度関数で表し、ある区間に入る確率は、グラフの下の面積で求めます。全体の面積は1です。

計算例

ある商品が1日に売れる個数Xの分布を、0個が0.1、1個が0.6、2個が0.3と見積もったとします。合計は0.1 + 0.6 + 0.3 = 1です。1個以上売れる確率は0.6 + 0.3 = 0.9で、1 − 0.1としても求まります。

主な確率分布

• ベルヌーイ分布：成功か失敗かの、1回だけの試行。
• 二項分布：成功確率が一定の試行をn回くり返したときの、成功の回数。
• ポアソン分布：一定の時間や範囲の中で、まれな出来事が起きる回数。
• 一様分布：どの値も同じ起こりやすさ。公正なサイコロの目は、離散型の例です。
• 正規分布：平均を中心に、左右対称の釣り鐘型をした連続型の分布。

AIとの関係

機械学習の多くは、確率分布の考え方の上に成り立っています。分類モデルでは、ソフトマックス関数が出力を「犬0.7、猫0.2、鳥0.1」のような、クラスごとの確率分布に変えます。言語モデルは、次に来る単語の確率分布を出力します。VAEやGAN、拡散モデルなどの生成モデルは、データが従う確率分布を学習し、それに沿った新しいデータを作ります。

2つの確率分布の違いを測る量に、カルバック・ライブラー情報量（KL）があります。分類の学習で交差エントロピーを小さくすることは、正解の分布とモデルが出力した分布のKLを小さくすることにあたります。