最尤法とは

最尤法は、観測したデータをもとに、確率モデルのパラメータ（分布の形を決める値）を推定する方法です。最尤推定とも呼ばれます。「尤」は「もっともらしい」という意味で、「最ももっともらしい値を選ぶ方法」を表します。統計学者のフィッシャーが、1922年の論文などで理論を整えました。

尤度とは

尤度は、「あるパラメータの値を仮定したとき、手元のデータが得られる確率」を、パラメータの関数として見たものです。

たとえば、表の出る確率pがわからないコインを10回投げ、表が7回出たとします。p = 0.5と仮定すると、この結果が出る確率は約0.12です。p = 0.7と仮定すると、約0.27に上がります。最尤法では、この値が最も大きくなるpを推定値に選びます。この例ではp = 0.7です。

尤度は「パラメータが正しい確率」ではありません。データを固定し、パラメータの候補どうしを比べるための値です。

計算の工夫

データが互いに独立なら、尤度は各データの確率の掛け算になります。掛け算を続けると値が極端に小さくなり、計算機で扱いにくくなります。そこで、対数をとった対数尤度を使います。対数をとっても最大になる場所は変わらず、掛け算が足し算になります。

機械学習とのつながり

機械学習の誤差関数の多くは、最尤法から導けます。回帰で誤差が正規分布に従うと仮定すると、対数尤度の最大化は二乗誤差の最小化と同じになり、最小二乗法と一致します。分類でモデルの出力を確率とみなすと、対数尤度の最大化は交差エントロピーの最小化と同じになります。

データが少ないと、最尤法は手元のデータに合わせすぎることがあります。たとえばコインを3回投げて3回とも表なら、推定値はp = 1です。事前の知識を加えるMAP推定やベイズ推定で、この弱点を補う方法があります。

覚え方

「データが一番出やすくなる設定を選ぶ」と覚えます。