最小二乗法と最尤法の違い

最小二乗法と最尤法は、どちらもデータからモデルのパラメータを決める推定の方法です。違うのは、何をもって「よく当てはまっている」とみなすかです。

最小二乗法

最小二乗法は、各データの実測値と予測値の差（残差）を2乗し、その合計が最も小さくなるパラメータを選びます。2乗するのは、プラスとマイナスの残差が打ち消し合わないようにするためです。データの背後にある確率分布を考えなくても、この基準だけで計算できます。線形回帰では、解を式の形で直接求められます。

一方で、大きく外れた値ほど2乗で強く効くため、外れ値に引きずられやすい性質があります。

最尤法

最尤法は、まずデータがどんな確率分布から生まれたかを仮定します。そのうえで、手元のデータが得られる確率（尤度）が最も大きくなるパラメータを選びます。コインの表が出る確率ならベルヌーイ分布、測定値の誤差なら正規分布というように、分布を選ぶところから始まります。

データが多いと、確率を掛け合わせた尤度は極端に小さな値になります。そこで実際には、積を和に直せる対数尤度を最大にします。分布を取り替えればさまざまなモデルに使えるのが強みで、ロジスティック回帰の係数も最尤法で求めます。分類で交差エントロピーを最小にするのも、最尤法と同じ考え方です。

2つが一致する条件

回帰で、誤差が互いに独立に、平均0・分散一定の正規分布に従うと仮定します。このとき対数尤度を書き出すと、パラメータに関係する部分は、残差の2乗の和に負の定数を掛けた形になります。尤度を最大にすることと、残差の2乗の和を最小にすることが同じ問題になり、2つの方法は同じ推定値を与えます。

この関係から、最小二乗法は「誤差に正規分布を仮定した最尤法」と読み替えられます。逆に、誤差に別の分布を仮定すれば、最尤法の答えは一般に最小二乗法と一致しなくなります。