最小二乗法とは

最小二乗法は、データに最もよく当てはまるモデルのパラメータを求める方法です。19世紀の初めに、ルジャンドル（1805年）とガウス（1809年）が、天体の軌道の計算に関連して発表しました。

考え方

点の集まりに直線y = ax + bを引く場面を考えます。各点の実測値と、直線上の予測値との差を残差といいます。最小二乗法では、残差を2乗して足し合わせた値（残差平方和）が最も小さくなるように、aとbを決めます。

2乗するのは、プラスとマイナスの残差が打ち消し合わないようにするためです。また、2乗の和は滑らかな関数なので、微分して0になる条件から、解を式で求められます。単回帰では、傾きは「xとyの偏差の積の和 ÷ xの偏差の2乗の和」になり、直線は必ずデータの平均の点を通ります。

機械学習との関係

• 線形回帰：単回帰でも重回帰でも、係数は最小二乗法で求めるのが基本です。
• 平均二乗誤差（MSE）：残差平方和をデータの個数で割ったものです。MSEを最小にすることは、最小二乗法と同じ考え方です。
• 最尤法：誤差が互いに独立で、平均0・同じ分散の正規分布に従うと仮定すると、最尤法の答えは最小二乗法と一致します。

弱点

残差を2乗するため、大きく外れた値（外れ値）の影響を強く受けます。外れ値が1つあるだけで、直線が大きく引きずられることがあります。また、重回帰で説明変数どうしの相関が強いと（多重共線性）、係数が不安定になります。これを抑えるのが、係数の大きさに罰則を加えるリッジ回帰やラッソ回帰です。

覚え方

「はみ出しの2乗を、合計で一番小さく」と覚えます。