線形回帰とは

線形回帰は、「部屋の広さが1平方メートル増えると家賃が何円上がるか」のように、入力と出力の関係を掛け算と足し算だけで表すモデルです。機械学習で最も基本的な手法の1つで、多くの手法の出発点になります。

式と係数の意味

説明変数がx1, x2, …, xnのとき、予測値をy = w0 + w1·x1 + w2·x2 + … + wn·xnで表します。w1〜wnは係数（重み）、w0は切片です。係数は、ほかの変数を変えずにその変数だけを1増やしたとき、予測値がどれだけ変わるかを表します。どの要因がどれだけ効いているかを読み取りやすく、結果を説明しやすいモデルです。

「駅から近いかどうか」のような区分の情報も、1と0で表すダミー変数にすれば説明変数に使えます。説明変数が1つなら単回帰分析、2つ以上なら重回帰分析と呼びます。

係数の求め方

係数は、実測値と予測値の差（残差）の2乗の和が最小になるように決めるのが基本です（最小二乗法）。データが大量にある場合は、勾配降下法で少しずつ求めることもあります。係数の大きさに罰則を加えて過学習を抑えたものが、リッジ回帰とラッソ回帰です。

「線形」の意味

「線形」は、係数について1次式であることを指します。y = w0 + w1·x + w2·x^2のように説明変数の2乗を加えても、係数については1次式なので、線形回帰と同じ方法で係数を求められます。グラフは曲線になり、これを多項式回帰と呼びます。

注意点

予測値には上限も下限もないため、確率の予測には向きません。分類には、重み付きの和をシグモイド関数で0から1の値に変換するロジスティック回帰を使います。また、残差を2乗するため外れ値の影響を受けやすく、説明変数どうしの相関が強い（多重共線性）と係数が不安定になります。