重回帰分析とは

重回帰分析は、売上のように、いくつもの要因が重なって決まる量を予測するための回帰の方法です。説明変数が1つの単回帰分析を、複数の説明変数に広げたものです。

式と偏回帰係数

説明変数がx1, x2, …, xnのとき、y = b0 + b1·x1 + b2·x2 + … + bn·xnの形で表します。各係数を偏回帰係数と呼びます。偏回帰係数は、ほかの説明変数を一定にしたまま、その変数だけを1増やしたときの予測値の変化量を表します。係数は、単回帰分析と同じく最小二乗法で求めます。

たとえば、ある店の1日の販売数y（個）を、最高気温x1（℃）と広告費x2（万円）からy = 50 + 3·x1 + 2·x2と推定したとします。気温30℃、広告費10万円の日の予測は、50 + 3 × 30 + 2 × 10 = 160個です。この式は、広告費が同じなら、気温が1℃上がるごとに販売数が3個増える、と読みます。

使うときの注意点

• 単位の違い：偏回帰係数の大きさは、変数の単位で変わります。影響の大きさを比べるときは、変数を標準化してから求めた標準化偏回帰係数を使います。
• 多重共線性：説明変数どうしの相関が強いと、係数が不安定になり、符号が逆転することもあります。相関の強い変数の一方を外す、リッジ回帰を使う、といった対処をします。
• 変数の入れすぎ：説明変数を増やすと、学習データに対する決定係数は上がるか変わらないかで、下がることはありません。見かけの当てはまりに惑わされないよう、自由度調整済み決定係数やAIC、検証用データでの誤差で評価します。

覚え方

偏回帰係数の「偏」は、偏微分の「偏」と同じく「一部分」の意味です。ほかを固定したときの、その変数の分だけの効き目と覚えます。