ある飲料メーカーが、店舗ごとの日次売上を予測する重回帰分析のモデルを作った。説明変数は最高気温、平均気温、広告費などである。最高気温と平均気温の相関はきわめて高く、学習に使う期間を少し変えただけで、2つの気温の係数の大きさや符号が大きく変わってしまう。この現象と対処に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：重回帰分析の多重共線性
ポイント
説明変数どうしの相関が強い多重共線性があると、重回帰分析の係数が不安定になります。変数を絞るか、正則化で対処します。
選択肢ごとの解説
- A
適切 正解
相関の強い説明変数は一緒に増減するため、それぞれの影響を切り分けにくく、係数の推定値が不安定になります。どちらかを外すか、係数の大きさを抑えるリッジ回帰を使うと安定します。
- B
不適切
符号の入れ替わりは、相関の強い2つの変数の間で係数の配分が揺れているためと考えられます。多重共線性があるときの係数は、各変数の影響の大きさや向きとしてそのまま解釈できません。
- C
不適切
データを減らすと、係数の推定はかえって不安定になります。この事例の係数のぶれは、データの件数ではなく、説明変数どうしの相関の強さが主な原因です。
- D
不適切
係数が一意に定まらなくなるのは、ある説明変数がほかの説明変数の一次式で完全に表せる場合です。相関が強いだけなら係数は求まりますが、推定値が大きく揺れやすくなります。
試験での狙われ方
重回帰分析で係数が不安定になる事例を示し、原因の名前と対処法を選ばせる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目7 教師あり学習）
- scikit-learn, Common pitfalls in the interpretation of coefficients of linear models （The problem of correlated variables、Linear models with regularization）
- Hoerl and Kennard, Ridge Regression: Biased Estimation for Nonorthogonal Problems, Technometrics 12 (1970)