2つの変数x、yをもつデータの散布図に1本の直線を当てはめる。主成分分析で求めた第1主成分の軸と、yをxから予測する最小二乗法の回帰直線を比べた説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：主成分分析と回帰直線の違い
ポイント
主成分分析は目的変数を区別せず、変数を対称に扱う教師なしの手法です。縦方向の誤差を最小にする回帰直線とは、当てはめ方が異なります。
選択肢ごとの解説
- A
適切
最小二乗法による回帰直線は、yの予測値と実測値の差（縦方向の残差）の二乗和を最小にします。yを予測するという目的があるため、xとyの扱いは対称ではありません。
- B
適切
各点を軸に射影したときの分散が最大になる方向は、三平方の定理から、垂線の長さの二乗和が最小になる方向と一致します。主成分分析の最初期の研究であるPearson（1901年）も、この考え方で直線を求めました。
- C
不適切 正解
主成分分析は目的変数を区別しない教師なしの手法で、xとyを対称に扱います。役割を入れ替えても第1主成分の軸は同じです。入れ替えで直線が一般に変わるのは、回帰直線のほうです。
- D
適切
分散の大きさは単位で変わるため、長さをmからcmに変えるだけで、その変数が主成分を支配することがあります。標準化した変数（相関行列）による主成分分析は、単位の取り方に左右されません。
補足
標準化した2変数で、相関係数が0.5の場合を考えます。yをxから予測する回帰直線の傾きは0.5、xをyから予測する回帰直線を同じ平面に描いたときの傾きは2で、2本は一致しません。一方、第1主成分の軸の傾きは1で、xとyのどちらを基準にしても同じです。
試験での狙われ方
主成分分析が教師なし学習である点を、回帰など教師あり学習の手法と比べて問う形が考えられます。