ある小売企業が、会員約500人のデータから解約を予測するモデルを作っている。精度を上げるために特徴量を約2,000個まで増やしたところ、学習データでの精度は上がったが、新しいデータでの精度は下がった。この状況への対応として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：次元の呪いへの対処
ポイント
特徴量の次元が増えるほどデータは空間内でまばらになり、学習に必要なデータ量が急増します。これを次元の呪いといいます。
選択肢ごとの解説
- A
適切
主成分分析は、相関のある多数の特徴量を少数の主成分にまとめる次元削減の手法です。次元を下げることで、データのまばらさや過学習を和らげられます。
- B
適切
予測に役立たない特徴量はノイズとして働き、過学習の原因になります。特徴選択で変数を絞り込むと、少ないデータでも汎化しやすくなります。
- C
適切
次元が高いほど、空間を十分に埋めるために必要なデータ量は急激に増えます。特徴量に見合うだけのデータを集めることは、次元の呪いへの直接的な対策です。
- D
不適切 正解
高次元では学習データを分ける境界を引きやすくなりますが、それは学習データに過剰に当てはまっているだけです。データは空間内でさらにまばらになり、新しいデータでの精度は一層下がりやすくなります。
試験での狙われ方
次元の呪いへの対策として、次元削減・特徴選択・データの追加が適切かどうかを問う形がよく見られます。