次元の呪いとは

次元の呪いは、データを表す特徴量の数（次元）が増えると、さまざまな問題が急に難しくなる現象です。数学者リチャード・ベルマンが、動的計画法の研究の中で使った言葉に由来します。機械学習では、特徴量を増やしすぎたときに起こる問題として知られています。

なぜ起こるのか

1つの特徴量の範囲を10の区間に分け、どの区間の組合せにも少なくとも1件ずつデータを置きたいとします。特徴量が1つなら10件で足ります。2つなら10×10＝100通り、3つなら1,000通りの組合せができます。特徴量が10個になると、組合せは100億通りです。次元が1つ増えるごとに空間は10倍に広がり、同じ件数のデータでは空間がすかすかになります。

データがまばらだと、モデルは手元のデータに偶然あらわれたパターンまで覚え込みやすくなります。その結果、学習データには合っても新しいデータでは外れる過学習が起こりやすくなります。また、高次元ではデータ点どうしの距離の差が小さくなりやすく、距離にもとづいて似たものを探す方法がうまく働きにくくなります。

対策

対策の基本は、次元を減らすことと、データを増やすことです。主成分分析などの次元削減で情報をまとめる方法や、予測に役立たない特徴量を除く特徴選択がよく使われます。正則化でモデルの複雑さを抑えることも有効です。

位置づけ

G検定のシラバスでは、「機械学習」の項目のキーワードです。ビッグデータの時代になり、データは大量に集まるようになりました。しかし、特徴量を増やせば精度が上がるとは限りません。データの件数と次元のバランスを考える必要があることを示す言葉です。

覚え方

「次元が1つ増えるたびに、必要なデータが掛け算で増える」と覚えます。