次元削減とは

次元削減は、データを要約して扱いやすくする処理です。たとえば顧客1人を100項目のアンケート結果で表すと、似た項目どうしは重なる情報を含みます。それらを少数の指標にまとめれば、情報をあまり失わずに次元を減らせます。

何のために行うか

• 次元の呪いへの対策：特徴量が多すぎると、必要なデータ量が急増し、過学習しやすくなります。
• 可視化：2次元や3次元に落とせば、データの分布やまとまりを図で確かめられます。
• 計算の効率化とノイズの除去：小さな変動を捨て、主要な情報だけを残します。

代表的な手法

• 主成分分析（PCA）：分散が最も大きくなる方向から順に、互いに無相関な軸を求める線形の手法です。各軸がもとの情報をどれだけ説明するかを、寄与率で示せます。
• 特異値分解（SVD）：行列を3つの行列の積に分解し、大きな特異値の成分だけを残して近似します。主成分分析の計算や、文書データの圧縮にも使われます。
• 多次元尺度構成法（MDS）：データどうしの距離をできるだけ保つように、低次元の座標に配置します。
• t-SNE：近くにある点どうしの関係を保つように配置する非線形の手法です。主に可視化に使います。
• オートエンコーダ：入力を小さな中間層に圧縮してから復元するように学習し、中間層の値を低次元の表現として使います。

似た処理との違い

特徴選択は、もとの特徴量の一部をそのまま選んで残します。次元削減は多くの場合、もとの特徴量を組み合わせた新しい軸を作ります。また、クラスタリングはデータの行（サンプル）をグループに分け、次元削減は列（特徴量）の数を減らす処理です。

覚え方

「列を減らすのが次元削減、行を分けるのがクラスタリング」と覚えます。