主成分分析（PCA）と特異値分解（SVD）の違い

主成分分析と特異値分解は、どちらも次元削減の話題で出てくるため、混同されがちです。主成分分析は「データをどうまとめたいか」を決める分析の手法で、特異値分解は「行列をどう分けるか」を決める計算の手法です。

主成分分析

主成分分析は、ばらつき（分散）が最も大きい方向を第1主成分とし、それと直交する方向の中で分散が最も大きい方向を第2主成分とする、という手順で新しい軸を取り直します。各主成分の分散が全体に占める割合を寄与率といい、残す主成分の数を決める目安にします。

平均のまわりのばらつきを扱うので、計算の前に各変数から平均を引きます。単位の異なる変数を扱うときは、標準化もします。

特異値分解

特異値分解は、m行n列の行列AをA = UΣVᵀの形に分けます。UとVは直交行列で、Σの対角には0以上の特異値が大きい順に並びます。正方行列でなくても使えるのが特徴です。

大きい特異値の成分だけを残すと、元の行列を少ない数値で近似できます（低ランク近似）。この近似が二乗誤差の意味で最良になることは、1936年にエッカートとヤングが示しました。文書×単語の行列に使う潜在意味解析（LSA）や、画像の圧縮などに使われます。

2つの関係

平均を引いたデータ行列を特異値分解すると、右特異ベクトル（Vの列）が主成分の方向になり、特異値の2乗を「データ数−1」で割った値が各主成分の分散になります。共分散行列を作って固有値分解しても同じ主成分が得られます。ただ、特異値分解ならデータ行列から直接求められるので、よく使われます。scikit-learnのPCAも、データを中心化してから特異値分解で計算しています。

平均を引かずに特異値分解すると、結果は一般に主成分分析と一致しません。ただしLSAのように、平均を引かずに疎な行列のまま分解する使い方もあり、目的によって使い分けます。