主成分分析とは

主成分分析（PCA）は、多くの変数をもつデータを、少ない変数で要約する次元削減の手法です。たとえば5教科のテストの点数を、「総合的な学力」と「文系寄りか理系寄りか」の2つの軸で表せれば、生徒の特徴をつかみやすくなります。主成分分析は、このような軸をデータから見つけます。

主成分の求め方

まず、データの散らばりが最も大きい方向を探し、それを第1主成分とします。散らばりが大きい方向ほど、データどうしの違いをよく表していると考えるからです。次に、第1主成分と直交する方向の中で、散らばりが最も大きい方向を第2主成分とします。以下同様に、それまでのすべての主成分と直交する方向を順に求めます。

計算上は、変数の共分散行列の固有値と固有ベクトルを求めることにあたります。固有ベクトルが主成分の方向、固有値がその方向の分散の大きさです。こうして得た主成分どうしは、互いに無相関になります。

寄与率

各主成分の分散が全体の分散に占める割合を寄与率といいます。第1主成分から順に寄与率を足したものが累積寄与率です。たとえば「累積寄与率が80%に届くところまで使う」のように、残す主成分の数を決める目安になります。

使いどころと注意点

相関の強い変数をまとめる、データを2次元や3次元に落として図に描く、ノイズを減らす、といった目的に使われます。

注意点は2つあります。1つは、単位の異なる変数をそのまま使うと、値のばらつきが大きい変数に結果が引っ張られることです。通常は変数を標準化してから行います。もう1つは、線形の変換しかできないことです。曲がった構造をもつデータの可視化には、t-SNEのような非線形の手法が向いています。

考え方のもとになったのは、1901年のカール・ピアソンの研究と、1933年のハロルド・ホテリングの研究です。

覚え方

「いちばん散らばる向きから順に、直角に軸を取り直す」と覚えます。