t-SNEとは

t-SNEは、2008年にファン・デル・マーテンとヒントンが発表した次元削減の手法です。何百もの変数をもつデータを、人が目で見て確かめられる2次元や3次元の図に描くために使われます。

考え方

まず元の高次元空間で、データどうしの近さを確率で表します。あるデータから見て、近くにあるデータほど高い確率で「隣人」に選ばれる、と考えます。次に、低次元の図の上でも同じように隣人の確率を計算します。そして、2つの確率分布のずれ（KL情報量）が小さくなるように、図の上の点の位置を少しずつ動かします。こうして、元の空間で近かったデータどうしが、図の上でも近くに集まります。

t分布を使う理由

高次元のデータを2次元に押し込むと、中くらいの距離にあるデータを置く場所が足りなくなります。その結果、点が図の中央に詰まりがちです。これを混雑問題（crowding problem）と呼びます。t-SNEは、図の側の近さを、正規分布より裾の重いt分布で測ります。こうすると、少し離れたデータどうしは図の上でより遠くに置かれ、まとまりどうしがはっきり分かれて見えます。

主成分分析との違い

主成分分析は線形の変換で、データ全体のばらつきを保つことを重視します。t-SNEは非線形で、近いデータどうしの関係を優先して保ちます。そのため、曲がった構造やまとまりを見つけるのは得意ですが、次の点に注意が必要です。

• 図の上のクラスタの大きさや、クラスタどうしの距離は、元の空間での広がりや離れ具合をそのまま表さない。
• パープレキシティなどのハイパーパラメータや乱数の初期値によって、結果が変わる。
• 新しいデータを加えるときは、基本的に計算をやり直す。
• データ数が多いと計算に時間がかかる。

このため、t-SNEは主に、データの構造をつかむための可視化や探索的な分析に使われます。

覚え方

「近所づきあいだけを大事にして地図を描く」と覚えます。