特異値分解とは

特異値分解（SVD）は、行列を扱う線形代数の基本的な手法で、機械学習では次元削減やデータ圧縮に使われます。行と列の数が異なる行列にも使えるのが特徴です。

分解のしかた

m行n列の行列Aを、次の3つの行列の積に分けます。

A = U Σ Vᵀ

UとVは直交行列で、それぞれ行の側（たとえばユーザー）と列の側（たとえば商品）の軸を表します。Σは対角線上にだけ値をもつ行列で、その値を特異値と呼びます。特異値は0以上で、大きい順に並べます。特異値が大きい成分ほど、元の行列の主要な特徴を担っています。

低ランク近似

上位k個の特異値と、それに対応するUとVの列だけを残すと、元の行列をより少ない数値で近似できます。kを小さくするほどデータは小さくなりますが、再現の精度は下がります。このように切り詰めた近似が、二乗誤差の意味で最もよい近似になることは、1936年にエッカートとヤングが示しました。

身近な例では、画像を表す行列の上位の成分だけを残すと、大まかな絵柄を保ったままデータを圧縮できます。

ほかの手法との関係

• 主成分分析：平均を引いたデータの行列を特異値分解すると、主成分の方向が求まります。実際の計算でもよく使われます。
• 潜在意味解析（LSA）：文書×単語の行列を特異値分解し、文書や単語を少数の潜在的な意味の軸で表します。のちのトピックモデルにつながる考え方です。
• 推薦システム：ユーザー×商品の評価行列を低ランクの行列の積で近似し、潜在的な好みを取り出します。実際の評価行列は空欄が多いため、観測された評価だけから因子を学ぶ行列分解の手法がよく使われます。

覚え方

「回して、伸ばして、また回す」と覚えます。ベクトルに掛けると、Vᵀで向きを変え、Σで軸ごとに伸び縮みさせ、Uでまた向きを変える、という3段階になります。