G検定練習問題 #0391・オートエンコーダ

PCAとオートエンコーダの比較

ディープラーニングの要素技術 › オートエンコーダ単一選択難易度標準

高次元のデータを2次元に圧縮する場面で、次元削減の手法として主成分分析（PCA）とオートエンコーダを比べた説明として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解 B

この問題の論点：PCAとオートエンコーダの比較

ポイント

線形のオートエンコーダで得られるのはPCAと同じ部分空間です。層を重ねて非線形の活性化関数を使えば、曲がった構造も圧縮できます。

A

不適切

分散の大きい順に並び、互いに無相関になるのはPCAの主成分の性質です。オートエンコーダは再構成誤差を小さくするように学習するだけなので、中間層の各次元にそのような順序や無相関性は保証されません。
B

適切正解

線形のオートエンコーダの中間層は、PCAの上位の主成分が張るのと同じ部分空間を表すことが知られています。軸の向きまで主成分と一致するとは限りません。曲がった構造を捉えるには、層を重ねて非線形の活性化関数を使います。
C

不適切

関係が逆です。PCAは元の変数の線形結合で新しい軸を作る線形な手法です。オートエンコーダは層を重ねて非線形の活性化関数を使えば、曲がった構造を持つデータも低次元で表せます。
D

不適切

PCAも、主成分の軸の値から元の空間へ近似的に戻せます。オートエンコーダも中間層を入力より小さくすれば情報の一部が失われ、ふつうは再構成誤差が残ります。

中間層が1つだけのオートエンコーダでは、中間層の活性化関数を非線形にしても圧縮の性能は上がらず、最適な重みは特異値分解という線形の計算で求められることが、1988年にBourlardとKampによって示されています。

HintonとSalakhutdinovは2006年、深いオートエンコーダの重みを層ごとの事前学習で初期化する方法を示しました。この方法で学習した深いオートエンコーダは、PCAより優れた低次元の表現を得られたと報告されています。

PCAとオートエンコーダのどちらが線形でどちらが非線形かや、主成分の性質をオートエンコーダに当てはめる誤りを問う形が考えられます。