オートエンコーダとその派生手法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：オートエンコーダの派生手法
ポイント
VAEは潜在変数を平均と分散で表す確率分布として扱うため、そこからサンプリングして新しいデータを生成できます。
選択肢ごとの解説
- A
不適切
中間層は入力より次元を小さくするのが一般的です。狭い中間層を通して入力を再現させることで、データの特徴を圧縮した表現が得られ、次元削減や特徴抽出に使えます。
- B
適切 正解
VAEのエンコーダは潜在変数の分布の平均と分散を出力し、損失のKL情報量の項によって、その分布を標準正規分布に近づけます。潜在空間から取り出した値をデコーダに通すと、新しいデータを生成できます。
- C
不適切
積層オートエンコーダは、オートエンコーダを1層ずつ順に学習させて重みの初期値を作る、事前学習の手法です。その後、ネットワーク全体を目的のタスクで微調整（ファインチューニング）します。
- D
不適切
VQ-VAEは、潜在変数をコードブックに用意した有限個のベクトルのどれかに置き換え（ベクトル量子化）、離散的な潜在表現を学習します。連続値の正規分布を使うのは通常のVAEです。
補足
β-VAEは、VAEの損失のうちKL情報量の項に1より大きい係数βを掛け、潜在変数の各次元が別々の要因（物体の向きや色など）を表すように促す手法です。このような表現は、もつれのない表現（disentangled representation）と呼ばれます。
試験での狙われ方
通常のオートエンコーダ、VAE、積層オートエンコーダ、VQ-VAEやβ-VAEの違いを、潜在変数の扱い方や学習の手順で区別させる形が考えられます。