VAEを改良した手法の工夫として、次の（ア）〜（ウ）がある。（ア）損失のKL情報量の項に1より大きい係数を掛け、潜在変数の各次元が別々の要因を表すように促す。（イ）潜在変数を、学習で得た有限個の代表ベクトル（コードブック）のうち最も近いものに置き換え、離散的に表す。（ウ）入力と潜在変数の相互情報量を大きく保つ項を目的関数に加える。工夫と手法名の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：VAE派生手法の改良点
ポイント
β-VAEはKL情報量の項の重みβ、VQ-VAEはコードブックによる離散化、info VAEは相互情報量の項で、それぞれVAEを改良しました。
選択肢ごとの解説
- A
適切 正解
β-VAEはKL情報量の重みβを大きくし、向きや色などの要因ごとに分かれた表現をねらいます。VQ-VAEはコードブックで潜在変数を離散化し、info VAEは相互情報量の項で潜在変数が生成に使われるようにします。
- B
不適切
（ア）は正しいですが、（イ）と（ウ）が逆です。コードブックの代表ベクトルに置き換えて離散化するのがVQ-VAEで、入力と潜在変数の相互情報量を大きく保つ項を加えるのがinfo VAEです。
- C
不適切
（イ）は正しいですが、（ア）と（ウ）が逆です。β-VAEは、名前のとおり係数βをKL情報量の項に掛ける手法です。info VAEは、入力と潜在変数の相互情報量に着目して目的関数を変えます。
- D
不適切
（ウ）は正しいですが、（ア）と（イ）が逆です。VQ-VAEの「VQ」はベクトル量子化（Vector Quantization）の略で、潜在変数をコードブックの代表ベクトルに置き換えることを指します。
補足
表現力の高いデコーダと組み合わせたVAEでは、デコーダが潜在変数をほとんど使わずにデータを作ってしまうことがあります。info VAEは、相互情報量の項によって入力の情報が潜在変数に残るようにし、この問題を抑えます。VQ-VAEの論文も同じ問題を取り上げ、潜在変数を離散化することで避けられたと報告しています。β-VAEでは、βを大きくするほど要因が分かれやすくなる一方、入力の復元の精度は下がりやすくなります。
試験での狙われ方
派生手法の名前と、損失のどこを変えたか、潜在変数をどう表すかの対応を入れ替えて問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目24 オートエンコーダ）
- Irina Higgins et al., beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework, ICLR (2017)
- Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu, Neural Discrete Representation Learning (2017)
- Shengjia Zhao, Jiaming Song, Stefano Ermon, InfoVAE: Information Maximizing Variational Autoencoders (2017)