画像生成とは

画像生成は、画像データの特徴を学習し、新しい画像を作り出す技術です。シラバスのデータ生成の項目に含まれます。

条件なし生成と条件付き生成

条件を与えずに学習データに似た画像を作るのが条件なし生成、文章やクラスのラベル、別の画像などを条件として与えて作るのが条件付き生成です。文章から画像を作るText-To-Imageや、線画に色を塗るような画像から画像への変換は、条件付き生成の例です。

主な生成モデル

• VAE（2013年）：画像を潜在変数の確率分布として表し、そこからデコーダで画像を作ります。学習は安定しますが、画像がぼやけやすい傾向があります。
• GAN（2014年）：画像を作る生成器と、本物か偽物かを見分ける識別器を競わせます。鮮明な画像を作れますが、学習が不安定になりやすいモデルです。DCGAN、Pix2Pix、CycleGANなどの発展形があります。
• 拡散モデル（2020年のDDPMで注目）：画像にノイズを加える過程を逆にたどり、ノイズから少しずつ画像を復元します。生成に多くの段階が必要ですが、質と多様性の高い画像を作れます。

2021年の潜在拡散モデルは、圧縮した潜在空間で拡散と復元を行い、計算量を減らしました。これをもとにしたStable Diffusionは、文章の理解にCLIPなどのテキストエンコーダを使います。このほか、新しい視点の画像を合成するNeRFもあります。

評価の方法

生成した画像の質は、FID（Fréchet Inception Distance）などの指標で測ります。FIDは、本物の画像と生成画像の特徴量の分布の距離で、小さいほど良いとされます。

社会的な論点

実在の人物の偽の画像（ディープフェイク）による偽情報の拡散や、学習データ・生成物と著作権の関係が論点になっています。

覚え方

「VAEはぼやけやすい、GANは不安定、拡散は遅いが高品質」と、長所と短所の組で覚えます。