Diffusion Modelとは

Diffusion Model（拡散モデル）は、画像生成AIの中心となっている生成モデルです。2015年にSohl-Dicksteinらが考え方を示し、2020年にHoらが発表したDDPM（Denoising Diffusion Probabilistic Models）で、高品質な画像を生成できることが示されました。

2つの過程

拡散モデルは、向きが逆の2つの過程で考えます。

• 拡散過程（順方向）：元の画像に小さなノイズを何度も加え、最後はほぼ完全なノイズにします。この過程はあらかじめ決めた手順で、学習はしません。
• 逆拡散過程（逆方向）：ノイズの入った画像から、加えられたノイズを少しずつ取り除き、元の画像に近づけていきます。この1ステップ分のノイズ除去を、ニューラルネットワークに学習させます。ネットワークにはU-Netがよく使われます。

学習が済めば、ランダムなノイズから出発してノイズ除去を何度も繰り返すことで、訓練データにはない新しい画像が得られます。DDPMでは、この繰り返しが1,000ステップでした。

特徴

GANに比べて学習が安定しやすく、生成されるデータの多様性も高いとされます。一方で、ノイズ除去を何度も繰り返すため、1回の計算で生成できるGANより生成に時間がかかります。ステップ数を減らして速くする工夫も研究されています。

文章から画像へ

文章を条件としてノイズ除去を行えば、文章に合った画像を作れます。Stable Diffusionのもとになった潜在拡散モデル（2021年）は、画像をオートエンコーダで小さな潜在表現に圧縮し、その空間で拡散を行うことで計算量を減らしました。文章は、CLIPなどのテキストエンコーダでベクトルに変換してから与えます。DALL-E 2でも拡散モデルが使われています。

覚え方

「壊すのは決まった手順、戻し方だけを学ぶ」と覚えます。