DALL-Eとは

DALL-E（ダリ）は、OpenAIが開発した画像生成モデルのシリーズです。文章を入力すると、その内容に沿った画像を生成します。このようなタスクをText-To-Imageと呼びます。画家のサルバドール・ダリと、映画「WALL-E」を組み合わせた名前です。

世代ごとの仕組み

• DALL-E（2021年）：まず離散VAE（dVAE）で、256×256の画像を32×32個の画像トークンに圧縮します。次に、文章のトークンと画像のトークンを1つの系列として並べ、120億パラメータのTransformerで先頭から順に予測します。生成した多数の候補は、CLIPで文章との一致度を測って並べ替えました。
• DALL-E 2（2022年）：文章からCLIPの画像埋め込みを予測し、その埋め込みから拡散モデルで画像を生成します。より高い解像度で、写実的な画像を作れるようになりました。
• DALL-E 3（2023年）：学習データの画像に詳しい説明文を自動で付け直し、長く細かい指示にも従いやすくしました。ChatGPTと組み合わせて提供されました。

初代は言語モデルと同じ自己回帰の考え方で、DALL-E 2からは拡散モデルが中心になった、という流れを押さえます。

似た用語との違い

画像を入力して説明文を出力するImage Captioningとは、入力と出力が逆です。CLIPは画像と文章の対応の度合いを測るモデルで、それ自体は画像を生成しません。DALL-Eは、CLIPを候補の選別（初代）や部品（DALL-E 2）として利用しています。

社会的な論点

本物と見分けにくい画像を作れるため、ディープフェイクや、既存の作品との類似による著作権の問題とも結び付けて考える必要があります。

覚え方

「DALL-Eは描く、CLIPは見比べる」と覚えます。