Text-To-Imageとは

Text-To-Imageは、文章で書いた指示から画像を作るタスクです。「夕焼けの海辺を歩く柴犬を水彩画風に」のような文章（プロンプト）を入力すると、その内容に合う画像が生成されます。画像生成のうち、文章を条件として与える条件付き生成にあたります。

仕組みの基本

モデルは、大きく2つの部分からなります。

• 文章を理解する部分：プロンプトを、意味を表すベクトルに変換します。CLIPのテキストエンコーダなどが使われます。
• 画像を作る部分：そのベクトルを手がかりに画像を生成します。

学習には、画像とその内容を説明する文章を組にした大量のデータを使います。

方式の移り変わり

• GAN（2016年ごろ）：文章の特徴を条件として与えたGANで、鳥や花の画像を生成しました。
• 自己回帰型（2021年）：初代のDALL-Eは、文章と、画像を変換したトークンを1つの系列として並べ、Transformerで順に予測しました。
• 拡散モデル（2022年ごろから）：ノイズを少しずつ取り除いて画像を作る拡散モデルが主流になりました。DALL-E 2やStable Diffusionが代表例です。Stable Diffusionのもとになった潜在拡散モデルは、画像を圧縮した潜在空間で計算し、計算量を大きく減らしました。

多くのモデルはランダムなノイズから生成を始めるため、同じプロンプトでも、乱数を変えると異なる画像ができます。

活用と注意点

広告やデザインのラフ案づくり、資料の挿絵などに使われています。一方で、実在の人物の偽の画像（ディープフェイク）による偽情報や、既存の著作物に似た画像を生成して利用した場合の著作権侵害が論点です。学習データの偏りが、生成画像に現れることもあります。業務で使う際は、サービスの利用規約や生成物の権利の扱いを確認します。

覚え方

「テキストからイメージへ。Image Captioningとは逆向き」と覚えます。