マルチモーダル（シラバス 技術32）

マルチモーダルとは

画像、文章、音声、動画といったデータの種類をモダリティと呼びます。マルチモーダルは、複数のモダリティを組み合わせて扱うことです。写真を見て説明する、説明を読んで絵を描く、といったことをAIで行うには、種類の違うデータの意味を対応づける必要があります。

代表的なタスク

モデル名より先に、タスクを入力と出力の組で区別しておくと、問題文を読み解きやすくなります。

タスク	入力	出力
Image Captioning	画像	画像を説明する文章
Visual Question Answering	画像と質問文	質問への答え
Text-To-Image	文章	画像

代表的なモデル

• CLIP：インターネットから集めた画像と説明文の組、約4億組で学習しました。組になる画像と文章は近く、組にならない画像と文章は遠くなるように学ぶことで、画像と文章を同じベクトル空間で比べられます。
• DALL-E：文章から画像を生成するText-To-Imageのモデルです。初代はTransformerで画像を表すトークンを順に生成しました。後継のDALL-E 2は、CLIPの表現と拡散モデルを組み合わせています。
• Flamingo：学習済みの画像エンコーダと大規模言語モデルを、新たに学習する層でつなぎ、画像や動画と文章が混ざった入力から文章を出力します。例を数個示すだけで、新しい課題に対応できます。
• Unified-IO：画像、文章、物体の位置など、課題ごとに形の違う入力と出力を、すべて共通のトークンの列に置き換えます。そのうえで1つのTransformerに、物体検出、深度推定、画像の質問応答、文章の質問応答など、多くの課題を学ばせました。

Zero-shot

解きたい課題の例を1つも見せずに解くことをZero-shotといいます。CLIPでは、「〇〇の写真」という文をクラスの数だけ用意し、画像と最も近い文を選べば、その分類のための追加の学習なしに画像を分類できます。例を1つ見せるOne-shot、数個見せるFew-shot（転移学習の項目）と並べて覚えます。

基盤モデルとマルチタスク学習

基盤モデルは、大量で幅広いデータで事前学習し、さまざまな課題に合わせて使えるモデルを指す呼び名です。2021年にスタンフォード大学の研究者らが提唱し、BERT、GPT-3、CLIPなどが例に挙がります。

マルチタスク学習は、1つのモデルに複数の課題を同時に学習させる方法です。課題どうしで共通の表現を学べるため、課題ごとに別々に学習するより汎化性能が上がることがあります。Unified-IOは、マルチタスク学習を大規模に進めた例です。