Unified-IOとは

Unified-IOは、Allen Institute for AIとワシントン大学の研究者が2022年に発表したモデルです。画像の認識や生成、画像と言語にまたがるタスク、文章だけのタスクまで、性質の違うタスクを1つのモデルで扱います。

何が難しかったのか

画像のタスクは、出力の形がばらばらです。画像分類ならクラス名、物体検出なら箱の座標、深度推定なら画素ごとの距離を表す画像を出力します。そのため従来は、共通の部分で特徴を取り出し、その後ろにタスクごとの専用の部分を付ける構成が一般的でした。

すべてをトークン列にそろえる

Unified-IOは、入力も出力もすべて、共通の語彙から選んだ離散的なトークンの列で表します。

• 文章：言語モデルと同じようにトークンに分けます。
• 画像：VQ-GANで離散的なコードの列に変換します。出力したコードの列は、VQ-GANのデコーダで画像に戻します。
• 座標：画像内の位置を区切った1,000個の特別なトークンを語彙に加え、物体や人の関節の位置を表します。

どのタスクを行うかは、「この画像の深度マップは何か」のような自然言語の指示で伝えます。本体は、T5をもとにしたTransformerのエンコーダ・デコーダです。

マルチタスク学習の成果

90を超えるデータセットで多数のタスクを同時に学習しました。タスクごとのファインチューニングをしなくても、7種類のタスクからなるGRITというベンチマークのすべてに対応した初めてのモデルとなりました。2023年には、音声やロボットの動作も扱う後継のUnified-IO 2が発表されています。

ほかのモデルとの違い

CLIPは画像と文章の類似度を測るだけで、生成はしません。Flamingoは画像を読んで文章を出力します。Unified-IOは、文章に加えて画像や座標も出力できます。

覚え方

「入出力（IO）を、トークンで統一（Unified）」と覚えます。