マルチモーダルなモデルであるUnified-IOの説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：Unified-IOの入出力の統一
ポイント
Unified-IOは、あらゆる入出力を共通のトークン列にそろえることで、画像と言語にまたがる多数のタスクを1つのモデルで扱います。
選択肢ごとの解説
- A
適切 正解
Unified-IOは、種類の異なる入出力をすべて同じ形式のトークン列にそろえます。これにより、90を超えるデータセットを使い、物体検出、深度推定、画像生成、質問応答などのタスクを1つのモデルでまとめて学習しています。
- B
不適切
これはFlamingoの説明です。Flamingoは既存の2つのモデルを固定したまま、つなぐ層を学習します。画像と文章が交互に並ぶ少数の例を示すだけで、新しいタスクに対応できます（Few-shot）。
- C
不適切
これはCLIPの説明です。CLIPは画像と文の対応関係を共通の埋め込み空間で学ぶモデルです。Zero-shot分類などに使えますが、それ自体は文章も画像も生成しません。
- D
不適切
Unified-IOの特徴は、多数のタスクを1つのモデルで学習するマルチタスク学習にあります。タスクごとに別のモデルを用意して振り分ける構成では、タスク間で学んだ知識を共有する利点が得られません。
試験での狙われ方
Unified-IO・Flamingo・CLIPの構成上の特徴を入れ替え、どのモデルの説明かを見分けさせる形が典型です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目32 マルチモーダル）
- Lu et al., Unified-IO: A Unified Model for Vision, Language, and Multi-Modal Tasks (2022)
- Alayrac et al., Flamingo: a Visual Language Model for Few-Shot Learning (2022)
- Radford et al., Learning Transferable Visual Models From Natural Language Supervision (2021)