マルチモーダルのタスクとモデル

解説

正解 C

この問題の論点：マルチモーダルのタスクとモデル

選択肢ごとの解説

1. A

   適切

   VQAは、画像の内容の理解と質問文の理解を組み合わせるタスクです。「写真に人は何人いるか」といった質問に、画像を見て答えます。画像と言語の両方を扱うマルチモーダルタスクの代表例です。

2. B

   適切

   基盤モデルは、大量のデータで事前学習した汎用的なモデルを指す呼び方で、2021年にスタンフォード大学の研究者らが提唱しました。ファインチューニングやプロンプトの工夫で、多様なタスクに転用できます。

3. C

   不適切 正解

   DALL-Eは、文章を入力として画像を生成するText-To-Imageのモデルです。画像を入力として説明文を生成するのはImage Captioningと呼ばれるタスクで、入力と出力の向きが逆になっています。

4. D

   適切

   Flamingoは、学習済みの画像エンコーダと大規模言語モデルの重みを固定し、その間をつなぐ層を追加で学習します。画像と文章が交互に並ぶ入力を扱え、少数の例を示すだけで様々なタスクに対応できます。