Flamingoとは

Flamingoは、DeepMindが2022年に発表した視覚言語モデルです。画像や動画と文章が交互に並んだ入力を読み、続きの文章を出力します。写真について質問に答えたり、説明文を書いたりできます。

少数の例で新しいタスクに対応する

最大の特徴は、Few-shotの能力です。たとえば「写真1とその答え」「写真2とその答え」のように数組の例を並べ、最後に新しい写真と質問を置きます。するとモデルは、例からタスクの形をくみ取って答えます。タスクごとの追加の学習は要りません。評価した16のベンチマークのうち6つでは、はるかに多くのデータでファインチューニングしたモデルを上回りました。

学習済みの2つのモデルをつなぐ

Flamingoは、見る役割と言葉を扱う役割を、それぞれ学習済みのモデルに任せます。

• 画像エンコーダ：対照学習で事前学習したモデルで、重みを固定します。
• 言語モデル：Chinchillaという大規模言語モデルで、重みを固定します。
• Perceiver Resampler：画像の特徴を64個のトークンにまとめます。
• ゲート付きのクロスアテンション層：言語モデルの層の間に挿入し、文章側から画像の情報を参照させます。

追加で学習するのは、つなぎの部分だけです。挿入した層の出力にはtanh(α)を掛け、αの初期値を0にします。学習の開始時は元の言語モデルと同じ出力になり、学習が安定します。学習データには、Webページから画像と文章を並び順のまま取り出したデータなどを使いました。

ほかのモデルとの違い

CLIPは画像と文章の類似度を測るだけで、文章は生成しません。DALL-Eは文章から画像を作ります。Flamingoは画像を読んで文章で答え、Image CaptioningやVisual Question Answeringを1つのモデルでこなします。

覚え方

「固定した目と言葉の頭を、新しい層でつなぐ」と覚えます。