CLIPとは

CLIP（Contrastive Language-Image Pre-training）は、OpenAIが2021年に発表した、画像と言語を結びつけるモデルです。インターネットから集めた約4億組の画像と文章のペアで事前学習しました。

2つのエンコーダと対照学習

CLIPは、画像をベクトルに変換する画像エンコーダと、文章をベクトルに変換するテキストエンコーダをもちます。

学習では、ミニバッチ内の画像と文章について、すべての組み合わせの類似度を計算します。本当に対応する組の類似度は高く、対応しない組の類似度は低くなるように、2つのエンコーダを同時に学習します。このように、正しい組を近づけて違う組を遠ざける方法を対照学習といいます。その結果、犬が写った画像のベクトルと「a photo of a dog」という文のベクトルが、同じ空間の近い位置に置かれるようになります。

Zero-shotでの分類

クラス名を文章にしてテキストエンコーダに通せば、画像との類似度で分類できます。そのクラスのラベル付きデータで追加学習しなくても分類できるため、Zero-shot（ゼロショット）分類と呼ばれます。論文では、ImageNetの訓練データを1枚も使わずに、ImageNetで学習した元のResNet-50と同程度の精度に達したと報告されています。

活用

CLIP自体は画像を生成しませんが、画像と文章の対応を測れるため、生成AIの部品として使われます。DALL-E 2は、文章からCLIPの画像の埋め込みを予測し、それをもとに画像を生成します。初期のStable Diffusionでも、文章をベクトルに変換する部分にCLIPのテキストエンコーダが使われています。大規模なデータで学習し、さまざまなタスクに転用できることから、基盤モデルの例として挙げられます。

覚え方

「写真と説明文を、同じ地図の近い場所に置く」と覚えます。