あるECサイトの運営会社が、ラベル付きの学習データを用意せずに、商品画像を「スニーカー」「ワンピース」「腕時計」など任意のカテゴリに分類したい。CLIPを使ってこれを実現する方法として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：CLIPによる画像分類の方法
ポイント
CLIPは画像と文を同じ埋め込み空間で対応づけるため、カテゴリ名の文との類似度を比べるだけでZero-shot分類ができます。
選択肢ごとの解説
- A
不適切
CLIPは画像と文をそれぞれ埋め込みベクトルに変換するエンコーダの組で、文章を生成する仕組みはもちません。画像から説明文を生成するのは、Image Captioningのモデルです。
- B
適切 正解
CLIPは大量の画像と文のペアを使い、対応するペアの埋め込みが近く、対応しないペアが遠くなるよう対照学習しています。そのため、カテゴリ名を文にして画像との類似度を比べるだけで、追加学習なしのZero-shot分類ができます。
- C
不適切
CLIP自体は画像を生成しません。DALL-E 2のような画像生成モデルの部品として使われることはありますが、分類には画像と文の埋め込みの類似度を直接比べれば足ります。
- D
不適切
画像エンコーダに分類層を付けて学習する方法（線形プローブ）は、カテゴリごとのラベル付き画像が必要で、目的に合いません。カテゴリを増やすたびに学習し直す手間もかかります。言葉で表したカテゴリに追加学習なしで対応できる点が、CLIPの利点です。
試験での狙われ方
CLIPの対照学習の仕組みと、それによって可能になるZero-shot分類の手順を問う形が典型です。