CLIPの事前学習では、バッチ内の画像と文章のペアについて、各画像と各文章のすべての組み合わせの類似度を計算する。そのうえで、本来のペアの類似度を高め、それ以外の組み合わせの類似度を低めるように学習する。バッチに8組のペアがあるとき、類似度を高める組み合わせの数（ア）と、低める組み合わせの数（イ）の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：CLIPの対照学習の正例と負例
ポイント
CLIPは、N組のペアからできるN×N通りの組み合わせのうち、本来のN組を正例、残りのN×N−N組を負例として学習します。
選択肢ごとの解説
- A
適切 正解
8枚の画像と8個の文章のすべての組み合わせは8×8＝64通りです。本来のペアは8通り（ア）で、残りの64−8＝56通り（イ）が類似度を低める組み合わせになります。
- B
不適切
64は画像と文章のすべての組み合わせの数（8×8）です。この中には本来のペア8通りも含まれるため、類似度を低める組み合わせは64−8＝56通りになります。
- C
不適切
28は、8個から2個を選ぶ組み合わせの数（8×7÷2）です。CLIPが比べるのは画像と文章の組なので、画像iと文章jの組と、画像jと文章iの組は別の組み合わせとして数えます。
- D
不適切
1と7は、画像1枚に注目したときの数です。1枚の画像には本来の文章が1個、それ以外の文章が7個あります。バッチ全体では8枚分あるので、8通りと8×7＝56通りになります。
補足
CLIPの論文では、1つのバッチに32,768組のペアを使っています。この場合、1枚の画像にとっての負例は32,767個になります。バッチ内のほかのデータを負例として使うため、バッチが大きいほど多くの負例と比べながら学習できます。
試験での狙われ方
CLIPは、画像と文章の対照学習という学習の仕組みと、Zero-shotでの分類という使い方の両面から問われやすいモデルです。