Contrastive Lossとは

Contrastive Lossは、「この2つは似ているか」という情報だけを手がかりに、データを特徴ベクトル（埋め込み）に変換する方法を学ばせる損失関数です。2006年にハドセル、チョプラ、ルカンが次元削減の研究で示した形がよく知られています。

計算の仕組み

2つのデータを、重みを共有する同じネットワークに通し、出てきた2つのベクトルの距離Dを測ります。同じ形のネットワークを双子のように並べるので、この構成をシャムネットワーク（Siamese Network）と呼びます。損失は、組の種類によって変わります。

• 似た組：D²に比例した損失です。距離を0に近づけます。
• 似ていない組：max(0, m − D)²に比例した損失です。距離がマージンmより近いときだけ損失が生じ、m以上離れていれば損失は0です。

元の論文では、似た組をY=0、似ていない組をY=1として、L = (1 − Y)·½D² + Y·½{max(0, m − D)}²と書きます。

2つの項が必要な理由

似た組を近づけるだけなら、すべてのデータを同じ点に写せば損失は0になります。これでは何も区別できません。似ていない組を引き離す項が、この崩壊を防ぎます。一方で、十分に離れた組をさらに押し離す必要はありません。そこで、マージンm以上離れた組の損失は0とし、まだ近すぎる組の学習に集中します。

使われ方と周辺の概念

学習した埋め込みは、分類のクラスを固定しません。そのため、学習に含まれていない人物の顔でも、登録画像との距離で同じ人かどうかを判定できます。アンカー・正例・負例の3つ組を使うTriplet Lossも、同じ発想にもとづく損失です。なお、自己教師ありの対照学習で使う、多数の負例の中から正例を見分ける形の損失も、英語でcontrastive lossと呼ばれます。文脈で見分けます。

覚え方

「似ていれば引き寄せ、似ていなければマージンまで押し返す」と覚えます。