Zero-shotとは

Zero-shot（ゼロショット）は、解きたいタスクやクラスについて、学習例を1つも与えずにモデルに解かせることです。「ショット」は与える例の数を表します。例を1つだけ与えるのがOne-shot、少数与えるのがFew-shotです。

背景：すべてのクラスの例は集められない

教師あり学習では、クラスごとに大量のラベル付きデータが必要です。しかし、あらゆる物や概念のデータを集めることはできません。そこで、見たことのないクラスを、別の形の知識を手がかりに識別しようとするのがZero-shot学習です。

初期の研究では、「縞模様がある」「4本足」などの属性を手がかりにしました。見たことのある動物の画像で属性の判定を学んでおけば、属性の組み合わせで説明された未知の動物も識別できます。

基盤モデルによるZero-shot

基盤モデルの登場で、Zero-shotは身近な使い方になりました。

• CLIP：画像と文章を同じベクトル空間で比べられるように学習しています。「〇〇の写真」という文をクラスの数だけ用意し、画像と最も近い文を選べば、追加学習なしで分類できます。論文では、ImageNetの学習データを1枚も使わずに、ImageNetで学習したResNet-50と同等の精度を示しました。
• 大規模言語モデル：「次の文を要約してください」のように、指示だけを与えてタスクを解かせます。GPT-3の論文は、例を示さない設定をZero-shot、少数の例をプロンプトに含める設定をFew-shotと呼んで比べました。

どちらの場合も、モデルの重みは更新しません。

注意点

Zero-shotの性能は、事前学習で関連する知識をどれだけ得ているかに左右されます。専門性の高い領域などでは、精度が下がることがあります。その場合は、数例を示すFew-shotや、ファインチューニングを検討します。

覚え方

「例はゼロ、説明だけを頼りに解く」と覚えます。