Few-shot学習とは

Few-shot学習は、新しいクラスやタスクを、数個程度の例だけから扱えるようにする考え方です。「ショット」は与える例の数を表します。例を1つも与えないのがZero-shot、1つだけ与えるのがOne-shotで、Few-shotは少数の例を与える場合です。

人は、初めて見る鳥でも、図鑑の写真を数枚見れば見分けられるようになります。一方、通常の教師あり学習では、クラスごとに大量のラベル付きデータが必要です。不良品の写真が数枚しかない、新商品の写真がまだ少ない、といった場面でFew-shot学習が役立ちます。

画像認識などでのFew-shot学習

評価には、クラスの数Nと1クラスあたりの例の数Kを決めた課題を使います。これをN-way K-shotと呼びます。代表的な方法は2つあります。

• 距離を学習する方法：似たものが近くに集まるベクトルへの変換を学びます。プロトタイプネットワークは、各クラスの例のベクトルの平均をクラスの代表とし、新しい入力を最も近い代表のクラスに分類します。
• メタ学習：多数の小さな課題を解かせ、少ない例からすばやく学ぶ方法そのものを学びます。MAMLは、数回の勾配の更新で新しい課題に適応できるような重みの初期値を学習します。

大規模言語モデルでのFew-shot

GPT-3の論文は、プロンプトの中に入力と答えの例をいくつか並べ、その後に本番の入力を与える使い方をFew-shotと呼びました。このとき、モデルの重みは更新しません。プロンプトの中の例からタスクをくみ取るこの能力は、文脈内学習（In-Context Learning）とも呼ばれます。

注意点

少ない例で対応できるのは、事前学習やメタ学習で汎用的な知識を得ているからです。事前学習で得た知識が乏しい領域では、精度が出にくくなります。どの例を選ぶかで結果が変わることもあります。

覚え方

「ショットは例の数。ゼロ、ワン、フュー（少し）」と覚えます。