ある旅行会社が、口コミを「肯定」「否定」に分類するため、大規模言語モデルの使い方を2通り比べている。方法1は、正解ラベル付きの口コミの例3件と、分類したい口コミを指示文に含めて入力する。方法2は、ラベル付きの口コミ3,000件でモデルを追加学習（ファインチューニング）する。両者に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：Few-shotとファインチューニング
ポイント
Few-shotは入力に例を添えるだけで重みを変えないため、すぐに試し直せます。一方、示せる例の数は入力長の上限に縛られます。
選択肢ごとの解説
- A
適切 正解
指示文に例を添える方法（Few-shot）は、推論時に入力を与えるだけで、重みは変わりません。例や指示を書き換えればすぐに試し直せる点が、追加学習との大きな違いです。
- B
不適切
Few-shotでは、例は入力の一部として参照されるだけで、重みには残りません。次の口コミを分類するときも、同じように例を指示文に含めて入力する必要があります。
- C
不適切
例を1件だけ示すのがOne-shot、複数示すのがFew-shot、例を示さず指示だけを与えるのがZero-shotです。方法1は例が3件なのでFew-shotにあたります。
- D
不適切
モデルが一度に受け取れる入力の長さ（コンテキスト長）には上限があり、示せる例の数は限られます。GPT-3の論文でも、Few-shotで示す例は、上限の2,048トークンに収まる10〜100件程度でした。
試験での狙われ方
Zero-shot・One-shot・Few-shotの区別と、重みを更新するファインチューニングとの違いを組み合わせて問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目31 転移学習・ファインチューニング）
- Brown et al., Language Models are Few-Shot Learners (2020)