大規模言語モデル（LLM）とその評価に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：LLMの規模と性能の関係
ポイント
LLMの性能はパラメータ数だけでなく学習データの量にも左右され、計算量が一定なら両者の配分に最適な点があることが示されています。
選択肢ごとの解説
- A
適切
PaLMは、6,144個のTPU v4チップを使って学習された、デコーダ型のTransformerによる言語モデルです。多段階の推論を要するタスクなどで、当時の最高水準の性能を示しました。
- B
適切
GLUEは2018年に公開され、BERTなどの事前学習モデルの比較に広く使われました。モデルのスコアが人間の基準値を上回るようになったため、より難しいSuperGLUEも作られました。
- C
適切
Chain-of-Thoughtプロンプティングと呼ばれる方法です。5,400億パラメータのモデルに8個の例を示した実験では、算数の文章題で当時の最高水準の正答率が報告されました。小さなモデルでは効果が出にくいことも示されています。
- D
不適切 正解
言語モデルの損失は、パラメータ数・データ量・計算量のそれぞれに対してべき乗則で下がると報告されています（スケーリング則）。計算量が一定なら、両者の配分には最適な点があります。実際、パラメータ数を4分の1にしてデータを4倍にしたChinchillaが、同じ計算量のGopherを上回りました。
試験での狙われ方
PaLMなどの代表的なLLMの特徴と、スケーリング則やChain-of-Thoughtのような規模に関わる性質を組み合わせて問う形が見られます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目27 自然言語処理）
- Chowdhery et al., PaLM: Scaling Language Modeling with Pathways (2022)
- Kaplan et al., Scaling Laws for Neural Language Models (2020)
- Hoffmann et al., Training Compute-Optimal Large Language Models (2022)
- Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022)
- Wang et al., GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding (2018)