ある企業が、社内の問い合わせ対応に使う大規模言語モデルを選ぶため、Webで公開されている質問応答のベンチマークで複数のモデルを比べた。モデルXの正答率が際立って高かったが、このベンチマークの問題と正解は数年前からWebで公開されている。この結果の扱いとして、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：ベンチマークのコンタミネーション
ポイント
公開ベンチマークの問題は事前学習のコーパスに紛れ込んでいるおそれがあり、正答率が実力より高く出ることがあります。これをコンタミネーションと呼びます。
選択肢ごとの解説
- A
適切
公開から時間がたったベンチマークは、Webから集めた事前学習のコーパスに問題と正解が入っていることがあります。学習時に答えを見ていれば、正答率は実力より高く出ます。
- B
適切
外部に公開していない社内のデータは、Webから集めた事前学習のコーパスに入っているおそれがほとんどありません。混入の影響を受けにくく、実際の業務に近い条件で各モデルを比べられます。
- C
適切
学習に使ったコーパスがわかる場合は、ベンチマークの問題文と重なる文章がないかを調べて、混入の程度を見積もれます。GPT-3の論文でも、文字列の重なりをもとに影響を分析しています。
- D
不適切 正解
公開されていても、事前学習のコーパスに問題と正解が入ったかどうかはモデルごとに異なります。学習時に答えを見たモデルほど正答率が高く出るため、差をそのまま実力の差とはみなせません。
試験での狙われ方
評価データが学習に混ざる点でデータリーケージの一種と整理できます。攻撃者が不正なデータを混ぜるデータ汚染とは別の問題なので、区別しておきます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目36 データの収集・加工・分析・学習）
- Brown et al., Language Models are Few-Shot Learners (2020) （4 Measuring and Preventing Memorization Of Benchmarks）
- Sainz et al., NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark (2023)