GLUEとは

GLUE（General Language Understanding Evaluation）は、2018年にAlex Wangらが公開した、自然言語処理のベンチマークです。ベンチマークとは、モデルの性能を同じ条件で比べるための、共通の試験問題のようなものです。

なぜ作られたか

言語を扱う技術を広く役立てるには、特定のタスクやデータだけに偏らない理解力が必要です。GLUEは、性格の異なる9つのタスクを1つのモデルに解かせ、どれだけ幅広く言語を理解できるかを測ります。

9つのタスク

• 1文のタスク：文法的に自然な文かどうかの判定（CoLA）、映画レビューの感情分析（SST-2）
• 2文の類似・言い換え：言い換えかどうかの判定（MRPC、QQP）、意味の近さを数値で予測（STS-B）
• 2文の推論：前提の文から仮説の文が導けるかの判定（MNLI、RTE）、文が質問の答えを含むかの判定（QNLI）、代名詞を候補の語に置き換えた文が元の文から導けるかの判定（WNLI）

STS-Bだけが数値を予測する回帰で、ほかは分類です。いずれも既存の英語のデータセットをもとにしています。参加者はテストデータへの予測をWebサイトに送り、採点を受けます。総合スコアは各タスクのスコアの平均です。このほか、モデルがどんな言語現象でつまずくかを調べる、専門家が作った診断用データも付いています。

その後

公開時の論文では、ELMoを使った最良のベースラインでも、総合スコアはまだ低い水準でした。その後、BERTなどの事前学習モデルによってスコアは急速に上がりました。2019年には、モデルの成績が人間の非専門家の水準を超えたことを受け、より難しいタスクを集めた後継のSuperGLUEが公開されています。日本語では、英語のデータを翻訳せずに一から作ったJGLUEが、2022年に発表されました。

覚え方

「GLUEは、言語理解の総合テスト」と覚えます。