ELMoとは

ELMo（Embeddings from Language Models）は、2018年にアレン人工知能研究所とワシントン大学の研究者らが発表した、単語の表現を作る手法です。質問応答や感情分析など6つの自然言語処理タスクで、当時の最高性能を更新しました。

背景：1語に1つのベクトルの限界

word2vecやfastTextは、1つの単語に1つのベクトルを割り当てます。しかし、英語のbankは文によって「銀行」にも「土手」にもなります。固定のベクトルでは、このような多義語を区別できません。

仕組み：双方向の言語モデル

ELMoは、大量の文章で言語モデルを事前学習します。言語モデルとは、文の続きの単語を予測するモデルです。ELMoでは2層のLSTMを使い、前から順に次の単語を予測するモデルと、後ろから順に前の単語を予測するモデルを学習します。入力では単語を文字単位の畳み込みで処理するため、未知語にも対応できます。

単語の表現は、文全体を入力したときの各層の出力から作ります。最上位の層だけでなく、すべての層の出力を、タスクごとに学習する重みで足し合わせます。論文の分析では、下の層は品詞のような文法的な情報を、上の層は語義のような意味的な情報を捉えやすいことが示されました。こうして得た表現は、同じ単語でも文脈が変われば変わります。

BERTとの違い

ELMoの表現は、既存のタスク用モデルに特徴量として追加するのが基本の使い方です。同じ2018年に登場したBERTは、Transformerを使い、前後の文脈を各層で同時に参照します。さらに、モデル全体をタスクごとにファインチューニングします。BERTの論文は、ELMoを「前向きと後ろ向きのモデルを別々に学習して連結したもの」と位置づけています。

覚え方

「ELMoは、LSTMで文脈を読む言語モデル（Language Models）」と覚えます。