単語埋め込みとは

単語埋め込み（word embedding）は、単語を数値のベクトルに変える方法で、得られたベクトル自体を指すこともあります。「単語を、意味の地図の上の1点に置く」とイメージすると分かりやすくなります。似た意味の単語は近くに、関係の薄い単語は遠くに置かれます。

分散表現との関係

単語埋め込みで得るのは、数百次元ほどの密な実数ベクトルです。これは分散表現とも呼ばれ、両者はほぼ同じ意味で使われます。語彙の数だけ次元をもつワンホットベクトルを、ずっと小さな次元の空間へ「埋め込む」と考えると、名前の由来がつかめます。

どう学習するか

• 予測にもとづく方法：word2vecのCBOWやスキップグラムは、周辺の単語と中心の単語の関係を予測する課題から学習します。
• 共起の統計にもとづく方法：GloVeは、コーパス全体で単語どうしが一緒に現れる回数を集計し、その統計に合うようにベクトルを求めます。
• タスクと同時に学習する方法：翻訳や分類のモデルの入口に埋め込み層を置き、タスクの誤差から一緒に学習します。

源流の1つは、2003年にBengioらが提案したニューラル言語モデルです。単語の分散表現と、次の単語を予測する言語モデルを同時に学習しました。

固定のベクトルと、文脈で変わるベクトル

word2vecやGloVeは、1つの単語に1つのベクトルを割り当てます。そのため、英語のbankの「銀行」と「土手」のような多義語を区別できません。ELMoやBERTは、文脈に応じて単語のベクトルを変えることで、この問題に対処しました。

注意点

埋め込みは、学習に使った文章の傾向をそのまま映します。2016年の研究では、Google Newsの記事で学習した埋め込みに、職業と性別の偏った結びつきが見つかりました。

覚え方

「埋め込みは、単語を意味の地図に置くこと」と覚えます。