単語の分散表現（単語埋め込み）に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：単語の分散表現の手法
ポイント
word2vecは単語ごとに固定のベクトルを持ちますが、ELMoでは文脈に応じて単語のベクトルが変わる点が大きな違いです。
選択肢ごとの解説
- A
適切
ワンホットベクトルは語彙の数だけ次元を持ち、その単語の次元だけが1です。異なる単語どうしの内積は常に0になり、意味の近さを測れません。分散表現は単語を低次元の実数ベクトルで表し、この問題を解消します。
- B
適切
どちらも「意味の近い単語は似た文脈に現れる」という分布仮説にもとづき、予測のために学習した重みを単語ベクトルとして使います。学習後のベクトルでは「王−男＋女≒女王」のような演算ができることが知られています。
- C
適切
fastTextは単語を部分文字列（サブワード）に分けて学習し、その和で単語ベクトルを作ります。未知の単語でも部分文字列のベクトルから表現を組み立てられ、語形変化の多い言語でも有効です。
- D
不適切 正解
ELMoは双方向LSTMによる言語モデルを使い、文全体を読んだうえで各単語のベクトルを作ります。同じ単語でも文脈ごとに異なるベクトルになるため、多義語を区別できます。固定のベクトルになるのはword2vecなどです。
試験での狙われ方
CBOWとスキップグラムの予測の向きや、文脈によってベクトルが変わるかどうかを比べる形が見られます。