ワンホットベクトルとは

ワンホットベクトルは、ものの種類を数値で表すときの最も素朴な方法です。「ワンホット（one-hot）」は、1か所だけが「点灯している」という意味です。

作り方

自然言語処理では、まず扱う単語の一覧（語彙）を決め、各単語に番号を振ります。語彙が「犬・猫・車」の3語なら、犬は(1, 0, 0)、猫は(0, 1, 0)、車は(0, 0, 1)と表します。次元数は語彙の数と同じで、各ベクトルで1になる要素は1つだけです。

自然言語処理以外でも使います。表形式のデータで「都道府県」のようなカテゴリの列を数値に変えるときや、分類問題の正解ラベルを表すときです。分類では、正解ラベルのワンホットベクトルと、ソフトマックス関数の出力から交差エントロピーを計算します。

弱点

• 高次元で疎：語彙が数万語あれば、数万次元のベクトルになります。要素のほとんどが0で、記憶や計算の効率がよくありません。
• 意味の近さを表せない：異なる単語のベクトルは互いに直交します。そのため、「犬」と「猫」の近さも、「犬」と「車」の近さも同じになります。

分散表現との関係

これらの弱点を補うのが、単語を数百次元ほどの密なベクトルで表す分散表現（単語埋め込み）です。word2vecなどは、意味の似た単語が近いベクトルになるように学習します。

ただし、ワンホットベクトルが不要になったわけではありません。ニューラルネットワークでは、ワンホットベクトルに埋め込みの重み行列を掛けると、その単語に対応する行が取り出されます。つまり、分散表現へ変換する入口の役割をもちます。また、文書に含まれる単語のワンホットベクトルを足し合わせると、出現回数を数えたBoWの表現になります。

覚え方

「1か所だけ点灯、残りは消灯」と覚えます。