BoW（Bag-of-Words）とは

BoW（Bag-of-Words）は、文書を数値のベクトルに変える、最も基本的な方法の1つです。名前のとおり、文書を「単語を袋に詰めたもの」とみなします。袋の中では単語の並び順は分からず、どの単語が何回入っているかだけが残ります。

作り方

1. 文書を単語に分けます。日本語では、形態素解析で単語に区切ります。
2. 扱う単語の一覧（語彙）を決め、各単語に番号を振ります。
3. 文書ごとに、語彙の各単語が何回現れたかを数えて並べます。

たとえば語彙が「犬・猫・好き・嫌い」の4語なら、「犬が好き。猫も好き。」は(1, 1, 2, 0)になります。語彙にない「が」「も」は数えません。次元数は語彙の数と同じで、語彙が多いとほとんどの要素が0の疎なベクトルになります。出現回数の代わりに、現れたかどうかを0と1で表すこともあります。

強みと弱点

計算が単純で、文書分類や情報検索などで長く使われてきました。トピックモデルのLDAも、文書をBoWとして扱います。

一方で、語順と文脈の情報は失われます。「犬が猫を追う」と「猫が犬を追う」は同じベクトルになります。また、「の」「する」のようにどの文書にも出る語ほど、値が大きくなりがちです。意味の近い「車」と「自動車」も、無関係な別々の要素として扱われます。

弱点を補う工夫

• TF-IDF：多くの文書に現れる語の重みを下げ、その文書に特徴的な語を重く扱います。
• n-gram：2語や3語の連なりを1つの単位として数え、近くの語順を一部とり込みます。
• 分散表現：word2vecなどで学習した、意味の近さを表せる密なベクトルを使います。

word2vecのCBOW（Continuous Bag-of-Words）という名前も、周辺の単語の並び順を区別しない点がBoWと同じことに由来します。

覚え方

「袋に入れると、順番は分からなくなる」と覚えます。