CBOWとは

CBOW（Continuous Bag-of-Words）は、2013年にGoogleのTomas Mikolovらが提案した、word2vecの2つのモデルのうちの1つです。もう1つはスキップグラムです。

穴埋め問題で学ぶ

CBOWは、文章を穴埋め問題にして学習します。「今日は＿が降った」の空欄に入る語を、前後の「今日」「は」「が」「降った」から当てるイメージです。正しく当てられるように重みを調整していくと、似た文脈で使われる単語ほど近いベクトルを持つようになります。このベクトルが、単語の分散表現です。

しくみ

周辺の単語をそれぞれベクトルに変換し、平均して1つにまとめます。その結果から、語彙の中のどの単語が中心にくるかを予測します。論文では、前後4語ずつを入力にした設定で最もよい結果が得られています。非線形の隠れ層をもたない浅い構造で、計算が軽いのが特徴です。

平均してまとめるため、周辺の単語の並び順は区別されません。これが、名前にBag-of-Wordsが入っている理由です。一方、Continuousは、BoWのような出現回数ではなく、連続値の分散表現で文脈を表すことを指します。

スキップグラムとの違い

スキップグラムは逆に、中心の単語から周辺の単語を1語ずつ予測します。CBOWは1つの中心語につき予測が1回で済むので、学習が速く進みます。論文では、同じデータでスキップグラムの学習に約3日かかったのに対し、CBOWは約1日で終わったと報告されています。ただし、意味的な関係を問う類推のテストでは、スキップグラムのほうが高い正解率でした。

覚え方

「CBOWは周りから真ん中、スキップグラムは真ん中から周り」と覚えます。