CBOWとスキップグラムの違い

CBOWとスキップグラムは、2013年にGoogleのTomas Mikolovらが提案した、word2vecの2つのモデルです。どちらも、文章の中のある単語とその前後の単語を使った予測の課題を解き、その過程で単語のベクトル（分散表現）を学びます。違いは、予測の向きにあります。

CBOW

CBOW（Continuous Bag-of-Words）は、前後の単語から真ん中の単語を当てます。「今日は＿が降った」の空欄を、前後の語から推測するイメージです。周辺の単語のベクトルを平均して1つにまとめてから予測するので、並び順は区別しません。名前のBag-of-Wordsは、この性質を表しています。

中心の単語1つにつき予測は1回で済むため、学習が速く進みます。論文で同じデータと次元数（300次元）を使って比べたとき、CBOWの学習は約1日で終わりました。

スキップグラム

スキップグラムは、逆に真ん中の1語から、前後の単語を1語ずつ当てます。「雨」から、近くに現れやすい「降る」「傘」を当てるイメージです。周辺の単語の数だけ予測を繰り返すので計算量が大きくなり、同じ比較での学習時間は約3日でした。

その代わり、得られるベクトルの質に違いが出ます。論文が640次元のベクトルで比べた結果では、国と首都のような意味的な関係を問う類推の正解率は、スキップグラムが55%、CBOWが24%でした。一方、文法的な関係の類推では、CBOWが64%、スキップグラムが59%と、CBOWがやや上回っています。

共通点

どちらも、非線形の隠れ層をもたない浅いモデルです。論文は、計算の大部分を占める非線形の隠れ層を取り除くことで、大量の文章から効率よく学習できるようにしました。また、どちらも1つの単語に1つのベクトルを割り当てます。そのため、多義語を文脈に応じて区別することはできません。