スキップグラムとは

スキップグラム（skip-gram）は、2013年にGoogleのTomas Mikolovらが提案した、word2vecの2つのモデルのうちの1つです。もう1つのCBOWとは、予測の向きが逆の関係にあります。

1語から周りを当てる

スキップグラムは、文章中の1つの単語（中心語）を見て、その前後に現れる単語（周辺語）を当てる課題を解きます。「雨」という語から、近くに出やすい「降る」「傘」「天気」などを当てるイメージです。この予測がうまくいくように学習すると、似た周辺語をもつ単語どうし、たとえば「雨」と「雪」が近いベクトルになります。

しくみ

中心語のベクトルから、決めた範囲（ウィンドウ）内の周辺語を1語ずつ予測します。ウィンドウを広げるとベクトルの質は上がりますが、予測の回数が増えて計算量も増えます。論文では、遠い語ほど中心語との関係が薄いと考え、遠い語を少なめに使って重みを下げています。

同じ年の続く論文では、さらに2つの工夫が加わりました。1つは、語彙全体から正解を選ぶ代わりに、本物の周辺語と、ランダムに選んだ少数の単語とを見分ける課題に置き換えるネガティブサンプリングです。もう1つは、「the」のような頻出語ほど高い確率で学習データから間引くサブサンプリングで、学習が2〜10倍ほど速くなりました。

CBOWとの違い

CBOWは周辺語の集まりから中心語を1回で予測します。スキップグラムは周辺語の数だけ予測を繰り返すため、学習に時間がかかります。一方、word2vecの論文の比較では、意味的な関係を問う類推の課題で、CBOWより高い正解率を示しました。単語を文字n-gramに分けて未知語に対応したfastTextも、スキップグラムを土台にしています。

覚え方

「スキップグラムは真ん中の1語から、周りの語を1つずつ当てる」と覚えます。