TF-IDFとは

TF-IDFは、ある文書の中でどの単語が大切かを数値で表す方法です。文書の検索や、記事のキーワードの抽出に使われてきました。

2つの値の掛け算

TF（Term Frequency）は、その単語が文書の中に何回現れるかを表します。多く使われる単語ほど、その文書の話題との関係が深いと考えます。文書の総単語数で割って、長さの影響をならすこともあります。

IDF（Inverse Document Frequency）は、その単語を含む文書の少なさを表します。全文書数をN、その単語を含む文書数をdfとすると、IDF = log(N ÷ df)です。どの文書にも出る「の」「する」などはIDFが小さく、一部の文書にしか出ない専門用語は大きくなります。

2つを掛けたTF-IDF = TF × IDFが単語の重みです。その文書ではよく使われ、ほかの文書ではあまり使われない語ほど大きくなります。

小さな計算例

文書が1,000件あり、対数の底を10とします。1件にしか現れない語AのIDFはlog10(1000 ÷ 1) = 3、100件に現れる語Bはlog10(1000 ÷ 100) = 1、全件に現れる語Cはlog10(1) = 0です。ある文書でAが2回、Bが6回、Cが20回現れると、TF-IDFはAが2 × 3 = 6、Bが6 × 1 = 6、Cが20 × 0 = 0です。回数の少ないAも、めずらしさのおかげでBと同じ重みになります。

位置づけと限界

TF-IDFは、BoWの出現回数に重みを掛け直したものなので、語順の情報は持ちません。「料金」と「価格」のような同義語も別の単語として扱い、意味の近さは反映されません。これらは、n-gramや分散表現などで補います。

IDFの考え方は、1972年にKaren Spärck Jonesが発表した論文にさかのぼります。式には、対数の底を変える、分母に1を足すなどの変種があります。

覚え方

「その文書でよく出て、ほかではあまり出ない語が主役」と覚えます。