ある通信会社のFAQ検索では、問い合わせ文とFAQの各質問文から形態素解析で名詞を取り出し、TF-IDFで重み付けしたベクトルで表して、コサイン類似度の高い順にFAQを表示している。「退会したい」と入力しても、「解約の方法を知りたい」というFAQが上位に表示されない。この原因と改善策の説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：同義語を含む文の類似度計算
ポイント
TF-IDFやBoWのベクトルでは表記の異なる同義語が別々の次元になるため、意味が近くても類似度に反映されません。
選択肢ごとの解説
- A
不適切
出現回数だけにしても、2つの文に共通する名詞がない以上、ベクトルの内積は0で、類似度も0のままです。重み付けの方法を変えても、単語が一致しないという原因は解消しません。
- B
適切 正解
TF-IDFのベクトルは単語ごとに別々の次元をもつため、「退会」と「解約」のように表記の違う同義語は重なりません。分散表現では意味の近い語が近いベクトルになり、同義語の近さを類似度に反映できます。
- C
不適切
コサイン類似度はベクトルの長さで割るため、文の長さの影響をむしろ受けにくい指標です。同義語が別の次元になるという問題は、ユークリッド距離に変えても解消しません。
- D
不適切
語順を特徴に加えても、もともと共通する単語がないため、一致する特徴は増えません。この場面の原因は語順ではなく、同義語が別々の単語として扱われる点にあります。
試験での狙われ方
BoWやTF-IDFと分散表現は、語順の扱いと同義語の扱いの2つの観点で比べておくと、場面を問う選択肢を判断しやすくなります。