G検定 練習問題 #0098・AIに必要な数理・統計知識

距離・類似度指標の使い分け

AIに必要な数理・統計知識 › AIに必要な数理・統計知識 組合せ 難易度 標準

次の(ア)(イ)の場面で用いる指標の組み合わせとして、最も適切なものを1つ選べ。(ア)ニュース記事を、単語の出現回数を並べたベクトルで表し、記事の長さに左右されずに話題の近い記事を探す。(イ)互いに相関のある温度と圧力のセンサー値について、ばらつきと相関を考慮し、正常時のデータの中心からの離れ具合で異常を検知する。

正解と解説を見る

解説

正解 A

この問題の論点:距離・類似度指標の使い分け

ポイント

ベクトルの向きの近さはコサイン類似度で、ばらつきと相関を考慮した離れ具合はマハラノビス距離で測ります。

選択肢ごとの解説

  1. A

    適切 正解

    コサイン類似度は2つのベクトルのなす角だけを比べるため、記事の長さの違いに左右されません。マハラノビス距離は、変数ごとのばらつきと変数間の相関を考慮して、分布の中心からの離れ具合を測ります。

  2. B

    不適切

    (イ)は適切ですが、(ア)のユークリッド距離は成分の差をそのまま測ります。同じ話題でも長い記事ほど出現回数が大きくなり、短い記事との距離が大きく出てしまいます。

  3. C

    不適切

    (ア)は適切ですが、(イ)のユークリッド距離は変数ごとのばらつきや変数間の相関を考慮しません。相関のある変数では、よくある変動と本当に珍しい外れ方を区別しにくくなります。

  4. D

    不適切

    組み合わせが逆です。マハラノビス距離はデータの分布にもとづいて離れ具合を測る指標で、文書どうしの向きの比較には使いません。コサイン類似度は向きしか見ないため、中心からの離れ具合は測れません。

補足

記事X=(2, 1, 0)と、同じ話題で2倍の長さの記事Y=(4, 2, 0)を比べます。コサイン類似度は(2×4+1×2+0×0)÷(√5×√20)=10÷10=1で、向きは完全に一致します。一方、ユークリッド距離は√((4−2)²+(2−1)²+0²)=√5となり、0にはなりません。

試験での狙われ方

3つの距離・類似度の指標を、文書の類似度や異常検知などの場面と対応させる形が典型です。

表示設定

テーマ
文字の大きさ
問題演習