あるECサイトが、問い合わせ分類モデルの運用を監視している。学習データにおける問い合わせのカテゴリの割合をQ、今月の問い合わせのカテゴリの割合をPとし、KL情報量KL(P‖Q) = Σ P(x) log(P(x) / Q(x))で分布のずれを測る。この方法に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：KL情報量による分布の監視
ポイント
KL情報量は0以上で、分布が一致するときだけ0になります。上限はなく、Qで確率0のカテゴリがPに現れると無限大になります。
選択肢ごとの解説
- A
適切
すべてのカテゴリでP(x) = Q(x)なら、log(P(x) / Q(x)) = log 1 = 0となり、すべての項が0になります。KL情報量は、2つの分布が一致するときだけ0になり、それ以外では正の値をとります。
- B
適切
P(x)が正でQ(x)が0のカテゴリでは、log(P(x) / Q(x))が無限大になり、KL情報量全体も無限大になります。実務では、すべてのカテゴリの件数に小さな値を足してから割合を計算し直す平滑化などで対処します。
- C
不適切 正解
KL情報量に上限はありません。学習データではまれだったカテゴリが今月は大半を占めるような場合、値はいくらでも大きくなりえます。0から1の範囲を前提に、しきい値や解釈を決めるのは誤りです。
- D
適切
KL(P‖Q)は、Pの確率で重みを付けてlog(P / Q)を平均した量です。PとQを入れ替えると重みの付け方が変わり、一般に値も変わります。監視の指標にするなら、向きを固定して比べます。
試験での狙われ方
KL情報量の性質（0以上、非対称、上限がない）を、分布の比較やVAEの損失などの場面と結びつけて問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目13 誤差関数）
- Kullback, Leibler, On Information and Sufficiency (1951)
- Goodfellow, Bengio, Courville, Deep Learning (2016) （3.13 Information Theory）