ニューラルネットワークの学習で用いられる誤差関数や、確率分布の違いを測るカルバック・ライブラー情報量（以下、KL情報量）に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：交差エントロピーとKL情報量
ポイント
KL情報量は2つの分布の違いを測りますが、入れ替えると値が変わる非対称な量です。厳密な意味での距離ではありません。
選択肢ごとの解説
- A
適切
差を二乗するため正負の誤差が打ち消し合わず、大きな誤差ほど強く罰せられます。連続値を予測する回帰問題で基本となる誤差関数です。
- B
適切
正解がワンホット表現のとき、交差エントロピーは正解クラスの予測確率pを使って−log pになります。pが1に近いほど0に近づき、0に近づくほど急激に大きくなります。
- C
適切
交差エントロピーは「正解の分布のエントロピー＋KL情報量」に分解できます。正解の分布が固定ならエントロピーは定数なので、2つの最小化は同じ意味になります。
- D
不適切 正解
KL情報量は0以上の値をとり、2つの分布が一致するとき0になります。ただし分布PとQを入れ替えると一般に値が変わる非対称な量で、厳密な意味での距離ではありません。
試験での狙われ方
誤差関数と課題（回帰か分類か）の対応や、KL情報量の性質（0以上・非対称）を問う形がよく見られます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目13 誤差関数）
- Kullback, Leibler, On Information and Sufficiency (1951)
- Goodfellow, Bengio, Courville, Deep Learning (2016) （3.13 Information Theory）