ある書店チェーンが、問い合わせ文を「在庫」「配送」「返品」「その他」の4クラスに分類するモデルを比べている。ある問い合わせの正解は「在庫」で、ワンホットベクトル(1, 0, 0, 0)で表す。モデルXの出力は(0.7, 0.1, 0.1, 0.1)、モデルYの出力は(0.7, 0.2, 0.05, 0.05)であった。この1件に対する交差エントロピーと平均二乗誤差関数（4つの出力の誤差の二乗の平均）の比較として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：正解以外の確率と損失の関係
ポイント
正解がワンホットベクトルのとき、交差エントロピーは正解クラスの予測確率だけで決まります。平均二乗誤差関数は、不正解クラスへの確率の配分も反映します。
選択肢ごとの解説
- A
不適切
交差エントロピーは等しくなります。しかし平均二乗誤差関数は、不正解クラスの出力も計算に入れます。モデルYは「配送」に0.2を集めているため誤差の二乗が大きくなり、モデルXと等しくはなりません。
- B
適切 正解
交差エントロピーは正解クラスの確率だけで決まり、どちらも−log 0.7です。平均二乗誤差関数は、モデルXが（0.09 + 0.01 × 3）÷ 4 = 0.03、モデルYが（0.09 + 0.04 + 0.0025 × 2）÷ 4 = 0.03375で、モデルYのほうが大きくなります。
- C
不適切
交差エントロピーでは、正解ラベルが0のクラスの項は0が掛かって消えます。不正解クラスへの確率の配分は値に影響しないため、正解クラスの確率が同じ0.7なら差はつきません。
- D
不適切
不正解クラスへの確率を「配送」に偏らせたモデルYは、平均二乗誤差関数では不利になります。しかし交差エントロピーは正解クラスの確率0.7だけを見るため、2つのモデルで値は同じです。
補足
4クラスの交差エントロピーは−(t1 log y1 + t2 log y2 + t3 log y3 + t4 log y4)です。正解が(1, 0, 0, 0)なら2〜4番目の項は消え、−log y1だけが残ります。y1 = 0.7なら約0.36です（自然対数）。ただし、ソフトマックス関数と組み合わせた学習では、勾配が不正解クラスの出力も下げる向きに働きます。不正解クラスの間での配分が損失の値に表れないだけで、不正解クラスが学習で無視されるわけではありません。
試験での狙われ方
交差エントロピーの式で、正解ラベルが0のクラスの項が消えることを、具体的な出力の値で確かめさせる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目13 誤差関数）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （6.2.1.1 Learning Conditional Distributions with Maximum Likelihood、6.2.2.3 Softmax Units for Multinoulli Output Distributions）