交差エントロピーとは

交差エントロピーは、分類モデルの「答えの外れ具合」を数値にしたものです。情報理論から生まれた量で、分類問題の誤差関数として最もよく使われます。交差エントロピー誤差とも呼ばれます。

式と意味

正解の分布をp、予測の分布をqとすると、H(p, q) = −Σ p(x) log q(x)です。分類問題では、正解ラベルを、正解クラスだけが1で残りが0のone-hotベクトルで表します。すると、和の中で残るのは正解クラスの項だけになり、−log（正解クラスの予測確率）になります。

たとえば正解が「猫」で、モデルが猫の確率を0.9と予測したら、値は−log 0.9 ≈ 0.11です。0.1と予測したら−log 0.1 ≈ 2.30になります（自然対数の場合）。正解に高い確率を付けるほど0に近づき、自信をもって外すほど急に大きくなります。

組み合わせる活性化関数

多クラス分類では、出力層のソフトマックス関数と組み合わせます。2値分類では、シグモイド関数の出力qと正解y（0か1）から−{y log q + (1 − y) log(1 − q)}を計算します。これを2値交差エントロピーと呼びます。どちらの組み合わせでも、出力層で活性化関数に入る前の値についての勾配が「予測 − 正解」という単純な形になり、学習が進みやすくなります。

回帰問題では、通常は平均二乗誤差関数を使います。

他の概念との関係

交差エントロピーを最小にすることは、モデルの尤度を最大にする最尤推定と同じ意味です。また、交差エントロピーは「正解の分布自身のエントロピー」と「KL情報量」の和に分けられます。正解の分布は学習中に変わらないので、交差エントロピーの最小化は、KL情報量の最小化と同じ意味になります。

覚え方

「正解に付けた確率の対数に、マイナスを付ける」と覚えます。