ある家電メーカーが、スマートフォンで動く画像分類モデルを作るため、大きな教師モデルの知識を小さな生徒モデルに移す蒸留を行う。生徒モデルの学習には、正解ラベル（ハードターゲット）に加えて、教師モデルが出力する各クラスの確率（ソフトターゲット）を使う。ソフトターゲットに関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：蒸留におけるソフトターゲット
ポイント
蒸留では、教師モデルが正解以外のクラスに与えた確率から、クラスどうしの似ている度合いも生徒モデルに伝わります。
選択肢ごとの解説
- A
適切 正解
例えば猫の画像に対し、教師モデルが犬に少し、自動車にはごくわずかな確率を与えれば、猫は犬に似ているという情報が伝わります。正解ラベルだけでは得られないこの情報が、蒸留の効果の源です。
- B
不適切
温度を1より大きくすると分布がなだらかになり、小さな確率の違いが見えやすくなります。1より小さくすると分布は鋭くなり、最も確率の高いクラスだけが目立ちます。蒸留では高い温度でソフトターゲットを作ります。
- C
不適切
重みを取り除いてパラメータを減らすのはプルーニングです。蒸留では、生徒モデルの大きさは最初に設計した構造で決まり、ソフトターゲットはその学習の目標として使われます。
- D
不適切
標準的な蒸留では、データに対する教師モデルの出力をそのまま目標にするため、教師の誤りも生徒に伝わりえます。正解ラベルが使える場合は、正解ラベルとの誤差も併せて学習すると性能が上がります。
試験での狙われ方
ソフトターゲットと温度の関係や、プルーニング・量子化といったほかの軽量化手法との違いを問う形が考えられます。