ILSVRCの画像分類部門では、モデルが確信度の高い順に5つのクラスを答え、その中に正解が含まれなければ誤りとするtop-5誤り率を主な指標とした。確信度が最も高い1つのクラスだけで判定する場合はtop-1誤り率という。あるモデルに10枚の画像を分類させたところ、正解のクラスの確信度の順位は、1位が5枚、2位が2枚、4位が1枚、7位が1枚、100位より下が1枚であった。このモデルのtop-1誤り率とtop-5誤り率の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：top-5誤り率の計算
ポイント
top-5誤り率は、確信度の上位5つに正解が含まれなかった画像の割合です。top-1誤り率より条件が緩く、値は同じか小さくなります。
選択肢ごとの解説
- A
適切 正解
1位に正解があるのは5枚なので、top-1誤り率は（10−5）÷10＝50%です。上位5位以内に正解があるのは1位5枚・2位2枚・4位1枚の計8枚なので、top-5誤り率は（10−8）÷10＝20%です。
- B
不適切
80%は、上位5位以内に正解が含まれた割合（8÷10）で、top-5の正解率に当たります。誤り率は正解が含まれなかった割合なので、（10−8）÷10＝20%です。
- C
不適切
100位より下の1枚だけを誤りとすると10%になります。正解が7位だった画像も、上位5つの答えに正解を含まないため誤りに数えます。誤りは2枚で、top-5誤り率は20%です。
- D
不適切
2つの値を取り違えています。1位だけを見るtop-1のほうが条件が厳しいので、誤り率はtop-5と同じか大きくなります。top-1誤り率が50%、top-5誤り率が20%です。
補足
ILSVRCの画像分類部門では、1枚の画像に正解ラベルが1つだけ付いています。しかし画像には複数の物体が写っていることがあり、ラベルにない物体を答えただけで誤りとすると、評価があいまいになります。そこで5つまで答えることを認め、2012年以降はtop-5誤り率だけを順位の指標にしました。
試験での狙われ方
ILSVRCの評価指標について、top-1とtop-5の違いや、誤り率の求め方を問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目6 ディープラーニング）
- Russakovsky et al., ImageNet Large Scale Visual Recognition Challenge, IJCV (2015) （4.1 Image classification）