ある製造業者が、設備のセンサーデータから故障の予兆を検知する二値分類モデルを2つ作った。評価用データでのAUCは、モデルAが0.93、モデルBが0.90であった。一方、偽陽性率が1%となる閾値での真陽性率は、モデルAが40%、モデルBが60%であった。誤報が多いと現場が対応しきれないため、運用では偽陽性率を1%以下に抑える必要がある。モデル選択の判断として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：AUCと運用条件でのモデル比較
ポイント
AUCは全閾値をまとめた指標です。偽陽性率などの運用条件が決まっているときは、その条件での真陽性率でモデルを比べます。
選択肢ごとの解説
- A
不適切
AUCはすべての閾値での性能を面積にまとめた値です。2つのROC曲線が交差すると、AUCが高いモデルでも一部の範囲では真陽性率が低くなります。この例では偽陽性率1%の点でAのほうが低くなっています。
- B
適切 正解
偽陽性率を1%以下に抑える条件では、偽陽性率1%の点での真陽性率がそのモデルで達成できる最大の値です。Bは60%、Aは40%なので、同じ誤報の水準でBのほうが多くの予兆を検知できます。
- C
不適切
閾値を変えても、そのモデルのROC曲線の上を動くだけです。偽陽性率1%での真陽性率は曲線で決まっており、Aは40%を超えられません。真陽性率を上げるには、偽陽性率が上がることを受け入れる必要があります。
- D
不適切
誤報は偽陽性で、その割合が偽陽性率です。偽陽性率1%の点では、両モデルの誤報の割合は同じです。真陽性率が低いことは、実際の故障の予兆をより多く見逃すことを意味します。
補足
閾値を下げると、真陽性率と偽陽性率はどちらも下がりません。そのため、ROC曲線は左下の(0, 0)から右上の(1, 1)へ、上か右にしか進みません。偽陽性率を1%以下に抑える条件で真陽性率が最も高くなるのは、偽陽性率がちょうど1%の点です。偽陽性率が一定以下の範囲に限って曲線の下の面積を比べる、部分AUCという考え方もあります。
試験での狙われ方
ROC曲線の縦軸・横軸の意味と、AUCが閾値によらない要約の指標であることを、モデル比較の場面で問う形が典型的です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目10 モデルの選択・評価）
- Fawcett, An introduction to ROC analysis (2006) （7. Area under an ROC curve (AUC)）
- scikit-learn User Guide 3.4 Metrics and scoring: quantifying the quality of predictions （Receiver operating characteristic (ROC)）