ある決済サービス会社が、取引ごとに不正利用らしさのスコアを出力する二値分類モデルを作り、評価用データでROC曲線を描いた。このモデルのROC曲線とAUCに関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：ROC曲線とAUCの読み方
ポイント
ROC曲線は、閾値を変えたときの偽陽性率と真陽性率の関係を描いた曲線で、その下側の面積がAUCです。
選択肢ごとの解説
- A
適切 正解
閾値を下げると陽性の判定が増え、縦軸の真陽性率も横軸の偽陽性率も上がります。すべてを陽性と判定すると、両方が1になる右上の点に達します。閾値を上げると、逆に左下の点(0, 0)へ向かいます。
- B
不適切
再現率と適合率で描くのはPR曲線（適合率-再現率曲線）です。ROC曲線の軸は偽陽性率と真陽性率で、左上に張り出すほど性能が高いと読みます。陽性がまれなデータでは、PR曲線もあわせて確認します。
- C
不適切
スコアの大小を逆にするとAUCは「1−元のAUC」になるため、0.5のままです。AUCが0.5なのはランダムに判定するのと同程度の性能で、すべてを正しく分類できるモデルのAUCは1.0です。
- D
不適切
AUCはROC曲線の下側の面積で、すべての閾値での性能を1つの数値にまとめた指標です。特定の閾値に依存しないため、閾値を決める前にモデルどうしを比べるのに使えます。
補足
偽陽性率は、実際は陰性のデータのうち、誤って陽性と判定した割合（FP÷(FP+TN)）です。真陽性率は、実際は陽性のデータのうち、正しく陽性と判定した割合（TP÷(TP+FN)）です。AUCは、ランダムに選んだ陽性のデータに、ランダムに選んだ陰性のデータより高いスコアをつける確率と解釈することもできます。
試験での狙われ方
ROC曲線の軸の組み合わせ、閾値を動かしたときの点の動き、AUCが0.5・1.0のときの意味を問う形が典型的です。PR曲線と取り違えないようにします。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目10 モデルの選択・評価）
- Fawcett, An introduction to ROC analysis (2006)