ある保険会社が、保険金請求ごとに不正らしさのスコアを出す二値分類モデルを作り、評価用の請求500件で試した。うち不正は100件、正常は400件である。ある閾値で判定したところ、不正100件のうち90件と、正常400件のうち60件を不正と判定した。不正を陽性とするとき、この閾値に対応するROC曲線上の点を（横軸の値、縦軸の値）で表したものとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：混同行列とROC曲線上の点
ポイント
ROC曲線の横軸は偽陽性率、縦軸は真陽性率（再現率）です。分母はそれぞれ実際の陰性の件数と実際の陽性の件数です。
選択肢ごとの解説
- A
適切 正解
ROC曲線の横軸は偽陽性率、縦軸は真陽性率です。偽陽性率は
FP÷(FP+TN) = 60÷400 = 0.15、真陽性率はTP÷(TP+FN) = 90÷100 = 0.90なので、点は(0.15, 0.90)です。 - B
不適切
横軸と縦軸を入れ替えた誤りです。ROC曲線は横軸に偽陽性率0.15、縦軸に真陽性率0.90をとります。性能のよい閾値ほど、点は左上に寄ります。
- C
不適切
横軸に特異度（真陰性率）
340÷400 = 0.85を使った誤りです。ROC曲線の横軸は、正常のうち誤って不正と判定した割合である偽陽性率1−0.85 = 0.15です。 - D
不適切
縦軸に適合率
90÷(90+60) = 0.60を使った誤りです。適合率を軸に使うのはPR曲線です。ROC曲線の縦軸は、不正のうち検出できた割合である真陽性率0.90です。
試験での狙われ方
混同行列の件数から偽陽性率と真陽性率を求めさせ、軸の取り違えや、適合率・特異度との混同を誘う形が考えられます。