ROC曲線・AUCとは

ROC曲線とAUCは、二値分類モデルが陽性と陰性をどれだけうまく見分けられるかを、閾値を1つに決めずに評価する方法です。ROCはreceiver operating characteristic（受信者操作特性）の略です。

ROC曲線の描き方

多くの分類モデルは、データごとに「陽性らしさ」を表すスコアや確率を出力します。スコアが閾値以上なら陽性と判定します。閾値を少しずつ動かしながら、そのたびに次の2つを計算して点を打ち、つないだものがROC曲線です。

• 縦軸：真陽性率 TP / (TP + FN)。実際の陽性のうち、陽性と判定できた割合で、再現率と同じです。
• 横軸：偽陽性率 FP / (FP + TN)。実際の陰性のうち、誤って陽性と判定した割合です。

左上の角は、偽陽性を出さずにすべての陽性を見つける理想の点です。曲線が左上に張り出しているほど、良いモデルです。でたらめに予測すると、曲線は左下と右上を結ぶ対角線に近くなります。

AUCの意味

AUC（area under the curve）は、ROC曲線の下側の面積です。0から1の値をとり、1は完全に見分けられるモデル、0.5はでたらめな予測と同じ水準を表します。AUCは「陽性と陰性のデータを1件ずつ無作為に選んだとき、モデルが陽性のほうに高いスコアをつける確率」とも解釈できます。順位づけの正しさを表す指標です。

閾値をどこに置くかに左右されないので、モデルどうしを比べるのに便利です。縦軸も横軸も、実際の陽性・陰性それぞれの中での割合なので、クラスの比率が変わっても曲線の形は変わりにくい性質があります。ただし、陽性が極端に少ない場合は、適合率と再現率で描くPR曲線もあわせて確認することがあります。運用するときは、AUCとは別に、業務に合った閾値を決めます。

覚え方

「ROCは左上ほど良く、AUCは1に近いほど良い。0.5はくじ引き並み」と覚えます。