1行定義
正解率・適合率・再現率・F値とは、混同行列の4つの件数から計算する、分類モデルの予測の良さを表す代表的な評価指標のことです。
くわしく
正解率・適合率・再現率・F値は、分類モデルの予測がどれだけ良いかを数値で表す指標です。どれも混同行列の4つの件数から計算します。陽性は見つけたいほうのクラス(たとえば不良品)です。TP・FP・FN・TNは、それぞれ真陽性・偽陽性(誤検知)・偽陰性(見逃し)・真陰性の件数です。
4つの式
正解率 = (TP + TN) / (TP + FP + FN + TN):全データのうち、予測が当たった割合適合率 = TP / (TP + FP):陽性と予測したもののうち、実際に陽性だった割合再現率 = TP / (TP + FN):実際の陽性のうち、陽性と予測できた割合F値 = 2 × 適合率 × 再現率 / (適合率 + 再現率):適合率と再現率の調和平均
正解率だけでは足りない理由
1,000件のうち不良品が10件しかないデータで、すべてを良品と予測するモデルを考えます。正解率は99%ですが、不良品は1件も見つけていないので、再現率は0です。陽性と陰性の件数に大きな差がある不均衡なデータでは、正解率だけで判断すると見誤ります。
適合率と再現率の使い分け
適合率は「陽性と言ったときにどれだけ外さないか」、再現率は「実際の陽性をどれだけ取りこぼさないか」を表します。陽性と判定する基準(閾値)を厳しくすると、適合率は上がりやすく、再現率は下がりやすくなります。両者はトレードオフの関係にあります。
病気の検査のように見逃しが重大な場面では、再現率を重視します。迷惑メールの判定のように、普通のメールを誤って隔離すると困る場面では、適合率を重視します。どちらも同じくらい大事なときはF値を使います。調和平均なので、片方だけが高くてもF値は高くなりません。
日本語の「精度」は、正解率と適合率のどちらを指す場合もあるので、文脈で確かめます。再現率は、感度や真陽性率とも呼ばれます。
覚え方
「適合率は予測した側から、再現率は実際の側から見た当たりの割合」と覚えます。
G検定での出題
出題のされ方
混同行列の件数から各指標を計算させる形のほか、不均衡なデータで正解率だけでは判断できない理由や、見逃しと誤検知のどちらを避けたいかに応じた指標の選び方が問われます。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| 正解率・適合率・再現率・F値このページの用語 | 混同行列の4つの件数から計算する、分類モデルの予測の良さを表す代表的な評価指標 |
| ROC曲線・AUC | 閾値を動かしながら真陽性率と偽陽性率の関係を描いた曲線と、その下側の面積を使って、陽性と陰性を見分ける力を評価する方法 |
違いを表で比べる
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
分類の閾値を動かすと、適合率と再現率は、一方が上がるともう一方が下がりやすいトレードオフの関係にある。
答えを見る
答え ◯ 正しい
閾値を上げて慎重に陽性と判定すると誤検知が減って適合率は上がりやすい一方、見逃しが増えて再現率は下がりやすくなります。
-
F値は、適合率と再現率を足して2で割った算術平均である。
答えを見る
答え × 誤り
F値は調和平均です。適合率1.0、再現率0.1なら算術平均は0.55ですが、F値は約0.18と低くなります。
-
病気の検査のように陽性の見逃しを特に避けたい場面では、適合率よりも再現率を重視することが多い。
答えを見る
答え ◯ 正しい
見逃し(偽陰性)が減るほど再現率は上がります。誤検知を避けたい場面では、逆に適合率を重視します。