Permutation Importanceとは

Permutation Importanceは、モデルがどの特徴量に頼って予測しているかを、モデル全体について調べる手法です。もとになった考え方は、2001年にBreimanがランダムフォレストの論文で示しました。のちに、どの種類のモデルにも使える方法として整理されています。

考え方

ある特徴量の値だけをデータの間でシャッフルすると、その特徴量と正解との対応が崩れます。モデルがその特徴量に強く頼っていれば、予測は大きく外れるようになります。頼っていなければ、性能はほとんど変わりません。料理の材料を1つだけすり替え、味の落ち方でその材料の大切さを測るようなものです。

計算例

検証データでの正解率が0.90のモデルがあるとします。

• 「年齢」の列だけを並べ替えると、正解率は0.72になりました。重要度は 0.90 - 0.72 = 0.18 です。
• 「地域」の列では0.86になりました。重要度は 0.90 - 0.86 = 0.04 です。
• 「会員番号」の列では0.90のままでした。重要度は 0.90 - 0.90 = 0 です。

このモデルは年齢に最も頼っています。並べ替えは乱数に左右されるため、実際には何回か繰り返して平均します。

特徴と注意点

性能を測り直すだけなので再学習は要らず、モデルの種類も問いません。一方で、次の点に注意が必要です。

• 検証データやテストデータで計算するのが基本です。学習データでは、過学習で覚えた特徴量も重要に見えます。
• 相関の強い特徴量があると、互いに情報を補い合い、どちらも重要度が低く出ることがあります。
• 示されるのは、そのモデルにとっての重要さです。原因と結果の関係ではありません。

LIME・SHAPとの違い

LIMEやSHAPは、1件ごとの予測の理由を説明する局所的な手法です。Permutation Importanceは、データ全体での性能の変化を見る大域的な手法で、性能を測るために正解ラベル付きのデータを使います。