LIMEとは

LIMEは、2016年にRibeiroらが発表した説明可能AI（XAI）の手法です。名前は「Local Interpretable Model-agnostic Explanations」の頭文字で、「局所的で、解釈しやすく、モデルを問わない説明」を意味します。

考え方

複雑なモデルの判断の境目は、全体としては曲がりくねっています。しかし、ある1点のごく近くだけを見れば、ほぼ直線とみなせます。LIMEはこの性質を利用し、説明したい1件の周辺だけを、人が読み取れる単純なモデルで近似します。

手順

1. 説明したい1件の入力を少しずつ変えたデータを多数作ります。表形式のデータなら特徴量の値を変え、文章なら単語を取り除き、画像ならスーパーピクセル（似た色の画素のまとまり）を隠します。
2. 作ったデータを説明対象のモデルに入力し、予測を集めます。
3. 元の1件に近いデータほど重みを大きくして、線形モデルなどの単純なモデルを当てはめます。
4. 単純なモデルの係数を、各特徴量が予測をどちら向きにどれだけ動かしたかの説明として示します。

モデルを外から呼び出すだけなので、ニューラルネットワークにも、決定木を組み合わせたモデルにも使えます。

何に役立つか

論文では、背景に雪があればオオカミ、なければハスキー犬と判定する分類器をわざと作りました。雪が手がかりだと気づいた参加者は、説明を見る前は27人中12人、LIMEの説明を見た後は25人でした。精度だけでは見えない弱点の発見に役立ちます。

他の手法との違い

LIMEの説明は、その1件の周辺でだけ成り立ちます。データ全体での特徴量の重要度を知りたいときは、Permutation Importanceなどの大域的な手法を使います。SHAPも1件ごとの説明を作りますが、シャープレイ値という理論的な裏付けを持つ点が異なります。

覚え方

「足元だけ見れば、曲がった道もまっすぐ」と覚えます。