モデルの解釈性（シラバス 技術33）

なぜ説明が必要か

ディープラーニングは精度が高い一方、なぜその答えを出したのかが見えにくいブラックボックスです。融資の審査や医療の診断では、理由を示せないと利用者も担当者も納得できません。根拠を調べてみると、モデルが対象の物ではなく、背景や画像の透かし文字で判断していたと分かることもあります。予測の根拠を人が理解できる形で示す技術や研究をまとめて、説明可能AI(XAI)と呼びます。

2つの軸で整理する

手法の名前を覚える前に、次の2つの軸で整理すると区別しやすくなります。

• 説明の範囲：1件の予測の理由を示す局所的な説明か、モデル全体でどの特徴量が効いているかを示す大域的な説明か。
• 対象のモデル：特定の種類のモデル専用か、どんなモデルにも使えるか。

手法	対象	範囲	手がかり
CAM	特定の構造のCNN	局所	特徴マップと出力層の重み
Grad-CAM	幅広いCNN	局所	クラスの得点の勾配
LIME	どんなモデルでも	局所	入力を少し変えたときの出力
SHAP	どんなモデルでも	局所（集計で大域も）	シャープレイ値
Permutation Importance	どんなモデルでも	大域	並べ替えたときの性能の低下

画像の判断根拠をヒートマップで示す

CAMとGrad-CAMは、CNNが画像のどこを見て判断したかを色の濃淡で示します。

• CAM：最後の畳み込み層の特徴マップを、出力層の重みで足し合わせます。出力層の直前にGlobal Average Poolingがある構造が前提で、ほかのモデルに使うには構造を変えて学習し直す必要があります。
• Grad-CAM：予測したクラスの得点を特徴マップで微分した勾配から重みを求めます。構造を変えずに、多くのCNNに使えます。

どんなモデルにも使える手法

• LIME：説明したい1件の入力を少しずつ変えたデータを作り、元のモデルの出力を集めます。そのまわりだけで成り立つ線形モデルのような単純なモデルを当てはめ、効いた特徴量を示します。
• SHAP：その予測値が平均的な予測値からどれだけずれたかを、シャープレイ値を使って各特徴量の貢献度に公平に分けます。1件ごとの値を全データで集計すれば、モデル全体の傾向もつかめます。
• Permutation Importance：検証用データで1つの特徴量の値だけをシャッフルし、性能がどれだけ下がるかを測ります。大きく下がるほど重要な特徴量です。

説明を読むときの注意

これらは、モデルが何に反応したかを近似的に示すもので、現実の原因と結果の関係を示すものではありません。似た情報を持つ特徴量が複数あると、重要度が分散して小さく見えることもあります。