ある部品メーカーが、CNNで部品の画像を良品と不良品に分類するモデルを作った。テストデータでの正解率は高かったが、Grad-CAMで判断根拠を可視化すると、不良品と判定した画像の多くで、部品ではなく画像の隅に写った検査台の印に強く反応していた。この結果を受けた対応として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：Grad-CAMによるモデルの検証
ポイント
XAIの可視化は、モデルがデータの偏りを手がかりにしていないかを確かめる手段です。正解率が高くても根拠の確認は欠かせません。
選択肢ごとの解説
- A
適切 正解
モデルが部品そのものではなく、データの偏りから生じた手がかりで判断している疑いがあります。テストデータも同じ偏りを含めば正解率は高く出るため、データの集め方を見直すことが先決です。
- B
不適切
テストデータが学習データと同じ条件で集められていれば、印を手がかりにしても正解率は高くなります。印の写らない環境で撮影する本番では、精度が大きく下がるおそれがあります。
- C
不適切
Grad-CAMが示すのは、モデルが予測に使った画像上の領域です。モデルはデータ中の相関を学んでいるだけなので、注目した対象が現実の不良の原因であるとは限りません。
- D
不適切
Grad-CAMは、学習済みモデルの判断を後から可視化する手法です。ヒートマップの値を加工しても表示が変わるだけで、モデルの予測そのものは変わりません。
試験での狙われ方
可視化の結果からデータの偏りや見かけの相関に気づき、どう対応するかを問う事例形式で問われることがあります。