ブラックボックスとは

ブラックボックスは、もともと「中身の見えない黒い箱」を指す言葉です。AIの分野では、入力と出力はわかっても、その間の判断の過程を人が理解できない状態を指します。この状態から生じる問題を、ブラックボックス問題と呼びます。

なぜ中身が見えないのか

ディープラーニングのモデルは、数百万を超えるパラメータの組み合わせで出力を決めます。個々の数値は見られても、それらがどう組み合わさって「融資は不可」という結論になったのかを、人は追えません。多数の決定木を組み合わせたモデルも同様です。これに対し、線形回帰や浅い決定木のように判断の過程を読み取りやすいモデルを、ホワイトボックスと呼ぶことがあります。

何が問題になるのか

• 説明ができない：融資、採用、医療など、人に大きな影響を与える判断で、本人や関係者の納得を得にくくなります。
• 誤りや偏りに気づきにくい：精度が高く見えても、不適切な手がかりや差別的な傾向に頼っている場合があります。
• 責任の所在があいまいになる：事故や苦情が起きたとき、原因を突き止めにくくなります。

総務省・経済産業省のAI事業者ガイドラインは、別添でリスクの1つに「ブラックボックス化、判断に関する説明の不足」を挙げています。例に挙がっているのは、同じ年収でも女性の利用限度額が低いとSNSで指摘されたクレジットカードです。金融当局に求められても、企業はアルゴリズムの動作を説明できませんでした。

どう対応するか

同ガイドラインは「透明性」の指針に、判断根拠などのログを記録・保存して検証可能性を確保することや、説明可能性・解釈可能性を高めることを挙げています。技術面では次の対応があります。

• 精度が同程度なら、初めから解釈しやすいモデルを選ぶ。
• LIME、SHAP、Grad-CAMなどの説明可能AI（XAI）の手法で、判断根拠を後から示す。
• データの来歴を記録し、どのデータで学習したかを追えるようにする。