モデル汚染とは

モデル汚染（モデルポイズニング）は、AIモデルの重みそのものに細工をして、振る舞いを攻撃者の思いどおりに変える攻撃です。データ汚染が学習データを汚すのに対し、モデル汚染は、できあがったモデルや学習途中のモデルの更新を直接汚します。推論時の入力に細工するAdversarial Examplesとも、仕掛ける対象が異なります。

なぜ狙われるのか

現在のAI開発では、事前学習済みのモデルを入手し、自社のデータでファインチューニングして使うことが一般的です。その分、モデルの作成者や配布元を信頼することになります。AI事業者ガイドラインの別添は、典型的な手法として事前学習モデルへのバックドアの設置を挙げています。攻撃者の例には、外部の攻撃者だけでなく、AIモデルの提供者も含まれています。

主な手口

• バックドアの埋め込み：特定の合図（トリガー）を含む入力のときだけ、攻撃者が決めた出力をするようにモデルを作り込み、配布します。通常の入力では正しく動くため、精度の評価だけでは気づきにくくなります。2020年には、事前学習済みの言語モデルの重みに仕込んだバックドアが、ファインチューニング後も働きうることが示されました。
• 連合学習での不正な更新：連合学習では、複数の参加者が手元のデータで学習し、更新だけを集めて1つのモデルを作ります。悪意のある参加者が細工した更新を送れば、全体のモデルにバックドアを仕込めることが示されています。

運用時にトリガー入りの入力でバックドアを発動させる行為は、ガイドラインでは「汚染モデルの悪用」として別に整理されています。

対策

ガイドラインの別添は、モデルの学習・提供プロセスの信頼性の確認、ポイズニングの検知技術の利用、ポイズニングの除去・軽減などを挙げています。実務では、信頼できる配布元から入手し、ファイルの改ざんの有無を確かめ、トリガーの有無も含めて挙動を検証します。