データ窃取とは

データ窃取は、AIにかかわるデータを不正に手に入れる攻撃です。学習データには、顧客の情報や医療の記録など、秘密にすべきものが多く含まれます。

2つの経路

1つは従来型の攻撃です。サーバーへの不正アクセスや、内部の関係者による持ち出しによって、データそのものを盗みます。

もう1つは機械学習特有の攻撃です。学習済みモデルは学習データの特徴を取り込んでいるため、問い合わせと出力の観察だけで、学習データの情報を引き出せることがあります。AI事業者ガイドラインの別添は、これを「訓練用データに関する情報漏洩攻撃」と呼び、機密性を侵害する脅威に挙げています。

機械学習特有の主な手口

• メンバーシップ推論攻撃：あるデータが学習に使われたかどうかを、出力の確信度などから推測します。特定の病気の患者のデータで学習したモデルなら、ある人がその病気の患者であることが漏れます。
• モデルインバージョン攻撃：出力を手がかりに、学習データに近い入力を復元します。2015年には、顔認識モデルの確信度から、学習に使われた人物だと見分けられる顔画像を復元できることが示されました。
• 学習データの抽出：生成AIに学習データをそのまま出力させます。2021年の研究では、GPT-2から学習データの文章が数百件そのまま取り出され、公開されていた氏名や電話番号なども含まれていました。

生成AIを社内文書とつないだシステムでは、細工した指示（プロンプトインジェクション）で、本来見せない情報を出力させる手口もあります。

モデル窃取との違い

モデル窃取はモデルの働きを写し取る攻撃で、データ窃取はデータを狙う攻撃です。どちらも機密性の侵害ですが、盗む対象が違います。

対策

アクセス制御や暗号化などの従来の対策に加え、過学習の抑制、出力する確信度などの情報の制限、差分プライバシーなどのプライバシー保護学習が有効です。学習データから不要な個人情報を除くことも基本です。