モデル窃取とは

モデル窃取は、AIモデルの中身を直接盗み出すのではなく、外から問い合わせることでモデルの働きを写し取る攻撃です。AI事業者ガイドラインの別添では「モデル抽出攻撃」と呼ばれています。

仕組み

画像分類や文章生成のAIは、Web APIとして公開されることが多くあります。攻撃者はAPIに大量の入力を送り、返ってきた予測結果を集めます。集めた入力と出力の組を教師データにして自分のモデルを学習させると、元のモデルとよく似た判断をするモデルができます。2016年には、機械学習をクラウドで提供するサービスを相手に、ロジスティック回帰、ニューラルネットワーク、決定木などのモデルをほぼ忠実に複製できることが示されました。予測結果に細かな確信度が含まれていると、複製はさらに容易になります。

なぜ問題か

高性能なモデルは、データの収集や計算に多くの費用をかけて作られた資産です。複製されれば、開発の成果がただで持ち出されたのと同じことになります。さらに、複製したモデルは次の攻撃の準備にも使われます。手元の複製モデルで敵対的サンプルを作ると、元のモデルも誤認識させやすいためです。

ほかの攻撃との違い

モデル窃取は、推論時の問い合わせを使い、モデルの機密性を狙う攻撃です。学習データに不正なデータを混ぜて判断をゆがめるデータ汚染とは、狙いも段階も異なります。学習に使われたデータの中身を推測して盗み出す攻撃は、データ窃取として区別します。

なお、大きなモデルの出力をまねて小さなモデルを学習させる蒸留は、モデルを軽くする正当な手法です。仕組みは似ていますが、権限のない他者のモデルを無断で写し取る点が窃取です。

対策

出力する情報を必要な範囲に絞る、問い合わせの回数や頻度を制限する、不自然な問い合わせのパターンを検知するといった対策を組み合わせます。