AIシステムに対する攻撃の事例として、次の3つがある。(ア)正常に学習された画像認識モデルには手を加えず、道路標識に人には落書き程度に見える細工をして、別の標識と誤認識させる。(イ)Webから自動収集される学習データに、誤ったラベルを付けた画像を大量に紛れ込ませ、再学習後のモデルの判断をゆがめる。(ウ)有料の画像分類APIに大量の画像を送り、返ってきた予測結果を教師データにして、元のモデルとほぼ同じ働きをするモデルを作る。(ア)〜(ウ)と攻撃の名称の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点:AIへの攻撃手法の区別
ポイント
AIへの攻撃は、学習時と推論時のどちらに仕掛けるか、何を狙うかで区別すると整理しやすくなります。
選択肢ごとの解説
- A
適切 正解
(ア)は推論時の入力に細工するAdversarial Examples、(イ)は学習データに不正なデータを混ぜるデータ汚染、(ウ)はAPIの入出力から複製モデルを作るモデル窃取です。攻撃する段階と狙う対象で区別できます。
- B
不適切
(ア)は学習データではなく、推論時に入力する画像そのものに細工しています。一方、(イ)は学習データを汚す攻撃です。攻撃が学習時か推論時かを取り違えた組み合わせです。
- C
不適切
モデル窃取は、モデルの入出力などから機能を複製する攻撃で、(ウ)が該当します。(イ)は学習データへの混入なのでデータ汚染です。(イ)と(ウ)が入れ替わっています。
- D
不適切
モデル汚染は、配布される学習済みモデルなどに細工を仕込む攻撃ですが、(ア)ではモデルに手を加えていません。データ窃取は学習データの情報を盗み出す攻撃で、(ウ)はモデルの機能を複製しています。
補足
AI事業者ガイドラインの別添では、Adversarial Examplesを入力して誤認識させる攻撃を「回避攻撃」、APIの入出力などからモデルを複製する攻撃を「モデル抽出攻撃」と呼んでいます。資料によって呼び方が異なるため、攻撃の段階と対象で中身を確かめると混同を防げます。
試験での狙われ方
具体的な事例を示し、Adversarial Examples、データ汚染、モデル窃取などの名称と対応づけさせる形で問われやすい論点です。
参考
- G検定 試験出題範囲(シラバス2024)第1.4版 (法律・倫理分野 項目11 安全性とセキュリティ)
- 総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添」(2026年3月31日) (別添3 表7 機械学習利用システムの被害と脅威の例)
- Szegedy et al., Intriguing properties of neural networks (2013)
- Tramèr et al., Stealing Machine Learning Models via Prediction APIs (2016)