データ汚染とAdversarial Attackの違い

データ汚染とAdversarial Attackは、どちらもAIに誤った判断をさせる、機械学習に特有の攻撃です。違いは、攻撃者がどの段階で何に手を加えるかにあります。AI事業者ガイドラインの別添も、データポイズニング攻撃と回避攻撃を別の脅威として整理し、それぞれに対策を挙げています。

データ汚染

データ汚染（データポイズニング）は、学習データに不正なデータを紛れ込ませる攻撃です。Webから集めるデータや外部のデータセットが入り口になります。誤ったラベルのデータを混ぜれば、モデル全体の精度が下がります。特定の合図（トリガー）を含むデータに攻撃者の望むラベルを付けて混ぜれば、普段は正しく動き、合図があるときだけ誤るモデルができます。これをバックドア攻撃と呼びます。2017年のBadNetsの研究では、特定のシールを貼った一時停止の標識を、速度制限の標識と判定する分類器が作られました。

Adversarial Attack

Adversarial Attack（敵対的攻撃）は、学習済みのモデルはそのままにして、推論時の入力に細工する攻撃です。細工した入力をAdversarial Examples（敵対的サンプル）と呼びます。パンダの画像に人の目ではわからないノイズを加え、テナガザルと判定させた例が知られています。本物の一時停止の標識に白黒のシールを貼り、走行中の車から撮った映像でも誤認識させた研究もあります。ガイドラインの別添では回避攻撃と呼びます。

広い意味では、データ汚染を含む機械学習への攻撃全体を敵対的な攻撃と呼ぶこともあります。シラバスでは両者が別のキーワードなので、G検定では推論時の入力を細工する攻撃と読むのが自然です。

対策の違い

データ汚染には、データの収集元や加工の過程を確かめ、異常なデータを検知することが効きます。Adversarial Attackはきれいなデータで学習したモデルにも成立するため、データの管理だけでは防げません。敵対的サンプルを学習に加える敵対的学習、異常な入力の検知、問い合わせの回数や頻度の制限などを組み合わせます。