Adversarial Attackとは

Adversarial Attack（敵対的攻撃）は、AIモデルの弱点を突いて、誤った判断をさせる攻撃です。シラバスでは、攻撃に使う細工済みの入力であるAdversarial Examples（敵対的サンプル）と併記されています。

仕組み

画像認識モデルに入力する画像に、人の目ではほとんど見分けられない小さなノイズ（摂動）を加えます。人には元の画像と同じに見えますが、モデルはまったく別のクラスだと高い確信度で判断してしまいます。2013年にSzegedyらがこの現象を報告しました。2014年にはGoodfellowらが、パンダの画像にノイズを加えるとテナガザルと誤分類される例を示しました。Goodfellowらは、弱さの主な原因をモデルの線形的なふるまいに求め、ノイズを高速に作る手法（FGSM）も提案しています。

あるモデル向けに作った敵対的サンプルが、別のモデルもだますことがあります。この転移性があるため、モデルの中身を知らない攻撃者でも攻撃できる場合があります。道路標識にシールを貼るなど、現実の物体に細工する攻撃も報告されています。

ほかの攻撃との違い

ここでいう攻撃は、学習済みのモデルには手を加えず、推論時の入力を細工する点が特徴です。回避攻撃とも呼ばれます。学習データに不正なデータを混ぜるデータ汚染（データポイズニング）は、学習時の攻撃です。APIの出力をもとにモデルを複製するモデル窃取は、機密性を狙う攻撃です。また、GAN（敵対的生成ネットワーク）は生成モデルの名前で、攻撃手法ではありません。

対策

敵対的サンプルを学習データに加えて学習する敵対的学習、異常な入力の検知、問い合わせ回数の制限、複数のモデルの併用などがあります。ただし、脆弱性を完全になくすことはできません。設計の段階からセキュリティを組み込み、運用中も監視を続けることが重要です。