要点まとめ・第10章 AI倫理・AIガバナンス
安全性とセキュリティ（シラバス 法律・倫理11）
学習目標
AIの安全性（人や財産に害を与えないこと）とセキュリティ（悪意ある攻撃から守ること）の違いを理解し、学習データ、モデル、推論時の入力のどこが狙われるかで主な攻撃を区別して、企画・設計の段階から組み込むべき対策を選べるようにします。
要点
安全性とセキュリティの違い
AI事業者ガイドラインは、「安全性」と「セキュリティ確保」を別々の指針として挙げています。
- 安全性：AIの誤作動や想定外の使われ方で、人の生命・身体・財産、精神や環境に害が出ないようにすることです。悪意がなくても問題になります。
- セキュリティ：悪意ある第三者の不正な操作から、AIシステムの機密性・完全性・可用性を守ることです。
自動運転車が逆光で標識を見落とすのは、安全性（さまざまな状況で性能を保つ堅牢性）の問題です。誰かが標識にシールを貼って誤認識させるのは、セキュリティの問題です。
AIならではの攻撃
AIには、従来のシステムへの攻撃に加えて、学習データやモデルそのものを狙う攻撃があります。
| キーワード | 仕掛ける時期 | 狙い | 例 |
|---|---|---|---|
| データ汚染 | 学習時 | 判断を狂わせる | 自動収集される学習データに、誤ったラベルの画像を紛れ込ませる |
| モデル汚染 | 開発時・配布時 | 判断を狂わせる | 公開する事前学習済みモデルに、特定の目印でだけ誤動作するバックドアを仕込む |
| Adversarial Attack（Adversarial Examples） | 推論時 | 判断を狂わせる | 人には気づけない小さなノイズを画像に加え、別のものと誤分類させる |
| モデル窃取 | 推論時 | モデルを盗む | APIに大量に問い合わせ、入力と出力の組から複製モデルを作る |
| データ窃取 | 推論時 | 学習データを盗む | モデルの応答から、学習データに含まれる個人情報を引き出す |
汚染されたモデルはふだんの入力には正しく答えるため、通常の精度テストでは見つけにくくなります。盗まれたモデルは、Adversarial Examplesを作るための下調べにも使われます。
狙いで2つに分けて覚える
- 判断を狂わせる（完全性の侵害）：データ汚染、モデル汚染、Adversarial Examples
- 情報を盗む（機密性の侵害）：モデル窃取、データ窃取
データ窃取は、プライバシーの侵害にも直結します。
対策とセキュリティ・バイ・デザイン
セキュリティ・バイ・デザインは、セキュリティを企画・設計の段階から組み込む考え方です。完成後に後付けすると手戻りが増え、費用もかさみます。まず脅威分析で「何を、何から守るか」をはっきりさせ、セキュリティ要件に落とし込みます。
| 攻撃 | 対策の例 |
|---|---|
| データ汚染 | データの収集元と加工の履歴を確かめ、真正性を確認できないデータは使わない |
| モデル汚染 | モデルや学習用プログラムを信頼できる提供元から入手し、改ざんを検知する |
| Adversarial Examples | 敵対的なデータを混ぜて学習し頑健性を高める、異常な入力を検知する |
| モデル窃取 | 問い合わせの回数を制限する、確信度を細かく返さないなど出力を必要な範囲に絞る |
| データ窃取 | プライバシーを保護する学習手法を使う |
ガイドラインも、AIの脆弱性は完全には排除できないとしています。運用中も監視を続け、問題が起きたときの対応手順を前もって決めておきます。
つまずきやすい点
- Adversarial Examplesは推論時の入力に細工する攻撃で、学習済みのモデルには手を加えない。学習データに不正なデータを混ぜるデータ汚染とは、仕掛ける時期が違う点
- モデル窃取は、モデルのファイルを盗み出さなくても、APIへの問い合わせと応答を大量に集めるだけで似たモデルを作れてしまう攻撃で、確信度を細かく返すほど成功しやすくなる点
- データ窃取は、保存されたデータを盗む従来の攻撃に限らず、学習済みモデルの応答から、学習データに含まれる個人情報などを推測したり引き出したりする攻撃も含む点
- AIの脆弱性は完全にはなくせないため、対策は開発時だけで終わらず、運用中の監視と異常が起きたときの対応手順まで含めて考える点
シラバスのキーワード
シラバス第1.4版に載っている語をすべて並べています。色のついた語は用語集で解説しています。「2問」などの数字は、その語を扱う練習問題の数です。
練習問題
- #0115 AIへの攻撃手法の区別 難易度 標準・組合せ 未回答 付箋
- #0116 AI提供時のセキュリティ対策 難易度 応用・単一選択 未回答 付箋
- #0284 学習データを推測する攻撃 難易度 標準・単一選択 未回答 付箋
- #0285 公開された学習済みモデルの汚染 難易度 標準・単一選択 未回答 付箋
- #0488 ブラックボックス型の敵対的攻撃 難易度 標準・単一選択 未回答 付箋
- #0489 間接プロンプトインジェクション 難易度 標準・単一選択 未回答 付箋
- #0490 LLMからの学習データ抽出 難易度 標準・単一選択 未回答 付箋
復習の時期が来た問題と、まだ解いていない問題から順に出題します。
混同しやすい用語
この項目を読み終えたら
読んだ項目にチェックをつけると、学習ガイドの目次に記録されます。
前後の項目
出典
- G検定 試験出題範囲（シラバス2024）第1.4版 （法律・倫理分野 項目11 安全性とセキュリティ）
- 総務省・経済産業省「AI事業者ガイドライン（第1.2版）」（2026年3月31日） （第2部C 2）安全性、5）セキュリティ確保）
- 総務省・経済産業省「AI事業者ガイドライン（第1.2版）別添」（2026年3月31日） （別添3 D-5）i.（セキュリティ・バイ・デザイン）、表7、表8、別添4 機械学習特有の各種攻撃への対策）
- Christian Szegedy et al., Intriguing properties of neural networks (2013)
- Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg, BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain (2017)
- Florian Tramèr et al., Stealing Machine Learning Models via Prediction APIs (2016)
- Nicholas Carlini et al., Extracting Training Data from Large Language Models (2020)