セキュリティ・バイ・デザインとは

セキュリティ・バイ・デザインは、システムができあがってから穴をふさぐのではなく、最初から安全な設計にしておくという考え方です。内閣サイバーセキュリティセンター（NISC、現在の国家サイバー統括室）が、情報セキュリティを企画・設計の段階から組み込むための方策として定義しました。

なぜ早い段階なのか

後付けでセキュリティ機能を加えたり、出荷の直前に初めて検査したりすると、問題が見つかるたびに設計からやり直す手戻りが起きます。早い段階で対策を織り込めば手戻りが減り、結果として費用も抑えられます。AI事業者ガイドラインの別添は、実施例として次のようなものを挙げています。

• 脅威分析：システムが直面する脅威と想定される攻撃を洗い出し、「何から守るのか」を明確にする。
• セキュリティ要件の定義：安全な運用に必要な目標を、要件として文書にする。

AIシステムでの考え方

AI事業者ガイドラインは、AI開発者とAI提供者が取り組む事項として、セキュリティ・バイ・デザインを挙げています。

機械学習を使うシステムには、学習データ、AIモデル、パラメータといった、従来の情報システムにはない守るべき資産があります。脅威分析では、次のようなAI特有の攻撃も想定します。

• 学習データに不正なデータを混ぜるデータ汚染
• 配布される学習済みモデルに細工するモデル汚染
• 入力を細工して誤認識させるAdversarial Examples
• 問い合わせの結果からモデルを複製するモデル窃取
• モデルなどから学習データの情報を引き出すデータ窃取

ガイドラインは、AIシステムの脆弱性を完全には排除できないと認識するよう求めています。そのため、設計の段階で、運用中の監視や侵害されたときの対応まで決めておきます。

プライバシー・バイ・デザインとの違い

プライバシー・バイ・デザインは、個人情報やプライバシーの保護を最初から組み込む考え方です。守る対象が違い、AI事業者ガイドラインでも別の項目として挙げられています。