モニタリング（AIシステムの運用監視）とは

モニタリングは、運用を始めたAIの状態を見張り続けることです。導入時の検証で十分な性能が出ても、それが続く保証はありません。入力されるデータが世の中とともに変わり、精度が落ちたり、特定の利用者に不利な結果が増えたりするためです。

なぜ性能が落ちるのか

• データドリフト：入力データの分布が学習時からずれる。新商品の登場で購買データの傾向が変わる場合などです。
• コンセプトドリフト：入力と正解の関係そのものが変わる。不正の手口が変わり、以前は正常とみなされていた取引のパターンが不正に使われるようになる場合などです。

後者は、入力の分布だけを見ても気づけないことがあります。

何を見張るのか

• 予測性能：正解率や再現率など、用途に合った指標
• 入力データ：分布や欠損の変化。正解がすぐにわからない用途では、性能の代わりの手がかりになります。
• 出力：予測の偏りや、利用者の属性ごとの結果の差
• 利用状況：想定した目的と範囲で使われているか

指標ごとに許容範囲と、外れたときの対応（原因の調査、再学習、利用の停止など）を決めておきます。

ガイドラインでの位置づけ

AI事業者ガイドラインは、共通の指針の「安全性」で、必要に応じた定期的かつ客観的なモニタリングと対処を含め、人間がAIを制御できる状態の確保を挙げています。AI提供者向けの第4部は、バイアスの発生のモニタリングも挙げています。別添の行動目標4-2は、運用状況をモニタリングしてPDCAを回し、結果を記録することを期待しています。EU AI法も72条で、高リスクAIの提供者に市販後モニタリングの仕組みを求めています。

隣の概念との違い

モニタリングは、運用する当事者が日常的に行う確認です。AIに対する監査は、モニタリングを含む仕組み全体が機能しているかを、独立した立場から確かめます。MLOpsは、監視の結果をもとに再学習や再デプロイまでを継続的に回す仕組みで、モニタリングはその起点になります。