代理変数とは

代理変数は、もともと統計学の言葉です。たとえば生活の豊かさは直接測りにくいため、所得で代用することがあります。このように、直接測りにくい量の代わりに使う、関係の深い測りやすい量を代理変数と呼びます。AIの公平性の文脈では、この「代わりになる」性質が、意図しない差別の経路として問題になります。

公平性で問題になる仕組み

差別を避けるために、性別や人種などのセンシティブ属性をAIの入力から外すことがあります。しかし、残った項目の中にその属性と強く相関するものがあると、モデルはそれを手がかりにして、事実上センシティブ属性を使ったのと同じ判断をします。

たとえば、住む地域が人種によって分かれている社会では、郵便番号が人種の代わりになります。米国のNISTの報告書も、閲覧履歴から性別が、郵便番号から人種が推測されうると指摘しています。1つ1つは弱い相関でも、複数の項目を組み合わせると、属性をかなり正確に推測できることもあります。AI事業者ガイドラインも、明らかなセンシティブ属性を取り除いたデータでも、関連する情報から属性が類推されてしまう場合を、潜在的なバイアスの例に挙げています。

予測の目標が代理になる場合

予測の目標そのものが、本当に知りたいものの代理であることも、偏りの原因になります。2019年の研究では、米国で広く使われていた医療のアルゴリズムが、医療の必要性の代わりに医療費を予測していました。同じ必要性でも黒人の患者には医療費が少なく使われていたため、同じリスクスコアでも、黒人の患者のほうが病状が重いという偏りが生じていました。

対策

• 各項目とセンシティブ属性との相関を調べ、代理変数になりうる項目を洗い出す。
• センシティブ属性の情報を評価用に保持し、属性ごとに予測結果を比べる。
• 予測の目標が、本当に知りたいものを表しているかを見直す。

センシティブ属性を入力から消すことは、公平性を確保するための出発点にすぎません。