再現性とは

再現性は、同じ条件でやり直せば同じ結果が得られることです。料理なら、レシピと材料、火加減を記録しておけば、別の人が作っても同じ味になる状態です。AIでは、学習で得たモデルや、ある入力に対する出力について、この性質が問われます。

なぜ必要なのか

やり直せなければ、結果が正しいかを第三者が確かめられず、事故の原因も調べにくくなります。EUの専門家会合の倫理ガイドラインは、再現性を「技術的な頑健性と安全性」の要件の中で取り上げています。機械学習の国際会議NeurIPSも2019年に、コードの提出方針などを含む再現性のプログラムを始めました。

AI事業者ガイドラインは、AIの判断を検証できるよう、学習のプロセスや利用時の入出力などのログを記録・保存することを挙げています。別添では、生成AIのリスクは再現性がなく、エラーの原因も特定しにくいと指摘しています。

結果が変わる原因と対策

機械学習の結果は、次のような要因で変わります。

• 重みの初期値やデータの並び順を決める乱数
• 学習データの版と前処理の手順
• ハイパーパラメータなどの設定
• ライブラリのバージョンや、GPUなどの実行環境

対策の基本は、これらを記録し、固定することです。乱数のシード値を固定し、データとコードの版を管理し、Dockerなどで実行環境をそろえます。それでも完全に同じになるとは限りません。PyTorchのドキュメントは、CPUとGPUの間などでは、同じシード値でも結果が再現されない場合があるとしています。

似た言葉との違い

トレーサビリティは、結果に至った経緯を後からさかのぼれることです。どちらも記録が土台ですが、再現性は同じ結果をもう一度出せることを指します。評価指標の再現率は、実際に陽性のもののうち正しく陽性と予測できた割合で、まったく別の概念です。

覚え方

「再現性はやり直し、再現率は見逃しの少なさ」と覚えます。