CRISP-MLとは

CRISP-MLは、機械学習を使ったシステムを作り、運用し続けるまでの進め方を示したプロセスモデルです。データマイニングの標準的な手順であるCRISP-DMを、機械学習向けに広げたものです。Studerらが提案し、論文ではCRISP-ML(Q)と呼ばれています。

CRISP-DMとの違い

CRISP-DMでは、運用後のことは「展開」フェーズの一部として扱うだけでした。データから知見を得る分析なら、それでも足ります。しかし機械学習のモデルは、本番で長く使われます。その間にデータの傾向が変わると、精度が下がっていきます。

CRISP-MLは、次の6つのフェーズで構成されます。

1. ビジネスとデータの理解
2. データの準備
3. モデリング
4. 評価
5. 展開
6. モニタリングと保守

ビジネスの理解とデータの理解を1つにまとめたのは、使えるデータがあるかどうかで、プロジェクトが実現できるかが決まることが多いためです。そして、運用中のモデルを見張り、更新するフェーズを独立させました。各フェーズは一方通行ではなく、問題が見つかれば前のフェーズに戻ります。

品質保証の考え方

名前の(Q)は品質保証（Quality assurance）を表します。フェーズごとに満たすべき要件と制約を決め、作業ごとに成功や効率を損なうリスクを洗い出して、そのリスクを抑える品質保証の方法を選びます。たとえば保守では、入力データの統計を学習データと比べて変化を検知し、必要ならモデルを更新します。更新したモデルも、評価を経てから展開します。

MLOpsとの関係

CRISP-MLは「何を、どの順に行うか」を示す手順のモデルです。監視や再学習を自動化して回し続ける仕組みは、MLOpsの領域です。両者は対立するものではなく、組み合わせて使います。

覚え方

「CRISP-DMの最後に『見張りと手入れ』の1段を足したもの」と覚えます。