あるEC企業は、商品の需要予測モデルを本番環境で稼働させ、在庫管理システムからWeb API経由で予測結果を利用している。リリースから半年後、消費者の購買傾向が変わり、予測の誤差が徐々に大きくなっていた。今後こうした劣化に継続して対応する取り組みとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点:運用中のモデル劣化への対応
ポイント
MLOpsでは、本番のデータと精度を継続して監視し、再学習から再デプロイまでを仕組み化することで、環境の変化によるモデルの劣化に対応します。
選択肢ごとの解説
- A
適切 正解
MLOpsの基本的な考え方です。入力データの分布の変化(データドリフト)や精度の低下を監視で早く見つけ、新しいデータでの再学習と評価を仕組みとして回します。実行環境をDockerなどのコンテナでそろえると、同じ手順を再現しやすくなります。
- B
不適切
劣化の原因は、購買傾向という入力データの性質が変わったことです。リリース時と同じデータで学習し直しても、新しい傾向は反映されません。最近のデータを加えて再学習する必要があります。
- C
不適切
Jupyter Notebookは試行錯誤には便利ですが、手作業で版を記録しないと、どのデータとコードでモデルを作ったのかを再現できません。MLOpsではデータ・コード・モデルの版を管理します。
- D
不適切
誤差はリリース後に徐々に広がっており、主な原因は過学習ではなく購買傾向という環境の変化です。傾向はこの先も変わりうるため、再学習をやめると劣化が繰り返し起こります。
試験での狙われ方
本番環境でデータの傾向が変わって精度が落ちる事例を示し、MLOpsの考え方に沿った対応を選ばせる形が多い論点です。