ある通信会社が、顧客の契約情報と月ごとの利用履歴から、翌月に解約する顧客を予測するモデルを作っている。検証では高い精度が出たのに本番では精度が大きく下がる、という事態を避けたい。データリーケージを防ぐための対応として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：データリーケージの防止策
ポイント
データリーケージとは、予測時点では使えない情報が学習や評価に紛れ込むことです。検証の精度が実力より高く見え、本番で精度が落ちます。
選択肢ごとの解説
- A
適切
解約受付日や解約理由は、解約が決まった後にしか記録されない情報です。これを特徴量に使うと検証では正解を見ながら予測する形になり、精度が不当に高く出ます。
- B
適切
時系列のデータをランダムに分割すると、未来のデータで学習して過去を予測する状態が混じります。本番と同じく過去から未来を予測する形で分け、交差検証でも学習側が常に過去になるようにします。
- C
不適切 正解
前処理の統計量にテスト用データが含まれると、テスト用データの情報が学習側に漏れます。先に分割し、平均と標準偏差は学習用データだけから求めて、その値でテスト用データを変換します。
- D
適切
リーケージが起きると、検証の精度が現実離れして高くなることがよくあります。目的変数とほぼ一対一で対応する特徴量は、予測時点より後にしか記録されない情報である疑いがあります。
試験での狙われ方
特徴量の選び方、データの分割方法、前処理の順番のどこで情報が漏れるかを、事例の形で問う論点です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目36 データの収集・加工・分析・学習）
- scikit-learn User Guide, Common pitfalls and recommended practices: Data leakage