ある自動車部品メーカーが、部品の外観写真から不良品を見分けるモデルを作る。データは部品4,000個を1個につき5方向から撮った写真20,000枚で、ラベルは部品ごとに良品か不良品かが付いている。学習用・検証用・テスト用へのデータの分け方として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：同一個体をまたぐデータ分割
ポイント
互いに似たデータは、同じまとまりが学習用と評価用に分かれないように分割します。そうしないと、テストの精度が実力より高く出ます。
選択肢ごとの解説
- A
不適切
写真を1枚ずつ振り分けると、同じ部品の別方向の写真が学習用とテスト用の両方に入ります。部品固有の傷や刻印を覚えるだけで正解できてしまい、層化してもこの問題は解決しません。
- B
適切 正解
部品を単位に分けると、テスト用の部品は学習で一度も見ていないものになり、本番で初めて見る部品に対する実力を測れます。scikit-learnのGroupKFoldも同じ考え方です。
- C
不適切
同じ部品の写真は互いに強く似ているため、別のデータとはみなせません。テスト用に同じ部品の別方向の写真が入ると、見たことのある部品を当てるだけの評価になり、精度が実力より高く出ます。
- D
不適切
検証用とテスト用に不良品がなければ、不良品を見つけられるかどうかを測れません。部品の単位は保ったまま、良品と不良品の割合が3つのデータでそろうように分けます。
試験での狙われ方
患者・顧客・部品など、1つの対象から複数のデータが得られる場面では、分割の単位を確かめる習慣を付けておくと判断しやすくなります。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目36 データの収集・加工・分析・学習）
- scikit-learn User Guide, Cross-validation: evaluating estimator performance （Cross-validation iterators for grouped data）