ある病院が、過去の検査データ300件から疾患の有無を予測する分類モデルを作ろうとしている。データが少ないため、手元のデータをむだなく使い、汎化性能をなるべく安定して見積もりたい。評価の進め方として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：少量データでの検証方法
ポイント
データが少ないときは、k-分割交差検証で全データを順に評価へ回し、評価値の平均をとると汎化性能を安定して見積もれます。
選択肢ごとの解説
- A
適切 正解
k-分割交差検証（k=5）です。すべてのデータが一度ずつ評価に使われ、分割の偶然による評価値のぶれを平均で抑えられます。データが少ないときに特に役立ちます。
- B
不適切
むだがないように見えますが、学習に使ったデータで測ると、データを丸暗記した過学習のモデルでも高い値が出ます。未知のデータに対する性能、つまり汎化性能は測れません。
- C
不適切
これはホールドアウト検証です。学習用は多く確保できますが、評価用が30件だけでは、どのデータが選ばれたかで評価値が大きく変わります。評価に一度も使われないデータも残るため、この場面には向きません。
- D
不適切
評価用データに合わせて調整を繰り返すと、そのデータに過剰に適合し、性能を楽観的に見積もります。調整には検証用データや交差検証を使い、最終評価用のテストデータは別に残します。
試験での狙われ方
ホールドアウト検証との違いや、テストデータを調整に使わない理由を、場面設定で問う形が典型的です。