ホールドアウト検証とは

ホールドアウト検証は、モデルの汎化性能を見積もる、最も単純で基本的な方法です。手元のデータの一部を取っておき（hold out）、学習には使わずに評価だけに使います。

手順

1. データを無作為に並べ替え、学習用と評価用に分けます。たとえば1,000件なら、800件で学習し、200件で評価します。
2. 学習用データだけでモデルを学習します。
3. 評価用データで予測し、正解率やMSEなどの指標を計算します。

学習に使ったデータで評価すると、答えを覚えただけのモデルでも高い成績が出ます。評価用データを学習から切り離すことで、未知のデータに対する性能の目安が得られます。

検証用とテスト用

ハイパーパラメータを調整する場合は、データを学習用・検証用・テスト用の3つに分けます。検証用データの成績を見ながら調整を重ねると、その成績は合わせ込んだ分だけ楽観的になるためです。テスト用データは最後の評価まで使わずに残します。

長所と短所

長所は、学習と評価が1回ずつで済み、計算が軽いことです。データが大量にあるときや、1回の学習に時間がかかるディープラーニングで使いやすい方法です。

短所は、評価値が分け方の偶然に左右されることです。評価用データが少ないと、どのデータが入ったかで成績が大きく揺れます。

交差検証との違い

k-分割交差検証は、データをk個に分け、評価役を入れ替えながら学習と評価をk回繰り返して平均をとります。すべてのデータが一度ずつ評価に使われるため評価は安定しますが、計算量はおよそk倍です。データが少ないときは交差検証、多いときや学習が重いときはホールドアウト検証、というのが基本の使い分けです。

なお、時系列データでは無作為に分けず、古い期間を学習用、新しい期間を評価用にします。

覚え方

「hold out＝取っておく。評価用データは最後まで取っておく」と覚えます。