ホールドアウト検証と交差検証の違い

ホールドアウト検証と交差検証は、どちらも学習に使っていないデータでモデルを評価し、汎化性能を見積もる方法です。学習に使ったデータで測ると、答えを覚えただけのモデルでも高い成績が出てしまうためです。違いは、データを何回分け直して評価するかにあります。

ホールドアウト検証

データを学習用と評価用に一度だけ分けます。たとえば1万件なら、8,000件で学習し、残りの2,000件で評価します。学習と評価が1回ずつなので、計算は軽く済みます。

弱点は、どのデータがたまたま評価用に入ったかで成績が変わることです。評価用データが少ないほど、このぶれは大きくなります。評価用に回した分だけ、学習に使えるデータも減ります。

交差検証

代表的なk-分割交差検証では、データをk個のグループに分けます。1つを検証用、残りを学習用にして学習と評価を行い、検証用のグループを入れ替えながらk回繰り返します。k回の評価値の平均が、性能の見積もりです。すべてのデータが一度ずつ検証に使われるので、分け方の偶然に左右されにくくなります。その代わり、学習をk回行うため、計算量はおよそk倍です。kをデータの件数と同じにして1件ずつ検証に回す方法を、Leave-One-Out交差検証と呼びます。

どちらを使うか

データが少ない場面では、交差検証でデータをむだなく使います。データが大量にあれば評価用データも大きく取れるので、ホールドアウト検証でも見積もりは安定します。1回の学習に何時間もかかる深層学習では、k回の学習が現実的でないことも多く、ホールドアウト検証がよく使われます。

どちらの場合も、ハイパーパラメータの調整やモデルの選択に使ったデータとは別に、最終評価用のテストデータを残しておきます。時系列データでは無作為に分けず、過去のデータで学習し、それより後の期間で評価します。