交差検証とは

交差検証は、手元のデータを何通りかに分け直して学習と評価を繰り返し、モデルの汎化性能を見積もる方法です。

なぜ必要か

モデルの良し悪しは、学習に使っていないデータで測る必要があります。学習に使ったデータで測ると、答えを丸暗記しただけのモデルでも高い点が出てしまうからです。最も単純なのは、データを学習用と評価用に一度だけ分けるホールドアウト検証です。ただしデータが少ないと、どのデータがたまたま評価用に入ったかで、結果が大きくぶれます。評価用に回した分だけ、学習に使えるデータも減ります。

k-分割交差検証の手順

代表的な方法がk-分割交差検証です。

1. データをk個のグループに分けます。
2. 1つのグループを検証用、残りのk-1個を学習用にして、学習と評価をします。
3. 検証用にするグループを入れ替えながら、これをk回繰り返します。
4. k回の評価値の平均を、モデルの性能の見積もりとします。

すべてのデータが一度ずつ検証用になり、それ以外の回では学習に使われます。kには5や10がよく使われます。kをデータの件数と同じにした方法は、Leave-One-Out交差検証（一つ抜き交差検証）と呼ばれます。

使うときの注意

• 学習をk回行うので、計算時間は1回の学習のおよそk倍かかります。
• 分類問題でクラスの比率に偏りがあるときは、各グループのクラスの比率をそろえて分けます（層化k-分割交差検証）。
• 時系列データを無作為に並べ替えて分けると、未来のデータで学習して過去を予測することになり、評価が甘くなります。過去のデータで学習し、それより後の期間で検証するように分けます。
• 交差検証は、ハイパーパラメータやモデルの選択によく使われます。最終的な性能は、選択に一度も使っていないテストデータで確認します。

覚え方

「k回、検証役を交代して平均をとる」と覚えます。