ブートストラップサンプリングとは

ブートストラップサンプリングは、1組しかないデータから、少しずつ違うデータの組を何通りも作る方法です。箱からくじを1枚引いて記録したら箱に戻し、また引く、という手順を繰り返すイメージです。このように、抜き出したものを戻してから次を抜き出す方法を復元抽出といいます。

手順と性質

n件のデータから復元抽出でn件を抜き出し、1つの標本（ブートストラップ標本）を作ります。これを何十回、何百回と繰り返します。戻してから引くので、同じデータが何度も選ばれたり、一度も選ばれなかったりします。

小さな例で確かめます。データがA、B、Cの3件なら、3回引いてAが一度も選ばれない確率は(2/3)^3 = 8/27で、約30%です。件数nが大きくなると、この確率(1 - 1/n)^nは約36.8%に近づきます。つまり1つの標本に含まれるのは、平均すると元のデータのうち約63%で、残りの約37%は一度も選ばれません。

何に使うか

• 推定のばらつきを見積もる：各標本で平均などを計算し、その値の散らばりから、推定値の誤差や信頼区間を求めます。統計学者エフロンが1979年に提案した、もともとの使い道です。
• バギング：各標本で別々のモデルを学習させ、予測を多数決や平均でまとめます。ランダムフォレストは、これに特徴量の無作為な選択を加えた手法です。
• OOB検証：ある標本で一度も選ばれなかったデータ（OOBデータ）を、その標本で学習したモデルの検証に使います。

似た方法との違い

交差検証は、データを重ならないように分けて、学習用と検証用を入れ替える方法で、復元抽出はしません。また、データ拡張のように新しいデータを作るわけでもなく、元のデータを選び直しているだけです。

覚え方

「引いたら戻す、だから重複と漏れが出る」と覚えます。