バギングとは

バギングは、アンサンブル学習の代表的な手法の1つです。名前は、bootstrap（ブートストラップ）とaggregating（集約）を組み合わせたbootstrap aggregatingの略です。1996年にレオ・ブレイマンが提案しました。

手順

1. 元の学習データ（n件）から、重複を許してランダムにn件を抜き出し、新しいデータセットを作ります。これをブートストラップサンプリングといいます。同じデータが何度も選ばれる一方、一度も選ばれないデータも出ます。
2. この操作を繰り返して、少しずつ中身の違うデータセットを複数作ります。
3. それぞれのデータセットで、同じ種類のモデルを別々に学習させます。
4. 予測するときは、分類なら多数決、回帰なら平均で、各モデルの出力をまとめます。

各モデルはほかのモデルの結果を必要としないため、並列に学習できます。

なぜ精度が上がるのか

深く育てた決定木のようなモデルは、学習データが少し変わるだけで予測が大きく変わります。この予測のばらつきをバリアンスといいます。少しずつ違うデータで学習した多くのモデルの予測を平均すると、個々のばらつきが打ち消し合い、全体として安定した予測になります。そのため、バギングは主にバリアンスを減らし、過学習を抑えます。

関連する手法との関係

ランダムフォレストは、バギングに加えて、決定木の分岐ごとに使う特徴量もランダムに絞り込む手法です。木どうしが似通うのを防ぎ、平均の効果をさらに高めます。

これに対しブースティングは、前のモデルの誤りを次のモデルが補うように、モデルを順番に学習します。「並列のバギング、逐次のブースティング」という違いがよく問われます。