ブースティングとは

ブースティングは、アンサンブル学習の代表的な手法の1つです。単独では精度の低い単純なモデル（弱学習器）を順番に追加し、前のモデルの弱点を次のモデルが補うことで、全体として高い精度を目指します。

生まれた背景

「当てずっぽうより少し良いだけの学習器を組み合わせて、精度の高い学習器を作れるか」という理論上の問いがありました。1990年にロバート・シャピアがこれを肯定的に示し、ブースティングの考え方が生まれました。その後、フロイントとシャピアが、実用的な手法としてAdaBoostを提案しました。

仕組み（AdaBoostの場合）

1. すべての学習データに同じ重みを付けて、1つ目の弱学習器を学習させます。
2. 誤って予測したデータの重みを大きくし、正しく予測したデータの重みを小さくします。
3. 重みを付け直したデータで、次の弱学習器を学習させます。前のモデルが苦手だったデータを重点的に学ぶことになります。
4. これを繰り返し、最後は精度の高い弱学習器ほど大きな重みをもつ、重み付きの多数決で予測します。

勾配ブースティングでは、データの重みを変える代わりに、それまでの予測の誤差を減らす方向（損失関数の負の勾配）を、次の決定木に学習させます。XGBoostやLightGBMはこの方式を高速化した実装で、表形式のデータの予測でよく使われます。

バギングとの違い

バギングは、各モデルを独立に並列で学習し、主に予測のばらつき（バリアンス）を減らします。ブースティングは、前の結果を受けて順番に学習するため並列化しにくく、主にモデルの単純さによる誤差（バイアス）を減らします。

前の誤りに合わせ続けるため、ノイズの多いデータでは過学習しやすい点に注意が必要です。学習率や弱学習器の数を、検証データの性能を見ながら調整します。