アンサンブル学習に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点:バギングとブースティング
ポイント
ランダムフォレストは決定木を独立に作るバギング系の手法です。前の誤りを順に補うのはブースティング系で、勾配ブースティングが代表例です。
選択肢ごとの解説
- A
適切
ブートストラップサンプリングは、元のデータから重複を許して無作為に抽出する方法です。各モデルは互いに独立なので並列に学習でき、予測のばらつき(バリアンス)を抑える効果があります。
- B
適切
ブースティングは弱い学習器を逐次的に追加し、前のモデルの誤りを補うように学習します。AdaBoostは誤分類した事例の重みを大きくします。順番に学習するため、並列化はしにくい方式です。
- C
不適切 正解
ランダムフォレストはバギングを発展させた手法です。ブートストラップサンプルごとに決定木を独立に作り、さらに分岐ごとに使う特徴量を無作為に絞って、木どうしの相関を下げます。
- D
適切
勾配ブースティングは、損失関数の負の勾配(二乗誤差なら残差)を新しい決定木に学習させ、予測に足し合わせていきます。XGBoostやLightGBMは、この方式を実装したライブラリです。
試験での狙われ方
ランダムフォレストと勾配ブースティングを入れ替えたり、並列と逐次を入れ替えたりした選択肢で問われやすい論点です。