決定木とランダムフォレストの違い

決定木

決定木は、「年齢が40歳以上か」のような条件でデータを次々に分け、最後にたどり着いた葉で予測を出すモデルです。分類なら葉に入った学習データで最も多いクラスを、回帰ならその平均を出力します。分け方は、分けたあとのグループができるだけ同じクラスでそろうように、ジニ不純度などの指標で選びます。

長所は、予測の根拠を「この条件とこの条件を満たしたから」と人が読める形で示せることです。短所は、木を深くすると学習データの細かい違いまで覚え込んで過学習しやすく、学習データが少し変わるだけで木の形が大きく変わることです。深さの上限を決めたり、剪定したりして抑えます。

ランダムフォレスト

ランダムフォレストは、2001年にブレイマンが論文で体系化した、多数の決定木を組み合わせる手法です。木ごとにブートストラップサンプリングで学習データを作り直し、さらに分岐のたびに特徴量の候補を無作為に絞ります。こうして性質が少しずつ異なる木を作り、分類なら多数決、回帰なら平均で予測をまとめます。

1本1本の木はぶれやすくても、互いに似ていない木の予測を平均すると、ぶれが打ち消し合います。そのため、各木は深く育てたまま使うのが一般的です。各木は独立に学習できるので、並列に計算することもできます。一方で、数百本の木の判断をたどって根拠を説明するのは現実的ではありません。特徴量の重要度などで、全体の傾向をつかむことになります。

選び方

判断の理由を人に説明する必要がある場面では、1本の決定木が候補になります。説明よりも予測の精度と安定性を優先する場面では、ランダムフォレストが向いています。さらに精度を求める場合は、木を順番に作って前の誤りを補う勾配ブースティングとも比べます。