ランダムフォレストとは

ランダムフォレストは、たくさんの決定木（ツリー）を集めた「森（フォレスト）」で予測する手法です。2001年にレオ・ブレイマンが論文で体系的に示しました。1本の決定木は学習データの違いに敏感で、予測がぶれやすいという弱点があります。ランダムフォレストは、少しずつ性質の異なる木を多数作り、その結果をまとめることで、ぶれを打ち消します。

2つのランダム

木ごとに違いを出すため、2つの段階で無作為さを取り入れます。

1つ目は、学習に使うデータです。元のデータから重複を許して同じ件数を無作為に取り出すブートストラップサンプリングで、木ごとに別の学習データを作ります。このように作った複数のモデルの予測をまとめる方法をバギングといいます。

2つ目は、分岐に使う特徴量です。各分岐で、全特徴量ではなく無作為に選んだ一部の特徴量の中から、最もよい分け方を選びます。とても強い特徴量が1つあっても、すべての木が同じ分岐をすることを防げます。木どうしの相関が下がるので、まとめたときにぶれを打ち消す効果が大きくなります。

予測は、分類なら各木の多数決、回帰なら各木の出力の平均で決めます。

特徴と位置づけ

各木は独立に学習するので、並列に計算しやすい手法です。ブートストラップサンプリングで選ばれなかったデータ（OOBデータ）を使えば、別に検証用データを用意しなくても汎化性能の目安が得られます。どの特徴量が予測に効いているかを示す重要度も計算できます。

同じく決定木を使うアンサンブル学習でも、勾配ブースティングは前の木の誤りを補うように、木を1本ずつ順番に作ります。「独立に作って平均する」のがランダムフォレスト、「順番に作って積み上げる」のが勾配ブースティングです。

覚え方

「データも特徴量もくじ引きで選んだ木を、森ごと多数決」と覚えます。