回帰問題とは

回帰問題は、教師あり学習で扱う代表的な問題の1つです。中古住宅の広さや築年数から成約価格を予測する、過去の気象データから明日の最高気温を予測する、といったタスクが当たります。

分類問題との見分け方

教師あり学習の問題は、出力の種類で大きく2つに分かれます。出力が連続した数値なら回帰問題、あらかじめ決められたカテゴリなら分類問題です。

名前にまどわされないことが大切です。ロジスティック回帰は名前に「回帰」が付きますが、クラスに属する確率を出力し、分類に使う手法です。手法の名前ではなく、何を予測するかで判断します。

主な手法

最も基本的な手法は、入力と出力の関係を直線（入力が多い場合は平面や超平面）で表す線形回帰です。入力が1つなら単回帰分析、複数なら重回帰分析と呼びます。係数は、予測と実測の差の二乗和が最小になるように求めます（最小二乗法）。

決定木、ランダムフォレスト、ニューラルネットワークなども回帰に使えます。過去の値から将来の値を予測する自己回帰モデル(ARモデル)は、時系列データを扱う回帰の手法です。

評価のしかた

評価には、予測値と実際の値の差を使います。差を二乗して平均した平均二乗誤差(MSE)、その平方根をとった二乗平均平方根誤差(RMSE)、差の絶対値を平均した平均絶対値誤差(MAE)が代表的です。MSEとRMSEは、大きく外れた予測の影響を強く受けます。

名前の由来

「回帰」という言葉は、19世紀にフランシス・ゴルトンが親子の身長を調べた研究に由来します。背の高い親の子は親ほど高くならず、全体の平均に近づく傾向がありました。ゴルトンはこれをregression（回帰）と呼び、今日では平均への回帰といいます。