教師あり学習（シラバス 技術7）

教師あり学習とは

入力の特徴量と、それに対応する正解（教師データ）の組を大量に与え、入力から正解を予測する関係を学ぶ方法です。学習後のモデルは、正解がわからない新しいデータに対して予測を出します。

問題の種類

• 回帰問題：来月の売上や明日の気温のように、連続した数値を予測します。
• 分類問題：メールが迷惑メールかどうかのように、決めておいたカテゴリのどれに当たるかを予測します。3つ以上のカテゴリから選ぶものを多クラス分類と呼びます。

線形のモデル

線形回帰は、特徴量に重みを掛けて足し合わせた値で数値を予測します。説明変数が1つなら単回帰分析、2つ以上なら重回帰分析です。ロジスティック回帰は、その重み付きの和をシグモイド関数に通して0から1の確率に変えます。名前は「回帰」ですが、分類に使う手法です。

サポートベクターマシン(SVM)

クラスを分ける境界を、境界に最も近いデータ点との距離（マージン）が最大になるように決めます。これをマージン最大化と呼びます。直線で分けられないデータも、高次元の空間に移すと分けられることがあります。ただし、変換を実際に計算すると重くなります。そこで、変換後の内積をカーネルと呼ばれる関数で直接求め、変換そのものは計算しない工夫がカーネルトリックです。

決定木とアンサンブル学習

決定木は、「購入回数が3回以上か」のような条件でデータを順に分けて予測します。判断の筋道を読み取りやすい一方、学習データに合わせ込みすぎる傾向があります。そこで、複数のモデルを組み合わせて精度を高めるアンサンブル学習が使われます。

• バギング：学習データから重複を許して無作為に取り出し（ブートストラップサンプリング）、複数のデータセットを作ります。それぞれで学習したモデルの予測を、平均や多数決でまとめます。各モデルは独立なので並列に学習できます。
• ランダムフォレスト：バギングに決定木を使い、分岐ごとに使う特徴量もランダムに絞ります。木どうしが似すぎず、予測が安定します。
• ブースティング：モデルを1つずつ順番に作り、前のモデルが誤ったデータを重視して次を学習させます。順番に学ぶため、並列化はしにくくなります。
• 勾配ブースティング：それまでの予測と正解とのずれを、損失関数の勾配をもとに次のモデルで埋めていくブースティングです。

時系列の予測

自己回帰モデル(ARモデル)は、ある時点の値を同じ系列の過去の値から予測します。ベクトル自己回帰モデル(VARモデル)はこれを複数の系列に広げたもので、売上と広告費のように互いに影響し合う系列をまとめて扱います。

モデルの選び方

判断の理由を説明しやすいことを重視するなら、線形回帰やロジスティック回帰、決定木が候補になります。表形式のデータで精度を重視する場面では、ランダムフォレストや勾配ブースティングがよく使われます。データ数に比べて特徴量が多い場合は、SVMも候補になります。