ロジスティック回帰とは

ロジスティック回帰は、ある出来事が起きる確率を予測するモデルです。「この顧客は解約するか」のような2値分類によく使われます。名前に「回帰」と付きますが、主な用途は分類です。統計学では、確率の対数オッズを特徴量の一次式で表す回帰モデルとして扱われてきたため、この名前が付いています。

しくみ

まず、線形回帰と同じように、特徴量に重みを掛けて足し合わせます（z = w1x1 + w2x2 + … + b）。このzはどんな実数にもなるので、シグモイド関数σ(z) = 1 / (1 + e^(-z))に通して0から1の値にします。これを「正例である確率」と読み、0.5以上なら正例と判定するのが基本です。

決定境界はz = 0となる直線（特徴量が多い場合は超平面）です。つまり、ロジスティック回帰は線形の分類器です。

学習

重みは、正解ラベルが出る確率が最も高くなるように、最尤法で求めます。これは、交差エントロピー誤差を最小にすることと同じです。線形回帰の最小二乗法と違って公式で一度には解けないため、勾配降下法などで重みを少しずつ更新します。過学習を防ぐため、L1正則化やL2正則化を加えることもよくあります。

解釈しやすさ

確率pに対し、p / (1 - p)をオッズと呼びます。ロジスティック回帰では、オッズの対数が重み付き和zに等しくなります。そのため、ほかの特徴量を一定にして特徴量xiが1増えると、オッズはeのwi乗倍になります。判断の根拠を説明しやすいことは、医療や金融の分野で長く使われてきた理由の1つです。

周辺の手法との関係

3クラス以上に分類するときは、シグモイド関数の代わりにソフトマックス関数を使う多クラス版（多項ロジスティック回帰）があります。また、隠れ層をもたず出力層にシグモイド関数を1つ置いたニューラルネットワークは、ロジスティック回帰と同じモデルです。

覚え方

「線形の和をシグモイドで確率に変える。名前は回帰、仕事は分類」と覚えます。