シグモイド関数とは

シグモイド関数は、入力を0から1の間の値に押し込める関数です。ニューラルネットワークでは、標準シグモイド関数（ロジスティック関数）σ(x) = 1 / (1 + e^(−x))を指すのが普通です。入力が0のとき0.5を出力し、入力が大きくなるほど1に、小さくなるほど0に近づきます。

使われる場面

出力が0から1に収まるので、確率として読めます。そのため、2値分類の出力層でよく使われます。たとえば「このメールが迷惑メールである確率は0.92」のように出力し、0.5以上なら迷惑メールと判定します。ロジスティック回帰も同じ関数を使います。1枚の画像に複数のタグを付ける判定のように、クラスごとに独立して「当てはまるかどうか」を出す場合も、各出力にシグモイド関数を使います。

LSTMのゲートでも使われます。0から1の値を「情報をどれだけ通すかの割合」として使うためです。

隠れ層で使われなくなった理由

かつては隠れ層の活性化関数の定番でした。しかし、微分σ(x)(1 − σ(x))は入力が0のときに最大の0.25で、入力の絶対値が大きくなるとほぼ0になります（飽和）。誤差逆伝播法では、この小さな値が層の数だけ掛け合わされます。そのため、入力層に近い層ほど勾配が小さくなります。これが勾配消失問題です。出力が常に正で、0を中心としないことも、学習を遅くする原因の1つとされます。

現在の隠れ層ではReLU関数が主流です。出力を−1から1にしたtanh関数も、0を中心とする点でシグモイド関数より学習しやすいとされます。

ソフトマックス関数との違い

シグモイド関数は、1つの値を独立に変換します。ソフトマックス関数は、複数の値をまとめて変換し、合計が1になるようにします。複数のクラスから1つだけを選ぶ多クラス分類では、ソフトマックス関数を使います。

覚え方

「どんな値もS字で0〜1に収める」と覚えます。