活性化関数とは

活性化関数は、ニューラルネットワークの各ユニット（ニューロン）が、受け取った信号をどのような値に変えて次へ渡すかを決める関数です。

全結合層とセットで働く

全結合層では、まず入力に重みを掛けて足し、バイアスを加えます。式で書くとu = Wx + bで、これは線形関数です。このuを活性化関数fに通したf(u)が、次の層への出力になります。

線形関数だけを何層重ねても、全体は1つの線形関数と同じになります。たとえばy = 2(3x)はy = 6xと同じです。隠れ層に非線形の活性化関数をはさむことで、層を重ねるほど複雑な関係を表せるようになります。CNNの畳み込み層の後にも、同じ理由で活性化関数をはさみます。

隠れ層で使う関数

初期のパーセプトロンは、0か1を出すステップ関数を使っていました。誤差逆伝播法で学習するには微分が必要なため、なめらかなシグモイド関数やtanh関数に置き換わりました。しかし、これらは入力の絶対値が大きいと微分が0に近づき、勾配消失問題の原因になります。

現在は、正の入力をそのまま通すf(u) = max(0, u)のReLU関数や、その改良であるLeaky ReLU関数が広く使われています。計算が軽く、正の範囲では微分が1なので勾配が小さくなりにくいためです。

出力層で使う関数

出力層では、答えの形に合わせて選びます。

• 回帰：恒等関数（値をそのまま出す）
• 2値分類や複数ラベルの判定：シグモイド関数（各出力が0〜1）
• 多クラス分類：ソフトマックス関数（出力の合計が1）

覚え方

「隠れ層は学びやすさ、出力層は答えの形で選ぶ」と覚えます。