活性化関数（シラバス 技術12）

活性化関数の役割

ニューロンは、入力に重みを掛けて足し合わせた値を活性化関数に通して出力します。活性化関数が線形だと、層をいくら重ねても全体は1つの線形変換と変わらず、複雑な関係を表せません。非線形の活性化関数を挟むことで、層を深くする意味が生まれます。出力層では、出力を確率のような扱いやすい形に変える役割も担います。

主な活性化関数

• シグモイド関数：f(x) = 1 / (1 + exp(-x))。出力は0から1の範囲です。2値分類の出力層で、正例である確率を表すのに使います。微分の最大値はx = 0のときの0.25です。
• tanh関数：出力は-1から1の範囲で、0を中心に対称です。微分の最大値は1なので、シグモイド関数より勾配が小さくなりにくい関数です。ただし、入力の絶対値が大きいと微分がほぼ0になる点は同じです。
• ReLU関数：f(x) = max(0, x)。入力が正なら微分は常に1なので、層を深くしても勾配が小さくなりにくく、計算も軽いことから隠れ層で広く使われます。一方、入力が負の範囲では出力も微分も0です。負の入力ばかり受けるニューロンは、重みが更新されなくなります。
• Leaky ReLU関数：入力が負のときに、0.01倍のような小さな傾きをもたせた関数です。負の範囲でも勾配が0にならず、ReLU関数の弱点を和らげます。
• ソフトマックス関数：複数の値を、それぞれ0から1の範囲で合計が1になる値に変換します。多クラス分類の出力層で、各クラスの確率を表すのに使います。

勾配消失問題

誤差逆伝播法では、出力層から入力層へ向かって、各層の微分を掛け合わせながら勾配を伝えます。シグモイド関数のように微分の値が1より小さい関数を何層も重ねると、掛けるたびに勾配が小さくなります。その結果、入力層に近い層の重みがほとんど更新されなくなります。これが勾配消失問題です。隠れ層の活性化関数をReLU関数などに替えることが、代表的な対策の1つです。

使い分けの目安

• 隠れ層：ReLU関数とその改良版が基本です。かつてはシグモイド関数やtanh関数が使われていました。
• 出力層：回帰では値をそのまま出す恒等関数、2値分類ではシグモイド関数、多クラス分類ではソフトマックス関数を使います。