Leaky ReLU関数とは

Leaky ReLU関数は、ReLU関数の弱点を補うために考えられた活性化関数です。leakyは「漏れのある」という意味で、入力が負のときにも、わずかな値を漏らすように出力します。

式とグラフ

式は次のとおりです。

f(x) = x（x > 0のとき）、f(x) = αx（x ≤ 0のとき）

αは0.01などの小さな正の定数です。グラフは、正の側ではReLU関数と同じ傾き1の直線、負の側ではごくゆるやかな右上がりの直線になります。たとえばα = 0.01なら、3を入力すると3、−5を入力すると−0.05が出力されます。

ReLU関数の何を補うのか

ReLU関数は、負の入力に対して出力も微分も0になります。学習の途中で、あるユニットへの入力がいつも負になると、そのユニットには勾配が流れず、重みが更新されなくなります。これをdying ReLU（死んだReLU）と呼びます。

Leaky ReLU関数は、負の側の微分が0ではなくαです。小さいながらも勾配が流れるので、ユニットが学習から完全に外れるのを防げます。正の側の微分は1なので、ReLU関数と同じく、勾配消失が起きにくい性質も保っています。

この関数は、2013年にマースらが音声認識のニューラルネットワークで使ったものです。ただし、その実験では、精度はReLU関数とほとんど変わりませんでした。常にReLU関数より優れているわけではないので、どちらを使うかは実験で確かめます。

発展形

負の側の傾きαを固定せず、ほかの重みと一緒に学習で決めるのがParametric ReLU（PReLU）です。2015年にヒーらが提案し、画像認識の精度向上に使いました。Leaky ReLU関数は、PReLUの傾きを小さな固定値にした特別な場合とみることもできます。

覚え方

「マイナス側も少しだけ漏らして、勾配を止めない」と覚えます。