隠れ層で用いられる活性化関数に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：ReLU系関数とtanh関数の性質
ポイント
ReLU関数は正の領域で導関数が常に1なので勾配消失を起こしにくい一方、出力に上限はなく、負の入力では勾配が0になります。
選択肢ごとの解説
- A
適切
tanh関数の導関数は1−tanh²(x)で、x=0のとき最大値1をとります。シグモイド関数（最大0.25）より勾配が保たれやすい一方、入力の絶対値が大きいと導関数が0に近づく点は同じです。
- B
適切
負の入力ばかり受けるようになったユニットは、勾配が0のままで学習が進まなくなります。この現象はdying ReLUと呼ばれ、Leaky ReLU関数などの改良につながりました。
- C
適切
Leaky ReLU関数は負の領域に小さな傾きを持たせた関数です。負の入力でもわずかな勾配が残るため、ユニットが更新されなくなる問題を起こしにくくなります。
- D
不適切 正解
ReLU関数はmax(0, x)で、正の入力をそのまま出力するため上限がありません。勾配消失を起こしにくいのは、正の領域で導関数が常に1になるためです。確率を出力する用途には使いません。
試験での狙われ方
ReLU関数・Leaky ReLU関数・tanh関数・シグモイド関数の出力の範囲と導関数の特徴を、横並びで比べさせる形が多い論点です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目12 活性化関数）
- Glorot, Bordes, Bengio, Deep Sparse Rectifier Neural Networks (2011)
- Goodfellow, Bengio, Courville, Deep Learning (2016) （6.3.1 Rectified Linear Units and Their Generalizations）