ニューラルネットワークの過学習を抑える手法であるドロップアウトに関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：ドロップアウトの仕組み
ポイント
ドロップアウトは学習時だけユニットをランダムに無効にし、推論時はすべてのユニットを使う、過学習を抑えるための手法です。
選択肢ごとの解説
- A
適切 正解
データを流すたびに無効にするユニットを選び直すため、多数の部分ネットワークを学習していることになり、アンサンブル学習に似た効果が得られます。特定のユニットに頼りすぎない表現が育ち、過学習が抑えられます。
- B
不適切
通常の推論では、すべてのユニットを使います。無効にした割合に応じて出力の大きさを補正することで、多数の部分ネットワークの予測を平均する効果を近似します。
- C
不適切
これはL2正則化（荷重減衰）の説明です。ドロップアウトは誤差関数に項を加えるのではなく、学習中にネットワークの構造をランダムに変えることで過学習を抑えます。
- D
不適切
割合を大きくすると正則化の効果が強まり、訓練データへの当てはまりはむしろ悪くなります。大きすぎると学習不足になるため、割合はハイパーパラメータとして調整します。
試験での狙われ方
学習時と推論時の扱いの違いや、アンサンブル学習との関係を問う形がよく見られます。