ドロップアウトとは

ドロップアウトは、ニューラルネットワークが学習データに合わせすぎる過学習を防ぐための手法です。ヒントンらの研究グループが2012年に提案し、2014年の論文で詳しく報告しました。

しくみ

学習中は、データを入力するたびに、各層のユニットを一定の確率でランダムに選び、その出力を0にします。選ばれたユニットは、その回だけネットワークから取り除かれたのと同じ状態になります。元の論文では、隠れ層のユニットを50%、入力層のユニットを80%の確率で残す設定がよく使われました。

推論（予測）のときは、すべてのユニットを使います。ただし、学習時より働くユニットが多いので、そのままでは出力が大きくなりすぎます。元の方式では、ユニットを残した確率を重みに掛けて、出力の大きさをそろえます。現在の多くの実装では、学習中に残ったユニットの出力を割り増ししておき、推論時には何もしない方式をとります。

なぜ効くのか

ユニットがいつ消えるかわからないので、特定のユニットの組み合わせに頼った学習ができません。各ユニットは、他のユニットがいなくても役に立つ特徴を学ぶようになります。

また、毎回異なる「間引かれたネットワーク」を学習していると見なせます。推論時に全ユニットを使うことは、これら多数のネットワークの予測をおおよそ平均することにあたります。このため、アンサンブル学習に似た効果があると説明されます。

注意点

更新にばらつきが加わるため、学習に時間がかかります。元の論文では、同じ構造のネットワークより2〜3倍かかるのが一般的だと報告されています。無効にする割合は、検証用データの成績を見て決めるハイパーパラメータです。

覚え方

「練習では毎回だれかを休ませ、試合には全員で出る」と覚えます。