Dropoutとは(ドロップアウト)

Dropoutは、ニューラルネットワークの学習中に、各層のニューロンの一部を確率的に(例えば50%の確率で)無効化しながら学習を進める手法です。2012年頃に提案されて以降、過学習を抑える定番のテクニックとして広く使われています。

無効化するニューロンは学習のたびにランダムに選び直されるため、ネットワークは特定のニューロンの組み合わせに依存しすぎない、頑健な特徴を学習するようになります。推論(予測)時には全ニューロンを使い、その代わり出力をdropout率に応じてスケーリングします。

よく使われる説明が「実質的に多数の小さなネットワークをまとめて学習させ、予測時にその集団の意見を平均している(アンサンブル)ようなものだ」というものです。感覚的には納得しやすい説明ですが、本物の複数ネットワークによるアンサンブルと、予測の中身までそっくりなのかは別の話です。