ドロップアウト

ドロップアウトとは、学習のたびにニューラルネットワークのノードをランダムに一定割合だけ無効化する手法です。

毎回少しずつ違う構成のネットワークで学習することになるため、特定のノードに頼りきった状態を防げます。多数のモデルを組み合わせたのに近い効果が得られます。

推論時にはすべてのノードを使います。実装が簡単で効果も高く、ディープラーニングの標準的な過学習対策として定着しています。