バッチ正規化

バッチ正規化とは、層の途中の出力をミニバッチ単位で平均 0・分散 1 に整えてから、次の層へ渡す手法です。

学習が進むと各層の出力の分布が動いてしまい、後ろの層が振り回されます。層の入り口で分布をそろえることでこれを防ぎ、学習を安定させ高速化します。

大きな学習率を使えるようになり、過学習を抑える効果もあります。現在の CNN では標準的に組み込まれています。