レイヤー正規化

レイヤー正規化とは、ミニバッチではなく 1 つのサンプルの中で、その層のすべての出力をまとめて正規化する手法です。

バッチ正規化はバッチサイズが小さいと統計量が不安定になりますが、この方法はサンプル 1 つで完結するためその影響を受けません。

系列の長さが変わる自然言語処理と相性がよく、Transformer で採用されていることでも知られています。