グループ正規化

グループ正規化とは、チャネルをいくつかのグループに分け、そのグループ単位で正規化する手法です。

チャネル全体をまとめるレイヤー正規化と、1 チャネルずつ扱うインスタンス正規化のちょうど中間にあたります。バッチサイズに依存しない点が利点です。

高解像度の画像を扱うなどバッチサイズを大きくできない場面で、バッチ正規化の代わりとして使われます。