スキップ結合

スキップ結合とは、ある層の出力を次の層だけでなく、いくつか先の層へ直接足し込む接続のことです。

遠回りをせずに信号が伝わる近道ができるため、逆伝播のときも勾配がそのまま奥まで届き、勾配消失問題が大きく和らぎます。

この工夫によってネットワークを 100 層以上に深くできるようになりました。現在は CNN にも Transformer にも組み込まれています。