データの正規化・重みの初期化

データの正規化・重みの初期化とは、学習を始める前に整えておくべき 2 つの準備のことです。入力データのスケールをそろえ、重みの初期値を適切に決めます。

重みをすべて 0 にすると全ノードが同じ動きをして学習が進まず、大きすぎると勾配爆発を起こします。層の規模に応じた範囲の乱数を割り当てる Xavier や He の初期化が使われます。

出だしの設定が悪いと学習そのものが失敗するため、地味ですが重要な工程です。