事前学習

事前学習とは、本番の学習を始める前に各層をあらかじめ学習させ、良い初期値を用意しておく工程のことです。

かつては積層オートエンコーダなどを使い、層を 1 つずつ順に学習させていました。ランダムな初期値から始めるより格段に学習が進みやすくなります。

現在は ReLU やバッチ正規化の登場でこの手順は不要になりましたが、大量のテキストで先に学習させてから微調整する、という形で言葉自体は生き続けています。