ファインチューニング

ファインチューニングとは、学習済みモデルの重みを出発点として、目的のタスク向けに全体を少しずつ調整し直すことです。

すでに得た知識を壊さないよう、小さめの学習率で学習します。出力側の層だけを付け替えて学ぶ方法と組み合わせることもよくあります。

前半の層を固定したまま使う転移学習に対し、こちらは全体を再学習する点が違います。データが多めのときに有効です。