事前学習

事前学習とは、大量のデータを使って、汎用的な知識や言葉の使い方を先に学ばせる工程のことです。

生成 AI では、膨大な文章を読み込ませて次の単語を当てる訓練をひたすらくり返します。正解のラベルを人が付ける必要がない点が、大規模化を可能にしました。

ここで得た土台の上に、指示への従い方や好ましい応答を教える調整の工程が重ねられていきます。