蒸留

蒸留とは、大きく高性能なモデルが持つ知識を、小さなモデルに学ばせて引き継がせる手法です。

正解ラベルだけでなく、大きなモデルが出した「犬 0.7 / 狼 0.2」といった確率の分布そのものを教えます。この分布にはクラス同士の似ている度合いという情報が含まれています。

教える側を教師モデル、学ぶ側を生徒モデルと呼び、生徒は単独で学ぶより高い精度に到達できます。