推論の効率化

推論の効率化とは、学習を終えたモデルを、速く安く動かすための工夫のことです。

量子化で数値の精度を落とす、蒸留で小さなモデルに知識を移す、計算の結果を再利用する、といった手法があります。

学習は一度で済みますが、推論は利用のたびに発生します。サービスとして提供する場合、費用の大半はこちらに掛かるため重要度が高い領域です。