量子化

量子化とは、モデルの重みや計算に使う数値の精度を落とすことで、サイズを小さくし処理を速くする手法です。

たとえば 32 ビットの小数を 8 ビットの整数に置き換えれば、容量は 4 分の 1 になり、計算も整数演算になって高速化します。

精度の低下はわずかで済むことが多く、端末上で動かすための最も基本的な軽量化手段になっています。