プルーニング・量子化と蒸留の違い

プルーニング、量子化、蒸留は、どれも学習済みのモデルを小さく、速くするモデル圧縮の手法です。スマートフォンや工場の端末で推論するエッジAIや、大規模言語モデルを少ない計算資源で動かす場面で使われます。3つの違いは、何を減らすかと、元のモデルをどう扱うかにあります。

プルーニング

プルーニングは、出力への影響が小さい重みや結合を取り除きます。重みの絶対値が小さいものから削るのが基本で、削った後は残った重みで再学習して精度を取り戻します。2015年のHanらの研究では、AlexNetのパラメータを約6,100万から約670万に減らしても、精度は下がりませんでした。ただし、重みを1つずつ0にするだけでは0が不規則に散らばり、疎な計算に対応した仕組みがないと計算はあまり速くなりません。フィルタやチャネルをまとめて削れば、通常の計算環境でも速くしやすくなります。

量子化

量子化は、パラメータの数はそのままに、1つの値を表すビット数を減らします。32ビットの浮動小数点数を8ビットの整数にすれば、重みのデータ量は約4分の1になります。整数の計算は軽いため、速度や消費電力の面でも有利です。学習を終えたモデルをそのまま変換する方法と、量子化の誤差を見込んで学習する方法があります。

蒸留

蒸留は、元のモデルを直接削りません。大きな教師モデルの出力を手本にして、小さな生徒モデルを新しく学習させます。教師が出す各クラスの確率（ソフトターゲット）には、クラスどうしがどれだけ似ているかという情報も含まれ、生徒はそれも学べます。生徒の構造を自由に決められる一方、学習をやり直す手間がかかります。

組み合わせて使う

3つは対立する選択肢ではありません。2015年に発表されたDeep Compressionは、プルーニング、量子化、ハフマン符号化を順に行い、AlexNetの保存に必要な容量を240MBから6.9MBへ、精度を落とさずに約35分の1にしました。蒸留で作った小さなモデルを、さらに量子化することもできます。