モデル圧縮とは

モデル圧縮は、ディープラーニングのモデルを、性能をなるべく落とさずに小さく、軽くするための技術の総称です。モデルの軽量化とも呼ばれます。

なぜ必要か

精度の高いモデルほど、パラメータ数も計算量も大きくなりがちです。そのままでは、スマートフォンや組み込み機器などのエッジ端末のメモリに収まらず、推論にも時間がかかります。クラウドで動かす場合でも、推論は利用のたびに発生します。1回あたりの計算が重いと、費用と電力がかさみます。

代表的な手法

• 量子化：重みなどを少ないビット数で表します。パラメータの数はそのままで、1つあたりのデータ量を減らします。
• プルーニング：出力への影響が小さい重みや結合を取り除き、パラメータの数を減らします。
• 蒸留：大きな教師モデルの出力を手本に、小さな生徒モデルを新しく学習させます。

このほか、大きな重みの行列を小さな行列の積で近似する方法（低ランク近似）もあります。MobileNetのように、はじめから計算量の少ない構造を設計する方法も、軽量化の手段としてよく挙げられます。

組み合わせの効果

これらの手法は組み合わせられます。2015年に発表されたDeep Compressionは、プルーニング、量子化、ハフマン符号化を順に組み合わせました。AlexNetのデータ量を240MBから6.9MBへ、約35分の1にしても、精度は落ちませんでした。

言葉の由来と注意点

「モデル圧縮」という言葉は、2006年にBuciluǎらが論文の題名に使いました。多数のモデルを組み合わせた大きなアンサンブルを、小さく速いモデルに置き換える研究です。この考え方は、のちの蒸留につながりました。

圧縮すると、精度が下がることがあります。どこまで小さくするかは、用途で許される精度と、端末や費用の制約とのバランスで決めます。

覚え方

「量子化は桁を、プルーニングは数を減らし、蒸留は小さく作り直す」と覚えます。