モデル軽量化の手法

解説

正解 B

この問題の論点：モデル軽量化の手法

選択肢ごとの解説

1. A

   適切

   重みを32ビットから8ビットにすると、重みの保存に必要なメモリはおよそ4分の1になります。整数演算は浮動小数点演算より軽いため、計算資源の限られたエッジAIでよく使われます。

2. B

   不適切 正解

   宝くじ仮説では、学習前の大きなネットワークに、元の初期値のまま単独で学習すると同等の精度に達する部分ネットワーク（当たりくじ）があるとします。初期化し直すと精度が下がったことが、初期値の組み合わせが当たりである根拠とされました。

3. C

   適切

   プルーニング（枝刈り）は、値が0に近い重みや寄与の小さいチャネルなどを削除する手法です。削除後に再学習して精度の低下を補うことが多く、精度をあまり落とさずにモデルを小さくできます。

4. D

   適切

   蒸留では、教師モデルが出力する各クラスの確率（ソフトターゲット）を生徒モデルの学習目標に使います。正解ラベルより多くの情報を含むため、小さなモデルでも教師モデルの知識を受け継ぎやすくなります。