宝くじ仮説とは

宝くじ仮説（Lottery Ticket Hypothesis）は、2018年にFrankleとCarbinが論文で示した仮説です。

主張の中身

ニューラルネットワークは、重みをランダムな値で初期化してから学習します。この仮説によると、大きなネットワークの中には、たまたま学習に適した初期値を引き当てた部分ネットワークが含まれています。それだけを取り出し、同じ初期値から単独で学習させると、元のネットワークと同程度の学習回数で、同程度の精度に達します。これを当たりくじ（winning ticket）と呼びます。

宝くじを多く買うほど当たりを引きやすいのと同じで、大きなネットワークは多くの「くじ」を抱えているため学習がうまくいきやすい、という見方です。

当たりくじの見つけ方

論文では、次の手順で当たりくじを探しました。

1. ネットワークをランダムに初期化し、その値を控えておく。
2. 学習させる。
3. 絶対値の小さい重みを一定の割合だけ刈り込む（プルーニング）。
4. 残った重みを、控えておいた初期値に戻す。
5. 2〜4を繰り返し、少しずつ小さくする。

MNISTやCIFAR-10を使った実験では、元の10〜20%以下まで小さくした当たりくじが一貫して見つかりました。それより大きい段階では、当たりくじは元より速く学習が進み、テストでの精度も上回りました。一方、同じ構造でも初期値をランダムに選び直すと、性能は落ちました。当たりかどうかは、構造と初期値の組み合わせで決まるということです。

モデルの軽量化との関係

この仮説は、プルーニングで小さくしたネットワークがなぜ精度を保てるのかを考える手がかりになりました。ただし、当たりくじを見つけるには大きなネットワークを何度も学習させる必要があります。学習の手間そのものを減らす方法ではありません。

覚え方

「大きな網は、たくさんのくじを持っている」と覚えます。