重みとは

重みは、ニューラルネットワークのユニットどうしのつながりごとに割り当てられた数値です。ユニットは、受け取った入力の1つ1つに重みを掛けて足し合わせ、バイアスを加えます。その結果を活性化関数に通したものが、そのユニットの出力になります。

出力 = 活性化関数(重み1 × 入力1 + 重み2 × 入力2 + … + バイアス)

重みが表すもの

重みは、その入力が出力にどれだけ、どちら向きに効くかを表します。絶対値が大きいほど影響が強く、正の重みは入力が大きいほど重み付き和を押し上げ、負の重みは押し下げます。0に近い重みの入力は、ほとんど無視されます。迷惑メールの判定なら、「当選」のような語を含むことに正の重みが付くように学習が進みます。

学習とは重みを調整すること

学習とは、損失関数の値が小さくなるように、重みとバイアスを少しずつ調整することです。誤差逆伝播法で各重みについての勾配を求め、勾配降下法などで値を更新します。学習の前には、重みを小さな乱数で初期化します。学習率や層の数のように人が事前に決めるハイパーパラメータとは違い、重みはデータから決まるパラメータです。

重みの数とモデルの規模

全結合層では、入力の数×出力の数だけ重みがあります。バイアスは出力の数しかないため、パラメータの大半は重みが占めます。2020年に発表されたGPT-3は、1,750億個のパラメータをもつと報告されています。

重みに関わる技術

• 重みの共有：畳み込み層は、同じフィルタの重みを画像全体で使い回します。
• 正則化：L2正則化は、重みが大きくなりすぎないよう罰則を加え、過学習を抑えます。
• 軽量化：量子化は重みを少ないビット数で表し、プルーニングは重要度の低い重みを取り除きます。

覚え方

「重みは入力ごとの効き具合のつまみ。学習はそのつまみを回す作業」と覚えます。