連鎖律とは

連鎖律は、高校数学で習う「合成関数の微分」の規則です。ニューラルネットワークの学習で使う誤差逆伝播法は、この規則を繰り返し使って勾配を求めます。

規則の中身

yがuの関数で、uがxの関数のとき、xを少し動かしたときのyの変化の割合は、次の積で求めます。

dy/dx = (dy/du) × (du/dx)

歯車にたとえてみます。xの歯車が1回転するとuの歯車が3回転し、uが1回転するとyが2回転するとします。このときxが1回転すると、yは3 × 2 = 6回転します。変化の倍率が掛け算で伝わる、というのが連鎖律です。

計算例

y = (2x + 1)²を、x = 1のときについて微分します。u = 2x + 1とおくと、y = u²です。

• dy/du = 2uです。x = 1のときu = 3なので、6です。
• du/dx = 2です。
• よってdy/dx = 6 × 2 = 12です。

展開したy = 4x² + 4x + 1を微分するとdy/dx = 8x + 4で、x = 1を入れても12になり、結果が一致します。

ニューラルネットワークでの使われ方

ニューラルネットワークは、層ごとの計算を何重にも重ねた大きな合成関数です。誤差逆伝播法は、出力層の誤差から出発し、各層の微分を順に掛けながら入力層側へ勾配を伝えます。途中の結果を使い回すので、すべての重みの勾配を効率よく求められます。PyTorchなどのフレームワークは、この計算を自動で行います（自動微分）。

一方で、勾配が微分の積になることは弱点にもなります。1より小さい値を何度も掛けると勾配消失問題が、1より大きい値を掛け続けると勾配爆発問題が起きます。

覚え方

「変化の倍率は掛け算でつながる」と覚えます。