CECとは

CEC（Constant Error Carousel）は、1997年にHochreiterとSchmidhuberが提案したLSTMの、中心となる仕組みです。直訳すると「一定の誤差の回転木馬」で、RNNの勾配消失問題を和らげるために考えられました。

何が問題だったのか

RNNは、誤差を時刻をさかのぼって伝えながら学習します。このとき、時刻を1つさかのぼるごとに、自己ループの重みと活性化関数の微分の積が掛かります。この積が1より小さいと誤差はどんどん小さくなり、遠い過去の情報を学べません。

解決のアイデア

論文は、この積がちょうど1になれば誤差は一定に保たれると考えました。そこで、活性化関数を恒等関数f(x) = xにし、自己ループの重みを1.0に固定したユニットを置きます。このユニットの値は時刻が進んでもそのまま保たれ、誤差も減衰せずに過去へ伝わります。これがCECです。論文では、1000ステップを超える時間差も学習できると報告しています。

ゲートが必要な理由

CECだけでは、関係のない入力まで記憶に書き込まれたり、記憶の内容が不要な場面で出力を乱したりします。そこで、書き込みを制御する入力ゲートと、読み出しを制御する出力ゲートを加えました。CECとこれらのゲートをまとめたものが、記憶セルです。

その後の変化

当初のLSTMには記憶を消す仕組みがなく、区切りのない入力が長く続くと、記憶セルの値が大きくなり続けるおそれがありました。2000年の研究で忘却ゲートが加えられ、自己ループの係数を入力に応じて変え、不要な記憶を消せるようになりました。現在一般的なLSTMはこの形です。忘却ゲートの値が1に近い間は、CECと同じように内容と誤差が保たれます。

覚え方

「誤差を一定（Constant）のまま、ぐるぐる回して（Carousel）保つ」と覚えます。