ゲート機構とは

ゲート機構は、ニューラルネットワークの中で「情報をどれだけ通すか」を調整する仕組みです。RNNの弱点を補ったLSTMやGRUの中心にあります。

門の開き具合を学ぶ

ゲートは、0から1の値をとる「門」のようなものです。値はシグモイド関数で計算し、通したい情報に要素ごとに掛け合わせます。1に近ければほぼそのまま通し、0に近ければほぼ遮断し、中間の値なら一部だけ通します。

大切なのは、門の開き具合が固定ではないことです。ゲートの値は、その時刻の入力と1つ前の時刻の隠れ状態から、時刻ごとに計算されます。計算に使う重みは、ほかの重みと一緒に誤差逆伝播法で学習します。そのため「文の区切りが来たら前の話題を忘れる」といった判断を、データから身につけられます。

LSTMとGRUのゲート

LSTMは、記憶セルに対して3つのゲートを持ちます。

• 入力ゲート：新しい情報をどれだけ書き込むか。
• 忘却ゲート：前の時刻の記憶をどれだけ残すか。
• 出力ゲート：記憶のうち、どれだけを隠れ状態として外に出すか。

1997年に提案された当初のLSTMには、忘却ゲートはありませんでした。2000年にGersらが加えたものです。GRUは、更新ゲートとリセットゲートの2つで、より簡単な構造にしています。

勾配消失を和らげる理由

単純なRNNでは、時刻をさかのぼるたびに重みや活性化関数の微分が掛け合わされ、勾配が急速に小さくなります。LSTMの記憶セルは、前の記憶にゲートを掛けて新しい情報を足す、という足し算中心の経路で更新されます。そのため、必要な情報と勾配を長い時間にわたって保ちやすくなります。

ゲートの考え方は、層をまたいで情報を通すHighway Networkなど、RNN以外のモデルにも使われています。