LSTMとは

LSTM（Long Short-Term Memory）は、単純なRNNが苦手な、長い時間にわたる依存関係を学習するために考案されたRNNの一種です。1997年にHochreiterとSchmidhuberが提案しました。

記憶セルとゲート

LSTMの各ユニットは、隠れ状態とは別に、情報を長く保つための記憶セルを持ちます。記憶セルへの出し入れは、3つのゲートが制御します。

• 入力ゲート：新しい情報を記憶セルにどれだけ書き込むかを決めます。
• 忘却ゲート：記憶セルの内容をどれだけ残すか（どれだけ消すか）を決めます。
• 出力ゲート：記憶セルの内容のうち、どれだけを隠れ状態として外に出すかを決めます。

各ゲートはシグモイド関数で0から1の値を出し、その値を情報に掛けて、通す量を調整します。ゲートの開き具合は、現在の入力と前の時刻の隠れ状態から、学習した重みで決まります。

勾配が消えにくい理由

記憶セルは、忘却ゲートで調整した前の時刻の内容に、入力ゲートで調整した新しい情報を足し算で加えて更新されます。単純なRNNのように、毎時刻すべてを重みに掛けて活性化関数に通すわけではありません。忘却ゲートが開いている間は、誤差も記憶セルを通ってほぼそのまま過去へ伝わります。この経路は、元の論文でCEC（Constant Error Carousel）と呼ばれた仕組みを受け継いでいます。

歴史と位置づけ

最初のLSTMには忘却ゲートがなく、入力ゲートと出力ゲートだけでした。忘却ゲートは、記憶セルの内容を適切に消せるよう、後の研究（Gersら、2000年）で加えられました。

LSTMは機械翻訳、音声認識、文章生成などで広く使われ、Seq2Seqの部品にもなりました。一方、3つのゲートと記憶セルへの入力のそれぞれに重みを持つため、パラメータは単純なRNNの約4倍になります。ゲートを2つに減らして簡略化したモデルがGRUです。

覚え方

「入れる・忘れる・出す、の3つの門がある記憶の箱」と覚えます。