エルマンネットワークとは

エルマンネットワークは、認知科学者のJeffrey Elmanが1990年の論文「Finding Structure in Time」で示した、再帰型ニューラルネットワーク（RNN）の基本形です。単純再帰型ネットワーク（SRN）とも呼ばれます。現在の基本的なRNNは、ほぼこの形をしています。

しくみ

入力層・隠れ層・出力層からなるネットワークに、文脈層（context layer）を加えます。各時刻の隠れ層の値は、そのまま文脈層に写し取られます。次の時刻には、新しい入力と文脈層の値が一緒に隠れ層へ入ります。

こうして隠れ層は、「今の入力」と「直前の自分の状態」をあわせて計算します。直前の状態はさらに前の状態から作られているので、それより前の入力の影響も少しずつ受け継がれます。そのため、文の中で次に来る単語を予測するなど、順序に意味のある課題を学習できます。Elmanは、単語を1つずつ入力して次の単語を予測させる実験で、名詞や動詞といった単語のまとまりが隠れ層の表現に自然に現れることを示しました。

ジョルダンネットワークとの違い

それより前の1986年にMichael I. Jordanが示したジョルダンネットワークは、出力層の値を戻します。エルマンネットワークは隠れ層の値を戻すので、出力として表に出ない内部の情報も次の時刻へ渡せます。

学習と弱点

時間方向に展開すると、時刻の数だけ層を重ねた深いネットワークと同じ形になり、BPTTで学習できます。ただし、時刻をさかのぼるほど勾配が小さくなる勾配消失が起きやすく、遠い過去の情報を保つのは苦手です。この弱点を補うのがLSTMやGRUです。

覚え方

アルファベットはEがJより前、層は隠れ層が出力層より前です。「E（Elman）＝隠れ層、J（Jordan）＝出力層」と対応させて覚えます。発表年はJordan（1986年）が先です。