回帰結合層（シラバス 技術22）

回帰結合層とRNN

回帰結合層は、ある時刻の中間層の状態を、次の時刻の入力と一緒に同じ層へ戻す結合を持つ層です。この層を含むネットワークがリカレントニューラルネットワーク(RNN)です。各時刻で同じ重みを使い回し、それまでの入力の要約を状態として持ち運びます。

向いているデータ

RNNは、並び順に意味がある時系列データや系列データに向いています。株価やセンサーの値、音声、文章が例です。データごとに系列の長さが違っても、同じ層を時刻の数だけ繰り返して処理できます。

初期の構造

• エルマンネットワーク：中間層の出力を、次の時刻の中間層へ戻します。
• ジョルダンネットワーク：出力層の出力を、次の時刻の中間層へ戻します。

学習の方法と課題

RNNを時間方向に展開すると、時刻の数だけ層が重なった深いネットワークとみなせます。そこで、時刻をさかのぼりながら誤差逆伝播法を適用します。これをBPTT（Backpropagation Through Time）と呼びます。

さかのぼる時刻が増えるほど、同じ重みによる掛け算が何度も重なります。その結果、勾配が0に近づいて遠い過去の影響を学べなくなる勾配消失問題や、勾配が極端に大きくなって学習が不安定になる勾配爆発問題が起きます。勾配爆発には、勾配の大きさに上限を設ける勾配クリッピングが使われます。

ゲート機構を持つRNN

勾配消失への代表的な対策が、情報をどれだけ通すかを0から1の値で調整するゲート機構です。

• LSTM：情報を保つ記憶セルを持ち、入力ゲート、出力ゲート、忘却ゲートで、書き込み、読み出し、忘却を調整します。長い系列でも過去の情報を保ちやすくなります。
• GRU：LSTMを簡略にした構造で、更新ゲートとリセットゲートの2つを使います。記憶セルを別に持たず、パラメータが少ないぶん計算も軽くなります。

双方向RNN(Bidirectional RNN)

系列を前から読むRNNと後ろから読むRNNを組み合わせ、各時刻で前後両方の文脈を使います。文中の単語の品詞を判定するなど、系列全体が手元にそろっている処理に向いています。

教師強制

文章の生成のように、ある時刻の出力を次の時刻の入力にするモデルでは、学習の初期に誤った予測が入力されると、その後の学習が崩れやすくなります。教師強制は、学習時に1つ前の時刻の正解を入力として与える方法です。学習は安定して速く進みます。ただし、推論時は自分の予測を入力に使うため、学習時との条件のずれが残ります。