双方向RNNとは

双方向RNN（Bidirectional RNN）は、系列を前から読むRNNと後ろから読むRNNを組み合わせたモデルです。1997年にSchusterとPaliwalが提案しました。

なぜ後ろからも読むのか

普通のRNNは、系列を先頭から順に読みます。そのため、ある時刻の隠れ状態には、それより前の情報しか入りません。しかし、文の中の単語の意味は、後ろに続く語で決まることがよくあります。「はし」が橋か箸かは、続く「を渡る」「で食べる」を見るとわかります。

しくみ

双方向RNNは、2つの独立したRNNを持ちます。

• 順方向のRNN：先頭から末尾へ読み、各時刻までの前の文脈をまとめます。
• 逆方向のRNN：末尾から先頭へ読み、各時刻より後ろの文脈をまとめます。

各時刻では、2つの隠れ状態をつなげるなどして出力に使います。中のRNNにLSTMを使ったものは双方向LSTMと呼ばれ、音声認識や固有表現抽出などで広く使われました。

使える場面と使えない場面

逆方向に読むには、系列の終わりまでの入力がそろっている必要があります。文書の分類や、翻訳元の文の読み込みのように、入力が最初からすべてあるタスクに向きます。Seq2Seqに注意機構を組み込んだBahdanauらの翻訳モデルでも、入力文を読むエンコーダに双方向RNNが使われました。

一方、話している途中で文字を確定させる音声認識や、文章を1語ずつ生成するデコーダでは、後ろの入力がまだないため、そのままでは使えません。

ほかのモデルとの関係

ELMoは、順方向と逆方向のLSTM言語モデルを組み合わせ、文脈に応じた単語の表現を作ります。BERTも「双方向」と呼ばれますが、RNNではなく、TransformerのSelf-Attentionで前後の文脈を同時に見ます。

覚え方

「前から読む人と後ろから読む人が、メモを持ち寄る」と覚えます。