ある小売企業は、日々の売上を予測するRNNを2種類試作した。モデルPは、各時刻の隠れ層の値を、次の時刻の隠れ層に入力として戻す。モデルQは、各時刻の出力層の値（その日の予測値）を、次の時刻の隠れ層に入力として戻す。どちらのモデルも、時間方向に展開したネットワークで誤差を過去の時刻へさかのぼらせて学習する。モデルPとモデルQの構造の名称、およびこの学習法の名称の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：エルマン型とジョルダン型RNN
ポイント
隠れ層の値を戻すのがエルマンネットワーク、出力層の値を戻すのがジョルダンネットワークです。どちらもBPTTで学習できます。
選択肢ごとの解説
- A
適切 正解
隠れ層の値を文脈層に写して次の時刻に戻すのがエルマンネットワーク、出力層の値を戻すのがジョルダンネットワークです。時間方向に展開して誤差を逆伝播させる学習法はBPTTと呼ばれます。
- B
不適切
構造の名称が逆です。出力層の値（予測値）を戻すモデルQがジョルダンネットワークです。現在広く使われるRNNは、エルマンネットワークと同じく隠れ層の値を次の時刻へ引き継ぎます。
- C
不適切
学習法が誤りです。教師強制は、学習時に前の時刻の出力の代わりに正解データを次の入力として与える方法で、モデルQのように出力を戻す構造で使えます。誤差を過去へさかのぼらせて勾配を求める方法はBPTTです。
- D
不適切
構造の名称が逆で、学習法も誤りです。教師強制は次の時刻に何を入力するかを決める工夫であり、時間方向に展開したネットワークで誤差を逆伝播させる学習法そのものではありません。
補足
BPTTでは、展開した時刻の数だけ同じ重みが繰り返し使われます。系列が長いと計算量やメモリが増え、勾配消失や勾配爆発も起きやすくなります。そのため、一定の時刻数で逆伝播を打ち切るTruncated BPTTもよく使われます。
試験での狙われ方
エルマンとジョルダンの違いは、次の時刻に戻す値が隠れ層か出力層かを入れ替えて問われやすい論点です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目22 回帰結合層）
- Elman, Finding Structure in Time (1990)