ある化学メーカーが、反応装置の温度を1分ごとに記録した1年分（約53万時刻）の時系列データでRNNを学習させたい。系列全体で誤差をさかのぼると記憶領域が足りないため、系列を100時刻ずつの区間に分け、順伝播では区間をまたいで隠れ状態を引き継ぎつつ、誤差は区間の中だけでさかのぼる方法（Truncated BPTT）をとる。この方法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：BPTTの打ち切りと学習範囲
ポイント
Truncated BPTTは記憶領域を抑えられる一方で、打ち切った長さより離れた時刻の関係を学習しにくくなります。
選択肢ごとの解説
- A
不適切
記憶領域が必要なのは、逆伝播に使う各時刻の隠れ状態などを保持するためです。保持するのは区間内の時刻の分だけなので、区間を短くするほど必要な記憶領域は小さくなります。
- B
適切 正解
勾配は区間の先頭より前へは伝わりません。100時刻より前の入力が今の誤差にどう効いたかは重みの更新に反映されず、離れた時刻の関係は学習しにくくなります。区間の長さは記憶領域とのかね合いで決めます。
- C
不適切
同じ重みが掛け合わされる回数は、区間の長さである100回までに限られます。系列全体でさかのぼる場合より少ないため、勾配が極端に大きくなる危険はむしろ小さくなります。
- D
不適切
区間の先頭より前の時刻への影響を無視するため、得られる勾配は系列全体でさかのぼった場合の近似です。その代わり、記憶領域と計算量を区間の長さに応じた量に抑えられます。
試験での狙われ方
BPTTの計算量や記憶領域の問題と、逆伝播を一定の時刻数で打ち切ったときに得るものと失うものを結び付けて問う形が考えられます。