ある鉄道会社が、車両の空調装置のセンサー値を1分ごとに記録した時系列データから、故障を予測するモデルを作っている。故障の数時間前に現れるわずかな異常が予兆になることがわかっているが、単純なRNNで学習させると、直前の数十分の入力にしか反応しないモデルになった。改善策として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：長期依存の学習とモデル選択
ポイント
単純なRNNが遠い過去を活かせない主な原因は勾配消失で、ゲート機構をもつLSTMやGRUに替えるのが基本的な対処です。
選択肢ごとの解説
- A
不適切
シグモイド関数の導関数の最大値は0.25で、tanh関数の1より小さくなります。時刻をさかのぼるたびに掛かる値がさらに小さくなるため、勾配消失はかえって起きやすくなります。
- B
適切 正解
単純なRNNは、時刻をさかのぼるたびに勾配が小さくなる勾配消失問題のため、遠い過去の入力の影響を学習しにくくなります。LSTMやGRUはゲートで情報を残す経路を持ち、長期の依存関係をとらえやすくなります。
- C
不適切
ジョルダンネットワークも時刻をさかのぼって学習するため、勾配消失の問題は解決しません。次の時刻へ戻す情報が予測値だけになり、予測値に表れない過去の手がかりはかえって伝わりにくくなります。
- D
不適切
学習率を上げると、直前の時刻からの大きな勾配による更新も同じ割合で大きくなります。遠い過去の影響が相対的に小さいことは変わらず、学習が不安定になって発散するおそれも高まります。
試験での狙われ方
単純なRNNの長期依存の弱さと、その対処としてのLSTMやGRUを、業務データの事例に当てはめて問う形が考えられます。