LSTMとGRUのゲート機構に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：LSTMとGRUのゲート機構
ポイント
GRUは更新ゲートとリセットゲートの2つで情報を制御し、記憶セルを隠れ状態に統合した、LSTMの簡略版です。
選択肢ごとの解説
- A
適切
LSTMは長期の情報を記憶セルに保持します。入力ゲートが新しい情報の書き込み、忘却ゲートが古い情報の消去、出力ゲートが隠れ状態への読み出しの量を調整します。
- B
適切
ゲートの値はシグモイド関数の出力なので、0〜1の範囲に収まります。0に近ければ情報を遮断し、1に近ければほぼそのまま通す「弁」として働きます。
- C
適切
記憶セルは、前の時刻の値に忘却ゲートの値を掛け、新しい情報を足し合わせて更新されます。忘却ゲートが1に近ければ値も誤差もほぼそのまま伝わるため、勾配消失問題を緩和できます。
- D
不適切 正解
GRUは隠れ状態とは別の記憶セルを持たず、その役割を隠れ状態に統合しています。更新ゲートが入力ゲートと忘却ゲートの働きをまとめて担うため、LSTMよりパラメータが少なく、計算も軽くなります。
補足
忘却ゲートは、1997年に提案された最初のLSTMにはなく、2000年にGersらが追加したものです。現在LSTMと呼ばれるモデルは、通常この忘却ゲートを含む形を指します。
試験での狙われ方
LSTMの3つのゲートの役割や、GRUのゲートの数・記憶セルの有無を入れ替えた選択肢で問われやすい論点です。