LSTMのある時刻において、記憶セルの1つの要素について、前の時刻の値が2.0、忘却ゲートの値が0.8、入力ゲートの値が0.5、新しく書き込む候補の値が0.6、出力ゲートの値が0.7であった。この時刻の更新後の記憶セルの値として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：LSTMの記憶セルの更新計算
ポイント
LSTMの記憶セルは、忘却ゲートで前の記憶を残す量と入力ゲートで新しい情報を書き込む量を調整し、その和で更新されます。
選択肢ごとの解説
- A
不適切
忘却ゲートの値を「消す割合」とみなし、(1−0.8)×2.0＋0.5×0.6＝0.7と計算した誤りです。忘却ゲートの値は前の記憶を残す割合で、1に近いほど多く残ります。
- B
不適切
正しい値1.9に出力ゲートの値0.7を掛けた値です。出力ゲートは記憶セルから隠れ状態へ読み出す量を調整するもので、記憶セルの更新には使いません。隠れ状態は、出力ゲートの値とtanh(記憶セル)の積です。
- C
適切 正解
記憶セルは「前の値×忘却ゲート＋候補の値×入力ゲート」で更新します。0.8×2.0＋0.5×0.6＝1.6＋0.3＝1.9です。
- D
不適切
忘却ゲートと入力ゲートを取り違え、0.5×2.0＋0.8×0.6＝1.48と計算した値です。忘却ゲートは前の時刻の記憶に、入力ゲートは新しい候補の値に掛けます。
補足
各ゲートの値はシグモイド関数の出力なので0〜1の範囲に、候補の値はtanh関数の出力なので−1〜1の範囲に収まります。忘却ゲートが1に近く入力ゲートが0に近いほど、記憶セルの値は前の時刻からほとんど変わらず、長い期間の情報を保てます。
試験での狙われ方
各ゲートが何に掛かるかを取り違えた値や、出力ゲートまで掛けた値を選択肢に混ぜ、ゲートの役割の理解を確かめる形が考えられます。