ある物流会社は、倉庫の8種類のセンサー値を1時間ごとに記録した時系列データを、隠れ層のユニット数が16の単純なRNN（エルマンネットワーク）に入力する。1つの系列の長さは48時刻である。このRNN層が持つ学習可能なパラメータ（入力から隠れ層への重み、隠れ層から隠れ層への重み、バイアス）の総数として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：RNN層のパラメータ数
ポイント
RNNはすべての時刻で同じ重みを共有するため、パラメータ数は入力と隠れ層の次元だけで決まり、系列の長さには依存しません。
選択肢ごとの解説
- A
不適切
128＋16＝144は、入力から隠れ層への重みとバイアスだけを数えた値です。RNNは前の時刻の隠れ状態も入力に使うため、隠れ層から隠れ層への重み16×16＝256が加わります。
- B
適切 正解
入力から隠れ層への重みが8×16＝128、隠れ層から隠れ層への重みが16×16＝256、バイアスが16です。合計は128＋256＋16＝400になります。
- C
不適切
400を4倍した値で、同じ大きさの標準的なLSTM層のパラメータ数です。LSTMは入力ゲート・忘却ゲート・出力ゲートと記憶セルへの候補値の4組の重みとバイアスを持ちますが、単純なRNNは1組だけです。
- D
不適切
400×48＝19,200は、時刻ごとに別の重みを持つとみなした値です。RNNはすべての時刻で同じ重みを使い回すため、パラメータ数は系列の長さに左右されません。
補足
重みを共有しているため、学習に使った系列と長さの異なる系列にも、同じモデルをそのまま適用できます。長さが48時刻でも100時刻でも、使う重みは同じ400個です。
試験での狙われ方
RNNのパラメータ数は、隠れ層から隠れ層への重みの数え忘れや、系列の長さを掛けてしまう誤りを誘う形で問われることがあります。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目22 回帰結合層）
- Elman, Finding Structure in Time (1990)