DQNの学習で生じやすい問題と、それに対処する改良手法の説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：DQNの課題と改良手法
ポイント
ノイジーネットワークは、重みに学習可能なノイズを加えて探索を促す手法で、ε-greedy法に代わる探索の仕組みです。
選択肢ごとの解説
- A
適切
ゲームなどで続けて得た遷移は互いに似ており、順に学習すると更新が偏ります。DQNは経験再生でこの相関を弱め、更新を遅らせたターゲットネットワークで目標値の揺れも抑えて、学習を安定させます。
- B
適切
DQNは同じネットワークで最大のQ値をもつ行動を選び、その値を目標値にも使うため、推定誤差で高めの値が選ばれがちです。ダブルDQNは学習中のネットワークで行動を選び、ターゲットネットワークでその価値を評価して、過大評価を抑えます。
- C
適切
デュエリングネットワークは、状態そのものの価値と、行動ごとの相対的な有利さ（アドバンテージ）を別々の出力で推定し、合わせてQ値を求めます。どの行動を選んでも結果が変わりにくい状態でも、状態価値の学習が進みます。
- D
不適切 正解
ノイジーネットワークは、ネットワークの重みに、大きさを学習できるノイズを加える手法です。行動の選び方にばらつきを生んで探索を促し、ε-greedy法に代わって探索を担います。データ拡張で過学習を抑える手法ではありません。
補足
Rainbow（2017年）は、ダブルDQN、デュエリングネットワーク、ノイジーネットワークに、優先度付き経験再生、マルチステップ学習、分布型強化学習を加えた6つの改良を、DQNに組み合わせた手法です。改良を組み合わせることで、Atariゲームでの性能が個々の改良を単独で使う場合より高まりました。
試験での狙われ方
DQNの改良手法の名前と、それぞれが対処する課題（過大評価、探索、学習の安定化）を入れ替えて問う形が典型です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目29 深層強化学習）
- Mnih et al., Human-level control through deep reinforcement learning, Nature 518 (2015)
- van Hasselt, Guez, Silver, Deep Reinforcement Learning with Double Q-learning (2015)
- Wang et al., Dueling Network Architectures for Deep Reinforcement Learning (2015)
- Fortunato et al., Noisy Networks for Exploration (2017)
- Hessel et al., Rainbow: Combining Improvements in Deep Reinforcement Learning (2017)