Rainbowは、DQNに対して別々に提案された複数の改良を、1つのエージェントにまとめて組み込んだ手法である。Rainbowに組み込まれている改良として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：Rainbowを構成する改良
ポイント
Rainbowは、ダブルDQNやデュエリングネットワークなどDQNの6つの改良を1つのエージェントに統合した手法で、並列化の仕組みは含みません。
選択肢ごとの解説
- A
適切
DQNは再生メモリから経験を一様に取り出します。優先度付き経験再生は、元の手法ではTD誤差の大きさを目安に、学ぶ余地の多い経験を優先して取り出します。Rainbowでは分布の誤差を目安にして組み込んでいます。
- B
適切
DQNは1ステップ分の報酬と次の状態のQ値で目標値を作ります。Rainbowはnステップ分の割引報酬の和に、nステップ先の状態の価値を加えて目標値とし、新しく得た報酬の情報が早く伝わるようにしています。
- C
適切
分布型強化学習は、将来の収益を1つの期待値ではなく確率分布として推定します。Rainbowは、この分布の推定にマルチステップの目標値を組み合わせて用いています。
- D
不適切 正解
これはA3Cの非同期並列学習の説明です。Rainbowの論文はアルゴリズムの改良の組み合わせに絞り、並列化は今後の課題としています。多数のアクターで経験を集める仕組みは、APE-Xなどの分散型の手法で用いられます。
補足
Rainbowに組み込まれた6つの改良は、ダブルDQN、優先度付き経験再生、デュエリングネットワーク、マルチステップ学習、分布型強化学習、ノイジーネットワークです。それぞれが過大評価、学習の効率、探索など異なる課題に対応しています。
試験での狙われ方
Rainbowの構成要素と、A3CやAPE-Xのような並列・分散型の手法とを区別できるかが問われやすい論点です。