深層強化学習で、複数の環境を並列に動かして学習を効率化する手法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：A3CとAPE-Xの並列化の違い
ポイント
A3Cは複数のワーカーが共有パラメータを非同期に更新し、APE-Xは多数のアクターの経験を共有の再生メモリに集めて学習します。
選択肢ごとの解説
- A
不適切
これはAPE-Xの説明です。A3Cは経験再生を使いません。各ワーカーが自分の環境で得た経験から勾配を計算し、共有のパラメータを直接更新します。
- B
適切 正解
A3Cでは、ワーカーが互いを待たずに（非同期に）共有のパラメータを更新します。同じ時点に異なる状況の経験が集まるため経験どうしの相関が弱まり、経験再生を使わなくても学習が安定します。
- C
不適切
APE-Xは、多数のアクターがそれぞれ異なる探索の度合いで行動し、経験を共有の再生メモリに集めます。学習器は重要度の高い経験を優先して取り出すため、大量の経験を効率よく学習に使えます。
- D
不適切
A3CはAsynchronous Advantage Actor-Criticの略で、方策（Actor）と状態価値（Critic）の両方を学習します。行動の良し悪しは、得た収益と状態価値の差であるアドバンテージで評価します。
補足
A3Cの論文では、GPUを使わず1台のマルチコアCPUで、従来の手法の約半分の学習時間で、Atariゲームでの当時の最高性能を上回ったと報告されています。APE-Xは、行動して経験を集める役割と、ネットワークを更新する役割を分け、多数のアクターを動かして大量の経験を集める分散型の構成をとります。
試験での狙われ方
A3CとAPE-Xについて、経験再生を使うかどうかや、何を並列に動かしているかを入れ替えて問う形が考えられます。