APE-Xとは

APE-Xは、DeepMindのDan Horganらが2018年に発表した深層強化学習の手法です。論文名はDistributed Prioritized Experience Replay（分散型の優先度付き経験再生）です。多くの計算機で手分けして、従来よりはるかに多くの経験から学べるようにします。

行動と学習を分ける

APE-Xは、役割を2つに分けます。

• アクター：それぞれが自分の環境のコピーで行動し、経験を集めます。集めた経験は、共有の再生メモリに送ります。
• 学習器：再生メモリから経験を取り出し、ネットワークの重みを更新します。アクターは、学習器から最新の重みを定期的に受け取ります。

Atariのゲームの実験では、CPUで動く360個のアクターと、GPUで動く1つの学習器を使いました。学習の手法は、ダブルDQN、マルチステップ学習、デュエリングネットワークを組み合わせたDQNです。

優先度付き経験再生との組み合わせ

再生メモリから経験を取り出すときは、予測とのずれ（TD誤差）が大きく、学ぶことの多い経験を優先します。新しい経験の最初の優先度は、アクターが手元で計算してから送ります。また、アクターごとにε-greedy方策のεの値を変えるので、慎重なアクターとよく探索するアクターの経験が混ざります。

これらにより、Atariのゲームで当時の最高水準を上回る成績を、従来より短い学習時間で達成しました。連続値制御の課題でも、DDPGをもとにしたApe-X DPGで同じ枠組みを試しています。

A3Cとの違い

A3Cも並列化の手法ですが、各ワーカーが勾配を計算して共有のネットワークを直接更新し、経験再生は使いません。APE-Xは、勾配ではなく経験そのものを再生メモリに集め、1つの学習器がまとめて学ぶ点が異なります。

覚え方

「大勢の役者（アクター）が集めた経験を、1人の学習器が大事なものから学ぶ」と覚えます。