A3Cとは

A3Cは、DeepMindのVolodymyr Mnihらが2016年に発表した深層強化学習の手法です。名前は、Asynchronous（非同期）、Advantage（アドバンテージ）、Actor-Criticの3つの頭文字から来ています。

3つのAの意味

• Actor-Critic：行動を決める方策（Actor）と、状態の良し悪しを見積もる状態価値（Critic）を同時に学習します。
• Advantage：行動の評価にアドバンテージを使います。数ステップ分の報酬とその先の状態価値から求めた収益が、今の状態価値をどれだけ上回ったかを表す値です。「見込みより良かったか」で評価するので、更新のばらつきが小さくなります。
• Asynchronous：複数のワーカーが、それぞれ別の環境のコピーで行動します。各ワーカーは自分で計算した勾配で共有のネットワークを更新し、ほかのワーカーの計算を待ちません。

並列化で学習を安定させる

DQNは、続けて得た経験どうしの強い相関を断ち切るために、経験再生を使いました。A3Cでは、多くのワーカーが同時に別々の場面を経験するので、更新に使う経験が自然にばらけます。そのため、経験再生なしでも学習が安定し、大量の経験を保存しておく必要もありません。

論文では、GPUを使わず1台のマルチコアCPUで学習させ、Atariのゲームでそれまでの最高水準を上回りました。連続値の行動を扱う運動制御や、3次元の迷路を進む課題でも成果を示しています。

関連する手法

ワーカーどうしで足並みをそろえ、同期的に更新する変種はA2Cと呼ばれます。APE-Xも並列化の手法ですが、多数のアクターの経験を共有の再生メモリに集めて学ぶ点がA3Cと異なります。PPOも、Actor-Criticの形でよく使われる手法です。

覚え方

「非同期（A）・アドバンテージ（A）・Actor-Critic（A）でA3C」と覚えます。