Actor-Criticとは

Actor-Criticは、強化学習で、行動を決める役と、その行動を評価する役を分けて、同時に学習させる手法の総称です。Actorは「役者」、Criticは「批評家」という意味です。役者が演じ、批評家が出来を評価し、役者はその評価で演じ方を直す、という分担です。

2つの役割

• Actor：方策π(a|s)を表し、状態に応じて行動を選びます。方策勾配法でパラメータを更新します。
• Critic：状態価値V(s)などの価値関数を学び、Actorが選んだ行動が見込みより良かったかを評価します。

方策ベースと価値ベースの考え方を組み合わせた構成です。

評価のしかた

基本形では、TD誤差で評価します。

δ = r + γ × V(s') − V(s)

rは受け取った報酬、s'は次の状態、γは割引率です。「受け取った報酬に、次の状態の見込みを割り引いて足したもの」が、「もとの状態の見込み」をどれだけ上回ったかを表します。たとえばr = 1、γ = 0.9、V(s') = 5、V(s) = 4なら、δ = 1 + 4.5 − 4 = 1.5です。正の値なので、Actorはこの行動を選ぶ確率を上げます。Criticも、このδが小さくなるようにV(s)の見積もりを直します。

REINFORCEとの違い

REINFORCEは、エピソードの最後までの実際の収益で行動を評価します。そのため、エピソードが終わるまで更新できず、評価のばらつきも大きくなります。Actor-Criticは、Criticの見積もりを使って1ステップごとに評価できます。ばらつきは小さくなる一方、見積もりが不正確だと評価に偏りが入ります。

歴史と発展

1983年には、Barto、Sutton、Andersonが、台車の上に立てた棒を倒さないように台車を動かす課題に、この仕組みを応用しています。深層強化学習のA3CやPPOも、この構成を発展させた手法です。Actorが方策を直接表すので、ロボット制御のような連続値の行動も扱えます。