REINFORCEとは

REINFORCEは、ロナルド・ウィリアムズが提案し、1992年の論文で詳しく示した、方策勾配法の基本となる手法です。名前は「REward Increment = Nonnegative Factor × Offset Reinforcement × Characteristic Eligibility」の頭文字をとったもので、英語で「強化する」という意味の単語と同じつづりです。

名前が表す更新のしかた

名前は、更新の式の形そのものを表しています。

更新量 = 学習率（0以上の係数） × （報酬 − ベースライン） × 行動の選ばれやすさを上げる方向

報酬がベースラインを上回れば、そのとき選んだ行動の確率を上げます。下回れば、その確率を下げます。

手順

1. いまの方策で、エピソードを最後まで行う。
2. 各時刻について、そこから最後までに得た収益Gを計算する。
3. 各時刻でとった行動aが、その状態sで選ばれやすくなる方向へ、Gに比例した大きさでパラメータθを動かす。

θ ← θ + α × G × ∇log π(a|s, θ)

実際の収益をそのまま使うので、モンテカルロ方策勾配法とも呼ばれます。価値関数を学ぶ必要がなく、仕組みが単純です。行動が連続値の場合にも使えます。

弱点

エピソードが終わるまで更新できません。また、収益は偶然に大きく左右されるため、勾配の見積もりのばらつきが大きく、学習が遅くなりがちです。いまの方策で集めたデータしか使えない方策オン型なので、データを効率よく使えるわけでもありません。

改良

収益から行動によらないベースラインb(s)を引いたG − b(s)を使うと、勾配の期待値を変えずに、ばらつきを小さくできます。ベースラインには、状態価値の推定値がよく使われます。さらに、収益の代わりに価値関数を使って1ステップごとに行動を評価するのが、Actor-Criticです。

覚え方

「結果がよかった一連の行動を、まとめて強化（reinforce）する」と覚えます。