Q学習とSARSAの違い

Q学習とSARSAは、どちらも状態と行動の組の価値（Q値）を、試行錯誤で得た報酬から学ぶ強化学習の手法です。更新式の違いは1か所だけですが、学ぶ価値が変わります。

Q学習

Q学習は、1989年にワトキンスが提案しました。状態sで行動aをとり、報酬rと次の状態s'を受け取ったら、次の式で更新します。αは学習率、γは割引率です。

Q(s, a) ← Q(s, a) + α × (r + γ × max_a' Q(s', a') − Q(s, a))

目標には、次の状態で最も価値の高い行動のQ値を使います。学習中はε-greedy方策で無作為な行動も試しますが、更新は「次からは最善の行動をとる」前提で行います。行動を選ぶ方策と、価値を学ぶ方策が異なるので、方策オフ型と呼びます。

この性質のため、過去にためた経験を後から学習に使い回す経験再生と組み合わせやすくなります。DQNは、Q値をニューラルネットワークで近似し、経験再生を使ってQ学習を行いました。

SARSA

SARSAは、1994年にラマリーとニランジャンが提案しました。次の状態s'で、方策に従って次の行動a'を実際に選んでから更新します。

Q(s, a) ← Q(s, a) + α × (r + γ × Q(s', a') − Q(s, a))

探索で選んだ行動も目標に反映されるため、いま従っている方策そのものの価値を学びます。これを方策オン型と呼びます。名前は、更新に使うState、Action、Reward、State、Actionの頭文字です。

結果の違い

サットンとバートの教科書には、崖沿いの道を進む迷路の例があります。ε-greedyで探索を続けると、Q学習は崖沿いの最短経路の価値を学びますが、探索中にときどき崖へ落ちます。SARSAは落ちる危険も価値に織り込み、崖から離れた安全な経路を選びます。探索の度合いを徐々に小さくしていけば、どちらも最適な方策に近づきます。