強化学習の各手法が、学習中のどの時点で、何をもとに価値や方策を更新するかに関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：実際の収益と推定値による更新
ポイント
実際の収益で更新するREINFORCEはばらつきが大きくなりがちです。Actor-CriticはCriticの推定値を使ってばらつきを抑えます。
選択肢ごとの解説
- A
適切
Q学習は1ステップごとに更新するTD学習の一種です。目標値
r + γ max Q(s',a')に次の状態の推定値を含め、推定値をもとに推定値を更新します。そのため、エピソードの終了を待たずに学習が進みます。 - B
適切
SARSAは、状態、行動、報酬、次の状態、次の行動の5つがそろった時点で更新します。手法の名前は、この5つの要素の頭文字（S、A、R、S、A）に由来します。
- C
適切
収益は、各時刻からエピソードの終わりまでの報酬を割り引いて足し合わせた値で、エピソードが終わるまで確定しません。そのため基本形のREINFORCEは、エピソードの終了後にまとめて方策を更新します。
- D
不適切 正解
実際の収益には途中の偶然の結果がすべて含まれるため、REINFORCEの更新はばらつきが大きくなりがちです。Actor-Criticは、Criticが推定した価値を使うことで、偏りが入る代わりにばらつきを抑え、1ステップごとの更新も可能にします。
試験での狙われ方
エピソードの終了を待つ手法と1ステップごとに更新できる手法の違いや、収益と推定値のどちらで更新するかによる違いを問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目9 強化学習）
- Sutton and Barto, Reinforcement Learning: An Introduction, 2nd ed. (2018), 6.4 Sarsa, 6.5 Q-learning, 13.3 REINFORCE and 13.5 Actor-Critic Methods
- Williams, Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning, Machine Learning 8 (1992)