強化学習の手法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：価値ベースと方策ベースの手法
ポイント
Q学習やSARSAは行動価値関数を学ぶ価値ベース、REINFORCEは方策を直接学ぶ方策ベースの手法で、Actor-Criticは両方を学びます。
選択肢ごとの解説
- A
不適切
これはSARSAの説明です。Q学習は次の状態で最も大きい行動価値を使って更新します。行動を決める方策と更新に使う方策が異なるため、方策オフ型に分類されます。
- B
適切 正解
REINFORCEは方策勾配法の代表的な手法です。収益が大きかった行動ほど選ばれる確率が上がるように、方策のパラメータを更新します。基本形では価値関数を学習せず、方策そのものを学習します。
- C
不適切
Actor-Criticは、行動を選ぶ方策（Actor）と、その行動を評価する価値関数（Critic）の両方を学習します。Criticの評価を使ってActorを更新するため、収益だけを使う場合より更新のばらつきを抑えやすくなります。
- D
不適切
方策勾配法は、方策を正規分布などの確率分布で表せば、連続値の行動も扱えます。行動ごとの価値を比べて最大のものを選ぶQ学習が連続値の行動を苦手とするのに比べ、強みとなる点です。
試験での狙われ方
Q学習とSARSAの方策オフ型・方策オン型の入れ替えや、各手法が価値関数と方策のどちらを学ぶかの取り違えを問う形が典型です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目9 強化学習）
- Sutton and Barto, Reinforcement Learning: An Introduction, 2nd ed. (2018), Ch.6 and Ch.13
- Watkins and Dayan, Q-learning, Machine Learning 8 (1992)
- Williams, Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning, Machine Learning 8 (1992)