強化学習における状態価値関数と行動価値関数に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：状態価値と行動価値の違い
ポイント
行動価値関数は状態と行動の組に対する収益の期待値を表します。状態価値関数は、状態だけに対する収益の期待値です。
選択肢ごとの解説
- A
不適切
状態価値関数は、その状態から方策に従って行動したときに得られる割引累積報酬（収益）の期待値です。直後の報酬だけでなく、将来の報酬も割り引いて含みます。
- B
適切 正解
行動価値関数Q(s,a)は、状態と行動の組を評価します。状態価値関数は、方策が各行動を選ぶ確率で行動価値を重み付けして平均した値に当たります。
- C
不適切
同じ「右へ進む」でも、ゴールの手前と壁際では価値が違います。行動価値関数は状態と行動の組ごとに値をもつため、Q(s,a)のように両方を引数にとります。
- D
不適切
状態価値だけでは、どの行動でどの状態に移るかを知らないと行動を比べられません。行動価値関数なら値が最大の行動を選ぶだけで済むため、Q学習などは行動価値を学習します。
試験での狙われ方
状態価値関数と行動価値関数の定義の違いや、Q学習が状態価値ではなく行動価値を学ぶ理由を問う形が考えられます。