ある状態sで選べる行動はa1〜a4の4つである。エージェントはε-greedy方策に従い、確率1−εでは行動価値が最大の行動を選び、確率εでは4つの行動から等確率で1つを選ぶ。この方策のもとでの行動価値は、Q(s,a1)=10、Q(s,a2)=6、Q(s,a3)=4、Q(s,a4)=0である。ε=0.2のとき、状態sの状態価値V(s)として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：ε-greedy方策のもとでの状態価値
ポイント
状態価値は、各行動の行動価値を方策の選択確率で重み付けした和です。ε-greedy方策では、最良の行動の確率が1−ε+ε/行動数になります。
選択肢ごとの解説
- A
不適切
4つの行動価値を単純に平均した値です（
(10+6+4+0)÷4 = 5）。すべての行動を等確率で選ぶ方策ならこの計算になりますが、ε-greedy方策ではa1を選ぶ確率がずっと高くなります。 - B
不適切
a1を選ぶ確率を
1−ε = 0.8とした誤りです（0.8×10 + 0.05×(6+4+0) = 8.5）。確率εの無作為な選択でもa1は選ばれうるため、a1の確率は0.8 + 0.05 = 0.85です。 - C
適切 正解
a1の確率は
0.8 + 0.2÷4 = 0.85、ほかの行動は各0.05です。状態価値は行動価値を選択確率で重み付けした和なので、0.85×10 + 0.05×(6+4+0) = 8.5 + 0.5 = 9.0です。 - D
不適切
行動価値の最大値をそのまま状態価値とした誤りです。ε-greedy方策では合計0.15の確率で価値の低いa2〜a4も選ぶため、状態価値は最大値の10より小さくなります。
補足
式で書くとV(s) = Σ π(a|s) Q(s,a)です。ε-greedy方策では、最良でない行動にもそれぞれε/行動数の確率が残ります。各行動の確率を足して1になるかを確かめると、計算の誤りに気づきやすくなります（この問題では0.85 + 0.05×3 = 1）。
試験での狙われ方
ε-greedy方策で各行動が選ばれる確率や、状態価値と行動価値の関係を、数値で確かめさせる形が考えられます。