マルコフ決定過程で表した課題で、エージェントは時刻tの行動のあと、報酬を順に10、0、20と受け取り、エピソードが終了した。割引率γを0.5とするとき、時刻tから見た割引累積報酬（収益）として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：割引率と累積報酬の計算
ポイント
割引累積報酬は、n番目の報酬にγのn−1乗を掛けて足し合わせた値です。γが小さいほど目先の報酬を重視します。
選択肢ごとの解説
- A
不適切
最初の報酬にもγを掛けた誤りです（
0.5×10 + 0.25×0 + 0.125×20 = 7.5）。直後に受け取る報酬は割り引かず、2番目にγ、3番目にγ²を掛けます。 - B
適切 正解
収益は
G = r1 + γ×r2 + γ²×r3で求めます。10 + 0.5×0 + 0.25×20 = 15です。遠い将来に受け取る報酬ほど、大きく割り引いて評価します。 - C
不適切
3番目の報酬にγ²ではなくγを掛けた誤りです（
10 + 0.5×0 + 0.5×20 = 20）。n番目の報酬にはγのn−1乗を掛けるため、20には0.25を掛けます。 - D
不適切
割引をせずに報酬を単純に足した値です（
10 + 0 + 20 = 30）。割引率が1のときの値に当たり、0.5では将来の報酬が小さく評価されます。
補足
状態価値関数は、ある状態から方策に従って行動したときに得られる、この割引累積報酬の期待値です。報酬の大きさに上限があれば、割引率を1未満にすることで、終わりのない課題でも累積報酬が有限の値に収まります。
試験での狙われ方
割引率を与えて収益を計算させる形や、割引率を0に近づけたときと1に近づけたときの振る舞いを問う形が考えられます。