ある物流会社は、倉庫内を移動して荷物を棚まで運ぶロボットの動かし方を、強化学習で学習させようとしている。この課題をマルコフ決定過程として定式化するときの説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：マルコフ決定過程の構成要素
ポイント
マルコフ決定過程は、次の状態が現在の状態と行動だけで決まるマルコフ性を仮定します。必要な過去の情報は状態に含めます。
選択肢ごとの解説
- A
適切
状態は行動を決めるのに必要な環境の情報、行動はエージェントが選べる操作です。位置や荷物の有無は、次にどこへ向かうべきかを判断する手がかりになります。
- B
適切
報酬は、達成してほしい目標を数値で伝える手段です。1歩ごとに小さな負の報酬を与えると、遠回りするほど報酬の合計が減るため、短い経路を選ぶ方策が学ばれやすくなります。
- C
不適切 正解
マルコフ決定過程は、次の状態と報酬の確率が現在の状態と行動だけで決まるというマルコフ性を仮定します。過去の情報が必要なら、それを状態に含めて表します。
- D
適切
強化学習では、教師あり学習のように行動ごとの正解を与えません。試行の中で受け取る報酬を手がかりに、累積報酬の期待値が大きくなる方策を探します。
試験での狙われ方
状態、行動、報酬、方策といったマルコフ決定過程の要素を具体的な場面に当てはめさせる形や、マルコフ性の意味を問う形が典型です。