ある機械メーカーが、搬送ロボットの経路を実機で強化学習させている。最短の経路は段差のすぐ脇を通り、そこで誤った方向に1歩動くと落下して機体が損傷する。学習中はε-greedy方策で一定の確率の探索を続けるため、学習期間中の落下の回数をなるべく減らしたい。手法の選び方に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：探索に危険を伴う場面の手法選択
ポイント
SARSAは探索を含めて実際に従う方策の価値を学ぶため、探索の失敗が大きな損失になる場面では、安全な行動を学びやすくなります。
選択肢ごとの解説
- A
適切 正解
SARSAは方策オン型で、探索を含めて実際に従う方策の価値を学習します。段差の脇では探索の1歩が落下につながるため、その危険を織り込んだ、遠回りでも安全な経路が選ばれやすくなります。
- B
不適切
Q学習は、次の状態以降は最善の行動をとると仮定して価値を更新します。探索による失敗は価値に織り込まれないため、段差の脇を通る最短経路を学び、探索を続ける間は落下しやすくなります。
- C
不適切
両者の違いは、更新の目標値に、次の状態で実際に選んだ行動の価値を使うか、最大の価値を使うかにあります。この違いにより、探索を続ける場面では学習される経路が変わります。
- D
不適切
方策オフ型とは、行動を決める方策と学習の対象となる方策が異なることを指します。Q学習でも行動はε-greedy方策で選ぶため、探索で段差の方向へ動くことがあります。
補足
εを学習の進行に合わせて徐々に小さくし、探索をやめていけば、SARSAとQ学習はどちらも最適な方策に近づきます。両者の違いが行動に表れやすいのは、一定の探索を続ける場合です。
試験での狙われ方
方策オン型と方策オフ型の違いを、更新式ではなく、学習される行動の違いとして具体的な場面に当てはめさせる形が考えられます。