ある部品メーカーが、ロボットで部品をはめ込む作業を自動化している。従来の制御プログラムでも大半はうまくはめ込めるが、摩擦や部品の寸法のわずかな違いで失敗することがある。実機での試行回数を抑えつつ、既存の制御プログラムを生かして失敗を減らしたい。この目的に合う方法として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：既存の制御を生かす強化学習
ポイント
残差強化学習は、既存の制御の出力に学習した補正を足すことで、少ない試行で従来の制御を改善する手法です。
選択肢ごとの解説
- A
不適切
PPOは連続値の制御にも使える手法ですが、ゼロから学ぶと動作全体を試行錯誤で覚える必要があり、実機での試行回数が増えます。既存の制御プログラムの良さも生かせません。
- B
不適切
模倣学習で得られるのは、お手本である既存の制御プログラムに近い動きです。同じ動きを再現するだけなので、お手本が失敗する場面での失敗は減らせません。
- C
適切 正解
残差強化学習では、行動を「従来の制御の出力＋学習した補正」とします。大部分は従来の制御が担い、強化学習は摩擦などモデル化しにくい部分の補正だけを学ぶため、少ない試行で学習しやすくなります。
- D
不適切
ドメインランダマイゼーションは、シミュレータで学んだ方策を実機でも使えるようにする工夫です。有効な場面はありますが、既存の制御プログラムを生かすというこの場面の条件には合いません。
試験での狙われ方
残差強化学習は「既存の制御を土台に、足りない部分だけを学ぶ」という特徴を、ほかの深層強化学習の手法と見分けさせる形で問われます。