オフライン強化学習を、環境とやりとりしながら学ぶ通常の強化学習や、模倣学習と比べた説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：オフライン強化学習の難しさ
ポイント
オフライン強化学習の中心的な課題は、データにない行動の価値の誤りを、環境で試して正せないことです。
選択肢ごとの解説
- A
不適切
DQNは経験再生で過去のデータを再利用しますが、学習中も環境とやりとりしてデータを集め続けます。オフライン強化学習は、新たなやりとりを一切せず、固定されたデータだけから学ぶ設定を指します。
- B
適切 正解
方策は価値の高い行動を選ぼうとするため、データにない行動の価値が誤って高いと、その行動に引き寄せられます。通常の強化学習なら試して誤りに気づけますが、オフラインでは正せません。分布シフトと呼ばれる課題です。
- C
不適切
記録データの行動を真似るのは、模倣学習（行動クローニング）です。オフライン強化学習は報酬の情報も使い、データを集めたときの方策より良い方策を得ることを目指します。
- D
不適切
データに含まれる状態や行動の範囲は、集めたときの方策で決まります。報酬の高い行動がほとんど含まれないデータからは、量が多くても良い方策を学ぶことは困難です。
試験での狙われ方
オフライン強化学習は、経験再生を使う通常の強化学習や、模倣学習との違いを問う形で出題されやすい論点です。