次の（ア）〜（ウ）の課題と、その解決に用いられる手法の組み合わせとして、最も適切なものを1つ選べ。（ア）シミュレータで学習したロボットの方策が、摩擦や照明の違いにより実機ではうまく動かない。（イ）対話型の言語モデルの応答を、人間が好ましいと感じる内容に近づけたい。（ウ）事故の危険があるため新たな試行はせず、蓄積済みの運転ログだけで方策を学習したい。
正解と解説を見る
解説
正解 A
この問題の論点：深層強化学習の課題と手法
ポイント
sim2realの対策では、シミュレータの条件をランダムに変えて学習し、実機も変化の幅に含めるドメインランダマイゼーションが代表的です。
選択肢ごとの解説
- A
適切 正解
（ア）は、シミュレータの摩擦や照明などをランダムに変えて学習するドメインランダマイゼーションで対処します。（イ）は人間の評価から報酬を作るRLHF、（ウ）は環境とやり取りせず固定のデータだけで学ぶオフライン強化学習が当てはまります。
- B
不適切
（ア）は正しいものの、残りが誤りです。残差強化学習は、既存の制御器の出力に加える補正分だけを学ぶロボット制御向けの手法で、（イ）には当たりません。マルチエージェント強化学習は、複数のエージェントが協調や競争をしながら学ぶ枠組みで、新たな試行をしない（ウ）には合いません。
- C
不適切
（イ）は正しいものの、残りが誤りです。報酬成形は、途中の行動にも報酬を与えるなど報酬の設計を工夫する手法で、シミュレータと実機の差（リアリティギャップ）は埋められません。（ウ）は蓄積済みのログだけで学ぶため、オフライン強化学習です。
- D
不適切
（ウ）は正しいものの、残りが誤りです。実機とのずれ（ア）は、報酬の設計ではなく、シミュレータの条件を変えて学ぶドメインランダマイゼーションで対処します。言語モデルを人間の好みに合わせる（イ）には、残差強化学習ではなくRLHFを用います。
補足
InstructGPTに代表されるRLHFでは、人が書いた手本の応答で教師ありのファインチューニングをした後、人間が複数の応答を比べて順位をつけたデータから、応答の良さを点数にする報酬モデルを学習します。最後に、その報酬モデルが高く評価する応答を出すように、言語モデルをPPOなどの強化学習で調整します。
試験での狙われ方
課題の場面を示し、ドメインランダマイゼーション、RLHF、オフライン強化学習など対応する手法を選ばせる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目29 深層強化学習）
- Tobin et al., Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (2017)
- Christiano et al., Deep reinforcement learning from human preferences (2017)
- Ouyang et al., Training language models to follow instructions with human feedback (2022)
- Levine et al., Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems (2020)
- Johannink et al., Residual Reinforcement Learning for Robot Control (2018)