Agent57は、Atari 2600の57種類のゲームすべてで人間の基準スコアを上回った。それ以前の手法は、報酬を得る機会の少ないゲームなど一部のゲームで成績が振るわなかった。Agent57がこれを克服するために取り入れた工夫の説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：Agent57の探索の工夫
ポイント
Agent57は、内発的報酬による探索と、探索の度合いを選ぶメタコントローラを組み合わせ、57種類すべてのゲームで人間の基準を上回りました。
選択肢ごとの解説
- A
不適切
Agent57は人間のプレイデータを使っていません。人間の実演に頼らず、1つのアルゴリズムで57種類のゲームすべてを学習した点が、この成果の要点です。
- B
不適切
Agent57は、ゲームごとに報酬を設計し直してはいません。すべてのゲームを同じアルゴリズムで学習し、報酬の少なさは、新しさに応じた内発的報酬による探索で補っています。
- C
不適切
環境のモデルを学習して木探索で先読みするのは、MuZeroなどのモデルベースの手法です。Agent57は環境のモデルを使わないモデルフリーの手法で、分散型の深層強化学習であるR2D2を土台にしています。
- D
適切 正解
Agent57は、新しさに応じた内発的報酬で探索を促すNGUという手法を土台にしています。探索の強さと割引率が異なる複数の方策のうち、どれを優先して使うかを、バンディットアルゴリズムによるメタコントローラが学習中に選びます。
試験での狙われ方
Agent57は「Atariの57種類のゲームすべてで人間の基準を上回った」という成果とあわせて、探索の工夫が問われることがあります。