深層強化学習をゲームに応用した事例に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：ゲームで成果を上げたAIの事例
ポイント
AlphaStarは人間のプレイデータによる教師あり学習から始め、リーグ形式のマルチエージェント強化学習で強化されました。
選択肢ごとの解説
- A
適切
Agent57（2020年）は、57ゲームすべてで人間の基準スコアを上回った初めての深層強化学習エージェントです。探索を重視する方策と活用を重視する方策を、学習中に適応的に使い分けます。
- B
適切
OpenAI Fiveは、PPOを大規模な分散環境で動かす自己対戦の学習で、2019年にDota 2の世界王者チームに勝ちました。味方5体の協調と相手チームとの競争を含むゲームです。
- C
不適切 正解
AlphaStarは、まず人間のプレイデータで教師あり学習を行い、その後、多数のエージェントを競わせるリーグ形式のマルチエージェント強化学習で強化されました。人間のデータを使わずに学んだ例には、AlphaGo ZeroやOpenAI Fiveがあります。
- D
適切
2015年にNature誌で発表されたDQNは、画面の画素とスコアだけを入力に、49種類のAtariゲームを同じネットワーク構造とハイパーパラメータで学習しました。ゲームごとに特徴量を設計しなくても、多くのゲームで人間に匹敵する成績を出しました。
試験での狙われ方
Agent57、OpenAI Five、AlphaStarについて、対象のゲームと学習の方法（人間のデータを使うか、自己対戦か）を入れ替えて問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目29 深層強化学習）
- Badia et al., Agent57: Outperforming the Atari Human Benchmark (2020)
- OpenAI (Berner et al.), Dota 2 with Large Scale Deep Reinforcement Learning (2019)
- Vinyals et al., Grandmaster level in StarCraft II using multi-agent reinforcement learning, Nature 575 (2019)
- Mnih et al., Human-level control through deep reinforcement learning, Nature 518 (2015)