OpenAI Fiveとは

OpenAI Fiveは、OpenAIが開発した、Dota 2をプレイするAIです。2019年4月13日、当時の世界王者だったチームOGに勝ちました。OpenAIは、eスポーツで世界王者に勝った初めてのAIだとしています。

Dota 2の難しさ

Dota 2は、5人ずつの2チームが、相手の本拠地の破壊を目指して戦う対戦ゲームです。1試合はおよそ45分続き、OpenAI Fiveはその間に約2万回、行動を選びます。味方の周りしか見えない、不完全情報のゲームでもあります。

学習の仕組み

• アルゴリズム：方策勾配法の一種であるPPOを使いました。
• 自己対戦：人間の対戦記録をまねる学習はせず、試合の8割は最新の自分自身と、2割は過去のバージョンと対戦して学びました。
• 規模：約10か月にわたって学習を続け、2秒ごとに約200万フレーム分のデータで方策を更新しました。
• ネットワーク：4096ユニットの1層のLSTMが中心です。5体のヒーローは、同じ重みをもつネットワークの複製がそれぞれ操作しました。
• 入力：画面の画素ではなく、ユニットの体力や位置などの数値を受け取りました。
• 報酬：勝敗に加え、キャラクターが倒れたことや資源の獲得にも報酬を与えました（報酬成形）。味方どうしで報酬を分け合う度合いは、チームスピリットという値で調整しました。

ゲームの更新やモデルの変更のたびに一から学び直さず、学習済みの能力を引き継ぐ「サージェリー」という工夫も使いました。

条件と公開対戦

使えるヒーローを117体のうち17体に絞るなど、通常のゲームより条件を限定していました。一般公開した対戦では、7,000試合以上で99.4%の勝率を記録しました。

AlphaStarとの違い

同じ2019年に成果を出したAlphaStarは、人間の対戦記録をまねる教師あり学習から始めました。人間の対戦をまねずに学んだOpenAI Fiveとは対照的です。