アルファスター（AlphaStar）とは

アルファスター（AlphaStar）は、DeepMindが開発した、StarCraft IIをプレイするAIです。2019年1月に、プロ選手との対戦で勝ったことを発表しました。同年10月にはNature誌で、3つの種族すべてでグランドマスターの水準に達したことを報告しています。

StarCraft IIの難しさ

StarCraft IIは、資源を集めて建物や部隊をつくり、相手の拠点の破壊を目指すリアルタイム戦略ゲームです。

• 不完全情報：相手の様子は、偵察しないと見えません。
• 行動の多さ：1回の判断で選べる行動は、約10の26乗通りあります。
• 最善の戦略が1つに決まらない：じゃんけんのように、どの戦略にもそれに強い戦略があります。

学習の流れ

まず、Blizzardが公開した人間の対戦記録をまねる教師あり学習で、初期の方策を作りました。

次に、多数のエージェントを集めたリーグの中で互いに対戦させ、強化学習で強くしました。マルチエージェント強化学習の一種です。リーグには、誰にでも勝つことを目指す主力のエージェントに加え、主力の弱点を見つけることを専門にするエクスプロイターもいます。自分自身とだけ対戦すると、特定の戦略に偏ったり、以前の相手への勝ち方を忘れたりしやすいためです。

ネットワークは、多数のユニットの情報をTransformerで処理し、時間の流れを深いLSTMで扱う構成です。

人間に近い条件

カメラに映る範囲の情報で判断し、操作の頻度にも上限を設けました。この条件は、プロ選手の承認を得ています。

ほかのゲームAIとの違い

AlphaGoも人間の棋譜から学び始めましたが、対象は完全情報ゲームの囲碁でした。同じ2019年のOpenAI Fiveは、人間の対戦をまねずにDota 2を学び、5体を同じネットワークの複製で操作しました。AlphaStarは、1人のプレイヤーとして多数のユニットを操作します。