マルチエージェント強化学習（MARL）とは

協調・競争・その混合

エージェントどうしの関係には、共通の目標に向けて協力する協調型、利害が対立する競争型、その両方を含む混合型があります。チーム対戦のゲームは混合型の代表で、味方とは協力し、相手のチームとは競います。

単一エージェントとの違い

1体だけで学ぶ強化学習では、同じ状態で同じ行動をとれば、環境は同じ仕組みで反応すると考えます。MARLでは、ほかのエージェントも学習によって方策を変えていきます。そのため、各エージェントから見ると、環境の性質が学習の途中で変わってしまいます。これを非定常性と呼び、学習が不安定になる大きな原因です。過去に蓄えた経験も今の状況を表さなくなるため、経験再生をそのまま使いにくくなります。

代表的な工夫

よく使われるのが、集中学習・分散実行という考え方です。学習の間は、ほかのエージェントの方策などの情報も使って行動の価値を評価し、実行するときは、各エージェントが自分の観測だけで行動を決めます。2017年に発表されたMADDPGは、この考え方をActor-Criticに取り入れ、協調型にも競争型にも使えるようにしました。

深層強化学習での事例

• OpenAI Five：5対5で戦うDota 2を大規模な自己対戦で学び、2019年4月に世界王者のチームに勝ちました。
• アルファスター（AlphaStar）：StarCraft IIで、多数のエージェントをリーグ形式で戦わせて鍛えました。主力の弱点を突く役のエージェントも加えています。

覚え方

「相手も学ぶから、環境が動き続ける」と覚えます。