マルチエージェント強化学習（MARL）に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：マルチエージェント強化学習の特徴
ポイント
MARLでは、ほかのエージェントも学習して方策を変えるため、各エージェントから見た環境が変化し続けることが難しさになります。
選択肢ごとの解説
- A
不適切
MARLは、協調する場面、対戦のように競争する場面、その両方が混ざる場面をいずれも扱います。例えばチーム対戦のゲームでは、味方との協調と相手との競争が同時に起こります。
- B
適切 正解
単一エージェントの強化学習は、環境の性質が変わらないことを前提にしています。MARLでは、ほかのエージェントの方策が学習で変わるため、同じ行動でも結果が変わります。この非定常性がMARLの代表的な難しさです。
- C
不適切
エージェントが増えると、全員の行動の組み合わせは数に応じて指数的に増えます。互いの方策の変化にも影響されるため、収束が早まるとは限らず、かえって難しくなることが多くあります。
- D
不適切
ほかのエージェントを環境の一部とみなして個別に学ぶ方法は実際に使われます。しかし相手も学習して方策を変えるため、環境が変わらないという前提が崩れ、単一エージェントでの収束の保証はそのままでは成り立ちません。
補足
非定常性への対策として、学習時にはほかのエージェントの行動などの情報も使って価値を評価し、実行時には各エージェントが自分の観測だけで行動を決める「集中学習・分散実行」という考え方がよく用いられます。
試験での狙われ方
MARLの難しさ（非定常性）や、協調と競争の両方を扱えることを、単一エージェントの強化学習と比べて問う形が考えられます。