Agent57とは

Agent57は、DeepMindのAdrià Puigdomènech Badiaらが2020年3月に発表した深層強化学習のエージェントです。Atari 2600の57種類のゲームすべてで、人間の基準スコアを上回った初めての深層強化学習のエージェントとして報告されました。名前の57はゲームの数に由来します。

それまでの課題

論文によると、当時最先端だったR2D2とMuZeroも、人間の基準を上回ったのは52種類と51種類のゲームまででした。残りのゲームでは、ほとんど学習できないことがありました。

• 探索が難しいゲーム：報酬がめったに得られず、手がかりがつかめません。Montezuma's RevengeやPitfall!などです。
• 報酬が遅れて届くゲーム：どの行動が結果につながったのかを、長い行動の列から見極める必要があります。SkiingやSolarisなどです。

仕組み

Agent57は、先に発表されたNGU（Never Give Up）を改良したエージェントです。NGU自体は、分散型のR2D2をもとにしています。

• 内発的報酬：ゲームの得点に加え、見慣れない状態に出会うこと自体に報酬を与え、探索を促します。
• 方策の集まり：探索を強く重視する方策から得点だけを狙う方策までを、同時に学習します。得点の価値と内発的報酬の価値は、別々のネットワークで推定します。
• メタコントローラ：どの方策でプレイするかを、多腕バンディットのアルゴリズムで選びます。各方策は探索の強さと割引率の組で決まり、直近の得点が高い方策ほど多く選ばれます。

最後に人間の基準を超えたのはSkiingで、約780億フレームの学習を要しました。Rainbowが6つの改良を統合してDQNを強化したのに対し、Agent57は探索と活用の配分を自動で調整し、苦手なゲームを残さない汎用性を示しました。

覚え方

「57ゲームすべてで人間の基準超え。どれだけ探索するかはバンディットで選ぶ」と覚えます。