DQNとは

DQN（Deep Q-Network）は、DeepMindが2013年に発表し、2015年に学術誌Natureで成果を報告した深層強化学習の手法です。強化学習のQ学習と、ディープラーニングのCNNを組み合わせました。

Q学習は、状態と行動の組ごとに、将来の報酬の見込み（Q値）を表にまとめて学習します。しかし、ゲーム画面のように状態の種類が膨大だと、表では管理できません。

Q値をCNNで近似する

DQNは、Q値の表の代わりにCNNを使います。直近の数フレーム分のゲーム画面を入力すると、取りうる操作ごとのQ値を出力します。Natureの論文では、Atari 2600の49種類のゲームを、画面の画素とスコアだけを手がかりに学習させました。すべてのゲームで同じ構造と設定を使い、半数を超える29種類で、人間のプロのゲームテスターの75%以上に相当する成績を収めました。

学習を安定させる2つの工夫

ニューラルネットワークによる近似は学習が不安定になりがちなため、DQNは次の工夫を入れました。

• 経験再生：経験した「状態・行動・報酬・次の状態」の組を蓄えておき、そこから無作為に取り出して学習します。連続した場面どうしの強い相関を断ち切れます。
• ターゲットネットワーク：学習の目標値を計算するネットワークを別に用意し、一定の間隔でだけ更新します。目標が毎回動くことによる不安定さを防ぎます。

改良手法

改良手法には、Q値の過大評価を抑えるダブルDQN、状態の価値と行動ごとの有利さを分けて推定するデュエリングネットワーク、重みにノイズを加えて探索を促すノイジーネットワークなどがあります。これらを含む6つの改良を組み合わせたのがRainbowです。2020年のAgent57は、Atariの57種類のゲームすべてで人間の基準を上回りました。

覚え方

「Q値の表をCNNに置き換え、思い出しながら学ぶ（経験再生）」と覚えます。