デュエリングネットワークとは

デュエリングネットワーク（Dueling Network）は、2015年にDeepMindのZiyu Wangらが発表した、DQNのネットワーク構造の改良です。

考え方：状態の良さと行動の差を分ける

Q値は「この状態でこの行動をとったら、この先どれだけ報酬を得られそうか」を表します。これは次の2つに分けて考えられます。

• 状態価値V(s)：その状態にいること自体の良さ。
• アドバンテージA(s, a)：その状態で、ある行動がほかの行動と比べてどれだけ有利か。

たとえばカーレースのゲームで、前方に車がいない場面では、どう操作しても結果はほとんど変わりません。大事なのは状態そのものの良さです。一方、すぐ前に車がいる場面では、どの行動を選ぶかが大きく効きます。

ネットワークの構造

DQNは、画面の特徴から行動ごとのQ値を直接出力します。デュエリングネットワークは、畳み込み層で特徴を取り出したあと、流れを2つに分けます。一方は状態価値を、もう一方は行動ごとのアドバンテージを出力し、最後に組み合わせてQ値にします。単に足すだけでは2つへの分け方が1通りに決まらないため、論文ではアドバンテージの平均を引いて組み合わせます。式で書くと Q(s, a) = V(s) + A(s, a) - mean(A(s, ・)) です。

何がよくなるのか

DQNでは、ある行動のQ値を更新しても、ほかの行動のQ値は直接は変わりません。デュエリングネットワークでは、どの行動で学習しても状態価値の流れが更新されるため、状態の良し悪しを効率よく学べます。特に、価値の似た行動が多い場面で効果があります。論文では、Atariのゲームでそれまでの最高性能を上回りました。

ダブルDQNとは改良する部分が異なり、組み合わせて使えます。どちらもRainbowの構成要素です。

覚え方

「場面の良さ」と「手の良さ」を分けて見積もる、と覚えます。