ノイジーネットワークとは

ノイジーネットワーク（NoisyNet）は、DeepMindのMeire Fortunatoらが2017年に発表した手法です。強化学習に欠かせない「探索」を、ネットワークの重みに加えるノイズで実現します。

探索の問題

強化学習のエージェントには、今よいと思う行動を選ぶ「活用」だけでなく、まだよく知らない行動を試す「探索」も必要です。DQNでは、確率εでランダムな行動を選ぶε-greedy方策で探索していました。しかしこの方法は、状態に関係なく、その都度ばらばらに行動を乱すだけです。何手も続けて試さないと見つからない行動は、なかなか発見できません。εをどう減らしていくかも、人が決める必要があります。

重みにノイズを加える

ノイジーネットワークは、全結合層の重みとバイアスを「平均」と「ノイズの大きさ」の組で表します。重みはw = μ + σ ⊙ εで、μが平均、σがノイズの大きさ、⊙は要素ごとの積です。εは更新のたびに引き直す乱数で、ε-greedy方策のεとは別のものです。

μとσは、どちらも勾配を使って学習します。重みの揺らぎは、毎回ばらばらに行動を乱すのではなく、何ステップかにわたって状態に応じた一貫した行動の変化を生みます。そのため、まとまりのある探索ができます。

DQNやデュエリングネットワークに適用した場合はε-greedy方策を使わず、A3Cに適用した場合は探索のためのエントロピーの項を外しました。Atariの57種類のゲームで評価し、幅広いゲームで成績が向上しました。

位置づけと注意点

ノイジーネットワークは、Rainbowを構成する6つの改良の1つです。名前に「ノイズ」とありますが、入力にノイズを加えて学習データを増やすデータ拡張とは目的が違います。過学習の対策ではなく、探索のための仕組みです。

覚え方

「ε-greedyのさいころの代わりに、重みそのものを揺らす」と覚えます。