ε-greedy方策とは

ε-greedy方策は、強化学習やバンディットアルゴリズムで行動の選び方を決める、基本的な方法の1つです。εはギリシャ文字のイプシロンで、0から1の間の小さな値を設定します。

探索と活用のジレンマ

エージェントは、試行錯誤しながら、どの行動がよいかを学びます。このとき、2つの要求がぶつかります。

• 活用：これまでの経験で最もよさそうな行動を選び、報酬を稼ぐ。
• 探索：まだよく知らない行動も試し、もっとよい行動がないか確かめる。

活用だけを続けると、たまたま最初によく見えた行動に固執し、本当によい行動を見落とすおそれがあります。探索ばかりでは、得られる報酬が増えません。

仕組み

ε-greedy方策では、行動を選ぶたびに次のように振り分けます。

• 確率1−ε：価値の推定値が最も大きい行動を選ぶ（活用）。
• 確率ε：すべての行動の中から等確率でランダムに選ぶ（探索）。

たとえばε=0.1なら、10回に約1回はランダムな行動を試します。ランダムに選ぶときにも、価値が最大の行動に当たることがあります。行動が5つでε=0.1なら、価値が最大の行動が選ばれる確率は0.9+0.1÷5=0.92です。ε=0のときは、常に価値が最大の行動を選ぶgreedy方策になります。

使い方の工夫

学習の初めは情報が少ないので探索を多くし、学習が進んだら活用を増やすのが合理的です。そこで、εを最初は大きくとり、徐々に小さくしていく方法がよく使われます。DQNでも、学習の初めはεを大きくし、少しずつ下げていました。

UCB方策との違い

ε-greedy方策のランダムな選択は、どの行動も同じ確率で選びます。そのため、見込みの薄い行動も、有望な行動と同じ頻度で試してしまいます。UCB方策は、まだ試した回数が少ない行動ほど評価を高めに見積もって選び、探索をより効率よく行います。

覚え方

「ふだんは一番人気、ときどきくじ引き」と覚えます。