あるゲーム会社が、カードゲームの対戦AIを強化学習で作っている。このゲームでは、同じ局面で毎回同じ手を出すと相手に読まれて不利になり、はったりを含む複数の手を決まった確率で出し分けるのが最善とされる。この課題に用いる手法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：確率的方策と方策勾配法
ポイント
方策勾配法は行動の選択確率を直接学習するため、複数の行動を決まった確率で出し分けるのが最善となる課題にも対応できます。
選択肢ごとの解説
- A
適切 正解
方策勾配法は、行動の選択確率を出力する方策を直接最適化します。最善の方策が確率的な場合も、学習の結果として、各手を出す確率の組が得られます。
- B
不適切
行動価値が最大の手を常に選ぶ方策は決定的で、同じ局面では毎回同じ手を出します。価値ベースの手法の貪欲な選び方では、決まった確率での出し分けを自然には表せません。
- C
不適切
εは探索の度合いを決めるハイパーパラメータで、設計者が与えます。ε-greedy方策の無作為な選択は情報を集めるためのもので、最善の出し分けの確率を表すものではありません。
- D
不適切
方策勾配法では、方策を行動の確率分布として表すのが一般的です。学習の結果、1つの行動に確率が集中することも、複数の行動に確率を分けることもできます。
試験での狙われ方
方策ベースの手法の利点を、価値ベースの手法と比べて、確率的な方策や連続値の行動を扱える点から問う形が考えられます。