強化学習（シラバス 技術9）

強化学習とは

エージェントが環境の中で行動を選び、その結果として受け取る報酬をもとに、行動の選び方（方策）を改善していく方法です。教師あり学習と違い、各場面での正解の行動は与えられません。教師なし学習と違い、報酬という評価の手がかりがあります。目標は1回ごとの報酬ではなく、将来まで含めた報酬の合計を大きくすることです。

問題の枠組み

• マルコフ決定過程：状態・行動・報酬・状態の移り変わりで問題を表す枠組みです。次の状態と報酬の確率は、現在の状態と行動だけで決まり、それ以前の経緯にはよらないと仮定します。
• 割引率：将来の報酬を現在の価値に換算する0から1の係数です。1に近いほど遠い将来の報酬も重視し、0に近いほど目先の報酬を重視します。
• 状態価値関数：ある状態から方策に従って行動したときに得られる、割引した報酬の合計の期待値です。
• 行動価値関数：ある状態である行動をとり、その後は方策に従ったときの、割引した報酬の合計の期待値です。Q値とも呼びます。

探索と活用：バンディットアルゴリズム

報酬の分布がわからない複数の選択肢から、よいものを見つけつつ報酬を稼ぐ問題を扱います。いちばんよさそうな選択肢を選ぶ「活用」と、まだよく知らない選択肢を試す「探索」の配分が鍵です。

• ε-greedy方策：確率εで行動を無作為に選び、それ以外は推定価値が最も高い行動を選びます。
• UCB方策：推定価値に、試した回数が少ないほど大きくなる上乗せを加え、その合計が最大の行動を選びます。

価値ベースの手法

行動価値関数を学び、価値の高い行動を選びます。

• Q学習：次の状態で最も価値の高い行動をとると仮定してQ値を更新します。実際に行動している方策とは切り離して学ぶ方策オフ型です。
• SARSA：次の状態で実際に選んだ行動のQ値を使って更新します。行動中の方策そのものを評価する方策オン型です。名前は、更新に使う状態・行動・報酬・次の状態・次の行動の頭文字です。

方策ベースの手法

• 方策勾配法：方策をパラメータで表し、報酬の合計の期待値が大きくなる方向へパラメータを直接更新します。ロボットの関節角度のような連続した行動も扱いやすい手法です。
• REINFORCE：方策勾配法の代表的なアルゴリズムです。エピソードを最後まで実行し、実際に得た報酬の合計から勾配を見積もります。
• Actor-Critic：行動を選ぶActor（方策）と、その行動を評価するCritic（価値関数）を同時に学びます。Criticの評価を使うことで、方策の更新が安定しやすくなります。

ビジネスでの応用

広告や推薦の出し分けにはバンディットアルゴリズムがよく使われます。そのほか、ロボットや設備の制御、ゲームAI、在庫や価格の調整など、試行と結果を繰り返して行動を改善できる場面で活用されています。