1行定義
行動価値関数とは、ある状態である行動をとり、その後は決められた方策に従ったときに得られる、割引累積報酬（収益）の期待値を表す関数のことです。
くわしく
行動価値関数は、強化学習で「この状態でこの行動をとると、どれだけ得か」を数値で表すものです。将棋でいえば、局面ではなく「この局面でこの一手」という組を評価するイメージです。記号ではQ(s, a)と書き、その値をQ値と呼びます。
何を表すのか
Qπ(s, a)は、状態sで行動aをとり、その後は方策πに従って行動したときの収益の期待値です。収益とは、将来の報酬を割引率γで割り引きながら足し合わせたものです。
Qπ(s, a) = E[r1 + γ × r2 + γ² × r3 + …]
r1, r2, …は、行動aのあとに順に受け取る報酬です。最初の1手だけをaに固定し、2手目以降は方策に任せる点が要点です。そのため、同じ状態と行動の組でも、方策が変わればQ値も変わります。
状態価値関数との関係
状態価値関数Vπ(s)は、状態だけを評価します。方策が各行動を選ぶ確率で行動価値を重み付けして平均すると、状態価値になります。
Vπ(s) = Σ π(a|s) × Qπ(s, a)
なぜ行動価値を学ぶのか
Q値がわかれば、各状態でQ値が最大の行動を選ぶだけで行動を決められます。どの状態に移るかという環境の知識は不要です。最もよい方策のもとでの行動価値を、最適行動価値関数Q*(s, a)と呼びます。各状態でQ*が最大の行動を選べば、それが最適な方策になります。
Q学習とSARSAは、Q値を表で管理し、経験から少しずつ更新する代表的な手法です。状態が膨大な場合は、DQNのようにニューラルネットワークで近似します。
アドバンテージ
行動価値から状態価値を引いたA(s, a) = Q(s, a) − V(s)を、アドバンテージと呼びます。「その行動が平均よりどれだけよいか」を表す値です。デュエリングネットワークは、Q値を状態価値とアドバンテージに分けて推定します。A3CなどのActor-Critic系の手法も、アドバンテージの見積もりを方策の更新に使います。
覚え方
「Vは局面の値打ち、Qは局面と一手の組の値打ち」と覚えます。
G検定での出題
出題のされ方
状態と行動の組を評価する関数である点、状態価値関数との関係、Q学習・SARSA・DQNが行動価値を学ぶ理由、最適行動価値関数から最適な方策が決まる仕組みが問われます。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| 行動価値関数このページの用語 | ある状態である行動をとり、その後は決められた方策に従ったときに得られる、割引累積報酬（収益）の期待値を表す関数 |
| 状態価値関数 | ある状態から出発し、その後は決められた方策に従って行動したときに得られる、割引累積報酬（収益）の期待値を表す関数 |
違いを表で比べる
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
同じ状態で同じ行動をとる場合でも、その後に従う方策が変われば、行動価値の値は変わりうる。
答えを見る
答え ◯ 正しい
行動価値は「最初の行動のあとは方策に従う」という前提で計算する期待値です。2手目以降の選び方が変われば、得られる報酬の見込みも変わります。
-
行動価値関数Q(s, a)は、状態sで行動aをとったときに、次にどの状態へ移るかの確率を表す関数である。
答えを見る
答え × 誤り
次の状態へ移る確率は、環境の性質を表す状態遷移確率です。行動価値関数は、その行動のあとに得られる収益の期待値を表します。
-
行動価値から状態価値を引いたアドバンテージA(s, a) = Q(s, a) − V(s)が正の行動は、その状態で方策どおりに行動した場合の平均よりも、よい結果が見込める。
答えを見る
答え ◯ 正しい
状態価値は、方策が選ぶ行動の行動価値を選択確率で平均したものです。それを上回るQ値をもつ行動は、平均よりよい行動と評価できます。
この用語の練習問題
出典
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目9 強化学習）
- Richard S. Sutton, Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press (2018) （3.5 Policies and Value Functions）
- Christopher J. C. H. Watkins, Peter Dayan, Q-learning, Machine Learning 8(3–4), 279–292 (1992)
- Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas, Dueling Network Architectures for Deep Reinforcement Learning (2015)