Q学習とは

Q学習は強化学習の代表的な手法の1つで、1989年にクリストファー・ワトキンスが提案しました。エージェントは環境の中で行動を選び、その結果として報酬と次の状態を受け取ります。Q学習では、「この状態でこの行動をとると、将来にわたってどれだけの報酬が見込めるか」という値を学習します。この値を行動価値（Q値）と呼び、状態と行動の組からQ値を返す関数を行動価値関数と呼びます。

更新のしかた

状態と行動の数が少なければ、Q値を表（Qテーブル）で管理できます。最初は適当な値から始め、行動するたびに次の式で表の値を少しずつ直します。

Q(s, a) ← Q(s, a) + α × (r + γ × max_a' Q(s', a') − Q(s, a))

r + γ × max_a' Q(s', a')は、受け取った報酬rに、次の状態s'で最もよい行動をとった場合のQ値を割引率γで割り引いて足したものです。これを目標として、いまのQ値との差に学習率αを掛けた分だけ近づけます。学習が進めば、各状態でQ値が最大の行動を選ぶだけで、よい行動がとれるようになります。

方策オフ型

学習中の行動選びでは、ε-greedy方策のように、ときどき無作為な行動を試して探索します。一方、更新式では、次に実際にとる行動ではなく、Q値が最大の行動の値を使います。このように、行動を選ぶ方策と、学習の目標にする方策が異なる手法を方策オフ型と呼びます。次に実際に選んだ行動のQ値で更新するSARSAは、方策オン型です。

発展

Q学習は、環境の遷移確率を知らなくても使えるモデルフリーの手法です。一方、ゲーム画面の画素の組み合わせのように状態の数が膨大だと、表では管理できません。そこで、Q値をニューラルネットワークで近似したのがDQNです。

覚え方

「次の一手は、いちばんよい手を打つつもりで見積もる」と覚えます。