割引率とは

割引率は、強化学習で「将来の報酬を今の時点でどれだけ重く見るか」を決める係数です。記号ではγ（ガンマ）と書き、0以上1以下の値をとります。

割引累積報酬の計算

強化学習のエージェントは、1回の報酬ではなく、将来にわたって受け取る報酬の合計を大きくしようとします。このとき、先の報酬ほど割引率を多く掛けて小さくしてから足し合わせます。

G = R1 + γ×R2 + γ^2×R3 + …

R1は次に受け取る報酬、R2はその次の報酬です。たとえばγ = 0.9なら、2つ目の報酬は0.9倍、3つ目の報酬は0.81倍として数えます。この合計を割引累積報酬、または収益と呼びます。

なぜ割り引くのか

理由は2つあります。1つは、終わりのない課題でも合計を有限の値にするためです。1回の報酬に上限があれば、γが1未満のとき合計は等比級数として一定の値に収まります。もう1つは、早く得られる報酬を優先するという考え方を表すためです。お金の利息と同じように、明日の100円より今日の100円を重く見ます。

値による違い

• γが0に近い場合：目先の報酬だけを重視し、すぐに得をする行動を選びやすくなります。γ = 0なら次の報酬しか見ません。
• γが1に近い場合：遠い将来の報酬もほとんど割り引かずに評価し、長い目で見て得をする行動を選べるようになります。

周辺の概念との関係

状態価値関数や行動価値関数は、この割引累積報酬の期待値として定義されます。Q学習やSARSAの更新式にも、次の状態の価値にγを掛ける形で現れます。更新式には学習率αも出てきますが、αは「1回の更新で値をどれだけ修正するか」、γは「将来をどれだけ重く見るか」を表し、役割が違います。

覚え方

「γは未来の値引き率。0なら今だけ、1なら未来も満額」と覚えます。