報酬成形とは

報酬成形は、強化学習で「どのように報酬を与えるか」を工夫して、学習を進みやすくする方法です。英語ではreward shapingといいます。

なぜ必要か

強化学習のエージェントは、報酬を手がかりに行動を学びます。しかし、迷路のゴールに着いたときだけ報酬を与えるような課題では、報酬を得る機会がほとんどありません。このような状態を「報酬が疎（まばら）」といいます。報酬に出会うまでは、どの行動がよかったのか判断できず、学習がなかなか進みません。

そこで、ゴールに近づいたら少し報酬を与えるなど、途中の進み具合にも報酬を加えます。これが報酬成形です。課題についての人間の知識を、報酬の形でエージェントに伝える方法でもあります。

設計を誤ったときの危険

途中の報酬は、本来の目的とずれることがあります。たとえば部屋をきれいにしたいのに、掃除ロボットに「ごみを吸い込むたびに報酬」を与えると、ごみを吐き出しては吸い込む行動を学ぶおそれがあります。このように、設計者の意図と違う形で報酬を最大化してしまうことを、報酬ハッキングと呼びます。

最適な方策を変えない形

Andrew Ngらは1999年に、状態ごとに決めた値（ポテンシャル）Φ(s)を使い、途中の報酬をF = γΦ(s') − Φ(s)の形で与えれば、最適な方策が変わらないことを示しました。sは移動元、s'は移動先の状態、γは割引率です。たとえばゴールまでの距離にマイナスを付けた値をポテンシャルにすると、目的を変えずに手がかりだけを増やせます。逆に、この形でない途中の報酬は、課題によっては最適な方策を変えてしまいます。

RLHFとの違い

RLHFも報酬に関わる手法ですが、人間の比較評価から報酬モデルを学習する点が異なります。報酬成形は、設計者が自分で報酬の与え方を工夫する考え方です。

覚え方

「ゴールまでの道に、パンくずのような小さな報酬を置く」と覚えます。