ある物流会社が、倉庫内で荷物を棚まで運ぶロボットの動きを強化学習で学ばせている。棚に荷物を置けたときだけ報酬1を与えたところ、報酬を得る機会がほとんどなく学習が進まない。報酬の与え方の見直しとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：報酬が疎な課題での報酬設計
ポイント
目的を達成したときにしか報酬がない課題では、途中の進み具合にも報酬を与える報酬成形で学習を進めやすくします。
選択肢ごとの解説
- A
適切 正解
報酬成形の考え方です。目的を達成したときにしか報酬がない課題では、どの行動が良かったかの手がかりが得られません。目的への近づき方に応じた途中の報酬を加えると、学習が進みやすくなります。
- B
不適切
動いた時間に報酬を与えると、荷物を運ばずに動き回るだけで報酬が増えます。設計者の意図と違う形で報酬を最大化する行動（報酬ハッキング）を招く設計です。
- C
不適切
報酬の値を大きくしても、棚に置けたときにしか報酬が出ない点は変わりません。報酬に出会えないことが問題なので、途中の行動を評価する手がかりは増えません。
- D
不適切
失敗への罰だけでは、何をすれば成功するかの手がかりになりません。罰を避けるために荷物を持たず動かなくなるなど、目的から離れた行動を学ぶおそれもあります。
補足
途中の報酬の与え方を誤ると、エージェントが設計者の意図と違う行動を学ぶことがあります。Ngらの研究（1999年）は、状態ごとに決めた値（ポテンシャル）の差として途中の報酬を与える形なら、最適な方策が変わらないことを示しました。近づけば正、遠ざかれば負となる距離にもとづく報酬は、この形に近い設計です。近づいたときだけ報酬を与えると、近づいては離れる往復で報酬を稼ぐ行動を学ぶおそれがあります。
試験での狙われ方
報酬が疎な場面での対策として報酬成形を選ばせる形や、途中の報酬の設計を誤ったときの弊害を問う形が考えられます。