ある小売企業は、店舗の発注量を決めるエージェントを、割引率0.3の設定で強化学習により学習させた。学習後のエージェントは、目先の販売を優先して在庫を使い切り、数日後の欠品で大きな損失を出すことが多い。報酬の設計は妥当であると確認できている。割引率に関する対応として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：割引率の大きさと行動の傾向
ポイント
割引率は将来の報酬をどれだけ重視するかを決める値です。0に近いほど目先の報酬、1に近いほど将来の報酬を重視します。
選択肢ごとの解説
- A
適切 正解
割引率0.3では、数ステップ先の報酬は0.3を繰り返し掛けられ、ほぼ0として扱われます（3回で0.027）。1に近づけると数日後の欠品による損失も収益に反映され、それを避ける発注を学びやすくなります。
- B
不適切
割引率を0に近づけると、将来の報酬がほぼ無視され、直後の報酬だけを追う近視眼的な行動になります。今回の課題をかえって強める方向の変更です。
- C
不適切
割引率は0以上1以下の範囲で設定します。1より大きいと遠い将来の報酬ほど重く評価され、終わりのない課題では累積報酬が発散して値が定まりません。
- D
不適切
1回の更新で値をどれだけ動かすかを決めるのは学習率です。割引率は将来の報酬をどれだけ重視するかを決める値で、両者の役割は異なります。
試験での狙われ方
割引率を0や1に近づけたときのエージェントの振る舞いや、学習率との役割の違いを問う形が考えられます。