強化学習の考え方を業務に応用する。次の業務課題のうち、多腕バンディット問題として扱うことが最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：バンディット問題とマルコフ決定過程
ポイント
多腕バンディット問題は、行動が次の状況を変えない課題です。行動が将来の状態に影響するなら、マルコフ決定過程として扱います。
選択肢ごとの解説
- A
適切
どの広告を表示しても、次の訪問者が置かれる状況は変わりません。表示する広告を選び、クリックの有無を報酬として受け取ることの繰り返しなので、多腕バンディット問題の典型例です。
- B
適切
件名の選び方は、次のグループに送るときの条件を変えません。開封率という報酬を手がかりに、案を試す探索と、よい案を使う活用の釣り合いをとる課題として扱えます。
- C
不適切 正解
今日の発注が翌日の在庫という状態を変え、将来の報酬にも影響します。状態の遷移と長期的な累積報酬を考える必要があるため、マルコフ決定過程として定式化するのが適切です。
- D
適切
ロットどうしが影響しないので、洗浄液の選択は次の状況を変えません。選んだ洗浄液の不良率だけを手がかりに、よい選択肢を探すバンディット問題として扱えます。
補足
訪問者の属性などの手がかり（文脈）を見て選ぶ広告を変える問題は、文脈付きバンディットと呼ばれます。行動が報酬だけでなく次の状況にも影響するようになると、マルコフ決定過程で表す強化学習の問題になります。
試験での狙われ方
広告やレコメンドなどの業務課題が、バンディット問題とマルコフ決定過程のどちらに当たるかを見分けさせる形が考えられます。