あるニュースアプリの運営会社は、トップ画面に表示する見出しの候補を5案用意した。配信を続けながらクリック率が最も高い案を見つけ、その案をなるべく多く表示したい。この課題への取り組み方に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：探索と活用のバランス
ポイント
バンディットアルゴリズムでは、情報を集める探索と、よい案を使う活用の釣り合いが要点です。探索をやめると最良の案を見落とすおそれがあります。
選択肢ごとの解説
- A
適切
複数の選択肢から1つを選び、その結果（クリックの有無）だけを報酬として受け取る状況は、多腕バンディット問題の典型です。状態の遷移を考えない、強化学習の簡単な形に当たります。
- B
適切
確率εの探索でほかの案の情報を集め、残りの確率でよい案を活用します。εが大きいと探索に偏り、小さいとよい案を見落としやすくなります。
- C
適切
UCB方策は、試した回数が少なく評価が不確かな案を優先して試します。不確かさを数値で見積もって探索を割り当てるため、ε-greedy方策のように無作為には選びません。
- D
不適切 正解
1回ずつの表示では偶然の影響が大きく、本当によい案を見落とすおそれがあります。以後は探索をまったくしないため、誤った判断を修正できず、探索と活用の釣り合いが欠けています。
試験での狙われ方
ε-greedy方策とUCB方策の選び方の違いや、探索と活用のトレードオフを、広告やレコメンドの場面で問う形が典型です。