ある機械メーカーが、7つの関節をもつロボットアームの各関節に加える力の大きさを、強化学習で決める制御を開発している。行動は関節ごとに実数値で出力する必要がある。手法の選び方に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：連続値の行動を扱う手法選択
ポイント
実数値の行動を出す連続値制御では、方策を確率分布で表して行動を直接出力する方策ベースの手法が向いています。
選択肢ごとの解説
- A
不適切
DQNの各出力ユニットは、ある1つの行動を選んだときのQ値を表します。その中から最大のものを選ぶ仕組みのため、取りうる値が無数にある実数値の行動を、そのまま出力することはできません。
- B
適切 正解
方策ベースの手法では、方策を確率分布で表し、その平均などをネットワークで出力します。行動を分布からサンプリングするため実数値の行動を直接扱えます。PPOはロボットの歩行など連続値制御の課題でも評価されています。
- C
不適切
通常のDQNで扱うには、全関節の段階の組み合わせを1つの行動として数える必要があります。各関節10段階なら7関節で10の7乗（1,000万）通りになり、関節が増えるほど行動の数が指数的に増えて現実的ではありません。
- D
不適切
行動が実数値でも、まだ試していない行動を試す探索は必要です。方策ベースの手法では、正規分布からのサンプリングによる行動のばらつきが探索の役割を担います。
補足
PPOは、更新前と更新後の方策で行動を選ぶ確率の比が一定の範囲を超えて変わっても得をしないように目的関数を制限し（クリッピング）、1回の更新で方策が大きく変わりすぎないようにする手法です。実装が比較的簡単で安定しているため、OpenAI FiveやRLHFでも使われました。DQNの考え方を連続値の行動に広げたDDPGのように、Actor-Criticの形で連続値制御を扱う手法もあります。
試験での狙われ方
DQNが連続値の行動を苦手とする理由（Q値が最大の行動を選ぶ仕組み）と、方策ベースの手法との違いを問う形が考えられます。