連続値制御とは

連続値制御は、行動を「どのくらい」という実数の値で決める必要がある課題です。ロボットの関節に加える力（トルク）、ドローンのプロペラの回転数、自動運転のハンドルの角度などが例です。これに対して、ゲームのボタンのように決まった数の選択肢から選ぶ課題は、離散的な行動の課題と呼ばれます。

DQNをそのまま使えない理由

DQNは、選べる行動のそれぞれについてQ値（行動の価値）を出力し、最大のものを選びます。選択肢が有限個なら簡単です。しかし実数の値は無数にあるため、すべての候補の価値を並べて比べることができません。値を何段階かに区切る方法もありますが、関節の数が増えると、段階の組み合わせが指数的に増えてしまいます。

主な手法

• 方策を直接学ぶ手法：方策勾配法では、方策を正規分布などの確率分布で表し、その平均などをネットワークで出力します。行動は、その分布に従ってランダムに選びます。PPOもこの形で使えます。PPOの論文では、シミュレータ上のロボットの歩行などの課題で性能を確かめています。
• DDPG：Lillicrapらが2015年に発表した手法です。DQNの経験再生やターゲットネットワークの考え方を、連続値の行動に広げました。Actorが行動を1つに決めて出力し、Criticがその行動の価値を評価する、Actor-Criticの手法です。台車に載った振り子の振り上げ、脚による移動、物体の操作、車の運転など、20を超える物理シミュレーションの課題を、同じネットワーク構造とハイパーパラメータで学習しました。

実世界への応用

連続値制御の代表的な応用先はロボットです。実機での試行には時間も費用もかかるため、シミュレータで学んで実機に移すsim2realや、既存の制御器の出力に補正を足す残差強化学習と組み合わせて使われます。

覚え方

「ボタンを選ぶならDQN、ハンドルを回すなら方策を直接学ぶ手法」と覚えます。