PPOでは、ある状態で行動aを選ぶ確率について、更新後の方策と更新前の方策の比をr、アドバンテージをAとし、目的関数の1項をmin(r×A, clip(r, 1−ε, 1+ε)×A)で計算する。clipはrを1−ε以上1+ε以下に収める操作である。更新前の方策が行動aを選ぶ確率が0.4、更新後が0.6、A=2、ε=0.2のとき、この項の値として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：PPOのクリップ付き目的関数
ポイント
PPOは、更新前後の確率の比を1−εから1+εの範囲にクリップし、方策が一度に大きく変わりすぎないようにする手法です。
選択肢ごとの解説
- A
不適切
比r=0.6÷0.4=1.5をクリップせずに使い、1.5×2=3.0としたものです。これはminの中の片方の項にすぎません。もう一方のクリップした項のほうが小さいため、答えにはなりません。
- B
適切 正解
比はr=0.6÷0.4=1.5です。クリップしない項は1.5×2=3.0です。クリップした項は、rを上限1+0.2=1.2に収めて1.2×2=2.4です。小さいほうを取るので2.4になります。
- C
不適切
比rを1とみなし、アドバンテージ2をそのまま使った値です。PPOでは、更新前後の確率の比rをアドバンテージに掛けて、方策の変化がもたらす改善を評価します。
- D
不適切
クリップの下限1−0.2=0.8を使った値（0.8×2=1.6）です。r=1.5は上限の1.2を超えているので、上限の1.2に収めます。下限が効くのは、rが0.8を下回るときです。
補足
アドバンテージが正のとき、rが1+εを超えても目的関数の値は増えません。そのため、良い行動の確率を一度に上げすぎる更新は起こりにくくなります。アドバンテージが負のときは、rが1−εを下回る方向の変化が同じように抑えられます。
試験での狙われ方
PPOは、方策の更新幅を制限して学習を安定させるという目的と、クリップという仕組みの組み合わせで問われやすい手法です。