残差強化学習とは

残差強化学習は、すでにある制御の仕組みに、強化学習で学んだ「補正」を足して性能を高める手法です。主にロボットの制御で使われます。2018年に、Tobias Johanninkらと、Tom Silverらがそれぞれ発表しました。Silverらは、残差方策学習（Residual Policy Learning）と呼んでいます。

考え方

工場のロボットは、物理的なモデルにもとづく従来の制御（フィードバック制御）で、多くの作業をこなせます。しかし、部品どうしが接触したり摩擦が働いたりする作業は、正確なモデルを作るのが難しく、従来の制御だけでは失敗しやすくなります。一方、強化学習でゼロから学ばせると、膨大な試行が必要で、学習の初めには危険な動きもします。

残差強化学習は、両者の得意な部分を組み合わせます。最終的な行動はu = π_H(s) + π_θ(s)です。π_Hは既存の制御器の出力、π_θは強化学習で学ぶ補正です。ここでの残差とは、既存の制御では足りない差分のことです。

利点

• 学習の初めから、既存の制御器がおおよその動きを担います。
• 学ぶ範囲が補正に限られるので、ゼロから学ぶより少ない試行で済みます。
• 報酬が疎で、強化学習だけでは解けない長い作業にも対応しやすくなります。

Johanninkらは、接触を伴うブロックの組み立て作業を、実機のロボットで学習させました。Silverらは、シミュレータ上の6つの操作課題で、もとの制御器を大きく上回る性能を示しました。

ResNetの残差学習との違い

名前は似ていますが、ResNetの残差学習は、層の入力と出力の差分を学ぶネットワーク構造の工夫です。残差強化学習は、制御器の出力に対する補正を学ぶ方法で、対象が異なります。「差分だけを学べば楽になる」という発想は共通しています。

覚え方

「ベテランの制御に、強化学習が手直しを足す」と覚えます。