オフライン強化学習とは

オフライン強化学習は、過去に記録したデータだけから方策を学ぶ強化学習です。バッチ強化学習とも呼ばれます。

試行錯誤ができない場面のために

通常の強化学習では、エージェントが環境の中で実際に行動し、その結果から学ぶ試行錯誤を繰り返します。ゲームやシミュレータなら、何百万回でも試せます。しかし、医療の治療方針、自動運転、工場のロボットなどでは、未熟な方策で試すこと自体が危険だったり、費用がかかったりします。

一方、こうした分野には、診療記録や人間の運転ログのような過去のデータが大量にあります。オフライン強化学習は、この「状態・行動・報酬・次の状態」の記録だけを使い、学習中に新しいデータを集めずに方策を学びます。大量のデータで成果を上げてきた教師あり学習のように、蓄積したデータを強化学習にも生かそうとする考え方です。

中心的な課題は分布シフト

データを集めたときの方策を上回るには、データとは違う行動を選ぶ必要があります。しかし、データにほとんどない行動の価値は、実際に試して確かめられません。そのため、通常のQ学習をそのまま使うと、こうした行動の価値を過大に見積もり、その行動を好む方策ができてしまいます。学習に使ったデータの分布と、学習した方策がたどる分布がずれるこの問題を、分布シフトと呼びます。

対策として、学習する方策がデータの行動から離れすぎないように制約する方法があります。また、CQL（Conservative Q-Learning）のように、データにない行動の価値を低めに見積もる方法も提案されています。

似た言葉との違い

記録された行動をそのまままねる模倣学習（行動クローニング）と違い、報酬を使ってよりよい方策を目指します。シミュレータで学んでから実機に移すsim2realとは、実際の記録から学ぶ点が異なります。

覚え方

「オフライン＝環境につながず、手元の記録だけで学ぶ」と覚えます。