状態表現学習とは

状態表現学習は、強化学習のエージェントが受け取る観測を、方策を学びやすい小さな「状態」に変換するしかたを学ぶ手法です。主にロボットの制御を対象に研究されてきました。

なぜ必要か

カメラ画像を入力にすると、観測は数万個の画素の値になります。しかし、部品をつかむ作業に本当に必要なのは、部品やアームの位置など、ごく少数の情報です。DQNのように画像から行動の価値を直接学ぶ方法では、どの画素が大事かを、報酬だけを手がかりに見つけなければなりません。報酬がまれにしか得られない課題では、膨大な試行が必要になります。

そこで、報酬以外の手がかりも使って、観測を低次元の特徴に圧縮するしかたを学びます。次元の呪いを和らげられるため、方策の学習に必要な試行を減らせます。

主な学び方

Lesortらの総説（2018年）では、次のような学び方が整理されています。

• 観測の復元：オートエンコーダで、圧縮した表現から元の画像を復元できるように学ぶ。
• 順モデル：今の状態と行動から、次の状態を予測できるように学ぶ。
• 逆モデル：連続する2つの状態から、その間にとった行動を当てられるように学ぶ。
• 事前知識：「状態は時間とともに少しずつ変わる」などの性質を制約として課す。
• 報酬の予測：状態と行動から、次に得られる報酬を予測できるように学ぶ。

いずれも、人が正解ラベルを用意しない点で、自己教師あり学習に近い考え方です。

代表的な研究

World Models（2018年）は、VAEで画像を小さなベクトルに圧縮し、その時間変化をRNNで予測するモデルを学びました。そこから得た特徴を入力にして、小さく単純な方策で課題を解いています。CURL（2020年）は、対照学習で画素から特徴を学びました。関節の角度などの数値を入力にする手法に近い学習効率を、画像だけで達成しています。

覚え方

「画像を短いメモに要約してから、行動を学ぶ」と覚えます。