ある工場で、カメラ画像だけを入力としてロボットに部品のつかみ方を強化学習で学ばせたところ、必要な試行回数が膨大になった。状態表現学習の考え方にもとづく工夫として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：状態表現学習のねらい
ポイント
状態表現学習は、画像などの高次元の観測から行動に必要な情報を表す低次元の特徴を学び、強化学習を効率化する考え方です。
選択肢ごとの解説
- A
適切 正解
状態表現学習では、画像の復元や次の状態の予測などを通じて、部品の位置など行動に関わる情報を表す低次元の特徴を学びます。方策はその特徴から学ぶため、少ない試行で学習しやすくなります。
- B
不適切
入力の次元を増やすと、方策が学ぶべきことが増え、必要な試行回数はかえって増えがちです。状態表現学習は逆に、高次元の観測を低次元の特徴に圧縮して学習を効率化します。
- C
不適切
報酬の履歴だけでは、部品がどこにあるかなど行動を決めるのに必要な情報が失われます。状態表現学習は、観測から課題に必要な情報を残しつつ、背景などの余分な情報を落とすことをねらいます。
- D
不適切
学習後に判断の理由を示すのは、説明可能AI（XAI）の技術の役割です。状態表現学習は、方策を学ぶ前や学ぶのと並行して表現を獲得し、方策の学習を効率化するために行います。
試験での狙われ方
状態表現学習のねらい（観測を低次元の特徴にして学習を効率化する）を、ほかの深層強化学習の手法と区別させる形が考えられます。