ドメインランダマイゼーションとは

ドメインランダマイゼーションは、sim2realでシミュレータと現実の差（リアリティギャップ）を埋めるための代表的な手法です。2017年のTobinらの論文で、この名前とともに広く知られるようになりました。

考え方

シミュレータを現実そっくりに作り込むのは大変で、どれだけ工夫しても差は残ります。そこで発想を逆にします。学習のたびにシミュレータの条件をランダムに変え、さまざまな環境を経験させます。変化の幅が十分に広ければ、現実の環境も「たくさん見てきた変化のうちの1つ」として扱えます。

晴れた日の決まったコースだけで運転を練習するより、雨や夜、いろいろな道で練習したほうが、初めての道にも対応しやすいのと似ています。学習データに変化を加えて汎化性能を高めるデータ拡張とも、発想が近い手法です。

何をランダムにするか

• 見た目：物体の色や模様、照明の位置や明るさ、カメラの位置や向き、背景に置く無関係な物体など。
• 物理的な条件：物体や部品の質量、摩擦、関節の減衰、行動を切り替える間隔（制御の遅れ）、センサーの雑音など。

Tobinらは、現実には見られない色や模様をつけた画像だけで、物体の位置を推定するモデルを学びました。実画像での事前学習なしに、実機でも約1.5cmの精度で位置を推定でき、物が散らかった机の上で物体をつかむ作業にも使えました。Pengらは、質量や摩擦などをランダムにして、ロボットアームが物を押す方策をシミュレータだけで学び、実機に移しました。

発展

変化の幅を広げすぎると、学習そのものが難しくなります。OpenAIは2019年、方策の上達に合わせてランダムにする範囲を自動で広げる手法（自動ドメインランダマイゼーション）を使い、ロボットハンドでルービックキューブをそろえることに成功しました。

覚え方

「本物をまねるより、ばらつきで本物を包み込む」と覚えます。