ランダムサーチとは

ランダムサーチは、ハイパーパラメータの値を、決めた範囲から無作為に選んで試す探索方法です。試す回数を先に決めておき、その回数だけ値を選んでモデルを学習させます。検証データで最もよかった組み合わせを採用します。

なぜ無作為が効くのか

ハイパーパラメータがたくさんあっても、性能を大きく左右するのは一部だけということがよくあります。ここでは、性能に強く効く学習率と、ほとんど効かない別の値の2種類を、9回の試行で調べる例を考えます。

グリッドサーチで各3通りずつ（3 × 3 = 9回）試すと、学習率は3通りしか試せません。同じ学習率で効かない値だけを変えた試行が3回ずつ重なり、その分は学習率の比較に役立ちません。ランダムサーチでは、9回とも学習率が異なる値になるので、学習率を9通り試せます。同じ計算量で、重要な値をより細かく調べられるわけです。

この考え方は、2012年にバーグストラとベンジオが論文で示しました。どのハイパーパラメータが重要かはデータによって変わり、事前に見極めにくいことも指摘しています。そのため、新しいデータに対して格子をうまく設計するのは難しくなります。

使い方の工夫

• 試行回数をハイパーパラメータの種類と関係なく決められるので、計算の予算を立てやすくなります。
• 学習率のように桁が変わる値は、0.0001〜0.1のような範囲から、対数の目盛りで均等に選びます。
• 1回目の結果を見て範囲を絞り、もう一度ランダムサーチを行うこともあります。

弱点

無作為に選ぶため、運によっては似た値ばかり選ばれたり、よい領域を見逃したりします。必ず最良の組み合わせが見つかるわけではありません。さらに効率を求める場合は、過去の結果から次の候補を選ぶベイズ最適化などが使われます。

覚え方

「回数は先に決める、値はくじ引きで選ぶ」と覚えます。