グリッドサーチとランダムサーチの違い

グリッドサーチとランダムサーチは、学習率や正則化の強さなど、学習の前に決めるハイパーパラメータを探す方法です。どちらも候補ごとにモデルを学習させ、検証データや交差検証の成績で比べて、最もよいものを選びます。違いは、試す値の選び方です。

グリッドサーチ

ハイパーパラメータごとに候補値を決め、そのすべての組み合わせを試します。学習率を横軸、正則化の強さを縦軸に並べた方眼紙の交点を、1つずつ調べるイメージです。試行回数は候補数の掛け算で、学習率3通り、正則化4通りなら12回です。ここにドロップアウト率を3通り加えると36回になります。

しくみが単純で、決めた候補の組み合わせを漏れなく調べられます。一方で、種類が増えると試行回数が急増し、候補値の間にある値は調べません。

ランダムサーチ

試行回数を先に決め、各試行で値を範囲から無作為に選びます。試行回数は種類の数によらず、計算の予算に合わせて決められます。

2012年にBergstraとBengioは、ニューラルネットワークの実験で、ランダムサーチがグリッドサーチと同等以上のモデルを、はるかに少ない計算時間で見つけることを示しました。理由は、性能を大きく左右するハイパーパラメータが一部に限られることが多いためです。よく効く学習率と、ほとんど効かない値の2種類を16回の試行で調べるとします。各4通りのグリッドサーチでは、学習率は4通りしか試せません。ランダムサーチなら、16回とも異なる学習率を試せます。

使い分け

Goodfellowらの教科書『Deep Learning』は、ハイパーパラメータが3種類以下ならグリッドサーチを行うのが一般的だと述べています。種類が多いときや計算の予算が限られるときは、ランダムサーチが向きます。学習率のように桁が変わる値は、どちらの方法でも対数の目盛りで候補を置いたり値を選んだりします。さらに効率を求めるなら、過去の結果から次の候補を選ぶベイズ最適化などを使います。