グリッドサーチとは

グリッドサーチは、ハイパーパラメータの候補値をあらかじめ決め、そのすべての組み合わせを試して、最もよいものを選ぶ方法です。日本語では格子探索ともいいます。

マス目を全部調べる

2種類のハイパーパラメータを調べる場面を考えます。学習率の候補を横軸に、正則化の強さの候補を縦軸に並べると、方眼紙のような格子ができます。グリッドサーチは、この格子の交点をすべて調べます。交点ごとにモデルを学習させ、検証データや交差検証で性能を比べます。

組み合わせの数

試す回数は、各ハイパーパラメータの候補数の掛け算です。たとえば学習率を3通り（0.1、0.01、0.001）、バッチサイズを4通り（16、32、64、128）用意すると、3 × 4 = 12通りです。ここにドロップアウト率を3通り加えると、12 × 3 = 36通りになります。種類が増えるたびに掛け算で増えるため、種類が多いと現実的な時間では調べきれません。

長所と短所

長所は、しくみが単純で、決めた範囲を漏れなく調べられることです。

短所は3つあります。1つ目は、種類が増えると組み合わせが急増することです。2つ目は、候補値の間を調べないことです。最適な値が格子の間にあると見逃します。3つ目は、性能にほとんど影響しないハイパーパラメータにも同じだけ試行を割り当てるため、計算が無駄になりやすいことです。

ランダムサーチとの使い分け

深層学習の代表的な教科書では、ハイパーパラメータが3種類以下ならグリッドサーチがよく使われると説明しています。種類が多いときは、試行回数を自由に決められるランダムサーチや、結果をもとに次の候補を選ぶベイズ最適化が向いています。学習率のように桁が大きく変わる値は、0.1、0.01、0.001のように対数の目盛りで等間隔に候補を置くのが一般的です。

覚え方

「グリッドは格子。マス目を全部、掛け算の回数だけ試す」と覚えます。