ある通販企業が、需要予測に使うニューラルネットワークのハイパーパラメータを調整している。対象は学習率やドロップアウト率など6種類で、計算資源の都合から試行は60回までに限られる。経験上、性能を大きく左右するのはそのうち一部だけと見込まれる。この場面の調整方法に関する説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：ハイパーパラメータの探索方法
ポイント
性能を左右するハイパーパラメータが一部に限られる場合、ランダムサーチはグリッドサーチより効率よく探索できることが多いです。
選択肢ごとの解説
- A
不適切
グリッドサーチの試行回数は候補数の積です。5段階を6種類なら5の6乗で15,625通りになり、60回には収まりません。各2段階でも2の6乗で64通りとなり、上限を超えます。
- B
適切 正解
グリッドサーチでは、効きにくいハイパーパラメータの候補にも試行を割くため、重要なものの値は数通りしか試せません。ランダムサーチは試行ごとに値が変わるため、同じ回数でも重要な次元を細かく探索できます。
- C
不適切
ハイパーパラメータは学習を始める前に外から与える値です。誤差逆伝播法で求めた勾配により更新されるのは、重みやバイアスなどのパラメータです。そのため、探索などで別に決める必要があります。
- D
不適切
テストデータで選ぶとテストデータに合わせ込むことになり、未知のデータでの性能を正しく見積もれません。候補の比較には検証データや交差検証を使い、テストデータは最終評価にだけ使います。
試験での狙われ方
グリッドサーチとランダムサーチの違いや、ハイパーパラメータとパラメータの区別を、場面設定の中で問う形が考えられます。