ニューラルネットワークの学習におけるハイパーパラメータに関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：ハイパーパラメータと重みの区別
ポイント
ハイパーパラメータは学習の前に人が決める設定値です。学習率を自動調整する最適化手法でも、基準の学習率などの設定は残ります。
選択肢ごとの解説
- A
適切
学習率は1回の更新幅、ミニバッチのサイズは1回の更新に使うデータ数、エポック数は訓練データを何周するかを決めます。いずれも学習の前に設定し、検証データでの性能を見て調整します。
- B
適切
層の数やユニット数、活性化関数の種類など、モデルの構造に関わる設定もハイパーパラメータです。探索の対象には、学習の進め方の設定だけでなく構造の設定も含まれます。
- C
適切
重みとバイアスはモデルのパラメータで、誤差逆伝播法で求めた勾配を使って更新されます。学習で決まる値か、学習の前に人が決める値かが、パラメータとハイパーパラメータの違いです。
- D
不適切 正解
AdamやRMSpropが調整するのは、基準となる学習率に対する重みごとの更新幅です。Adamでも学習率と移動平均の係数β1、β2などを設定します。ミニバッチのサイズやエポック数の設定も残ります。
補足
学習率の設定を不要にした手法としてAdaDeltaがありますが、AdaDeltaでも移動平均の減衰率と、ゼロ除算を防ぐ微小な値は人が決めます。どの最適化手法を使うか自体も、検証データで比べて選ぶ設定の1つです。
試験での狙われ方
重み・バイアスとハイパーパラメータの区別や、具体的な値がどちらに当たるかを選ばせる形が考えられます。