勾配降下法の学習率の設定について、学習率が大きすぎる場合に起こりやすいこと（ア）と、小さすぎる場合に起こりやすいこと（イ）の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：学習率の大小と学習の挙動
ポイント
学習率は1回の更新幅を決めるハイパーパラメータです。大きすぎると振動・発散し、小さすぎると収束が遅くなります。
選択肢ごとの解説
- A
不適切
（ア）と（イ）が逆です。振動や発散は1回の更新幅が大きすぎるときに起こり、収束の遅さは更新幅が小さすぎるときに起こります。
- B
不適切
（イ）が誤りです。勾配爆発は、誤差逆伝播で勾配が層を通るたびに掛け合わされて大きくなる現象で、学習率が小さいことが原因ではありません。対策には勾配クリッピングなどがあります。
- C
不適切
（ア）が誤りです。学習率は1回の更新幅を決める値で、大きくしても汎化性能が上がる保証や、過学習がなくなる保証はありません。過学習の対策には、正則化や早期終了などを使います。
- D
適切 正解
学習率は1回の更新幅を決めます。大きすぎると谷底を越えて反対側へ移り、損失が上下したり増え続けたりします。小さすぎると向きは正しくても歩幅が小さく、収束に時間がかかります。
試験での狙われ方
学習率の大小と学習の症状の対応を、組み合わせや学習曲線の読み取りで問う形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目16 最適化手法）
- Goodfellow, Bengio, Courville, Deep Learning (2016) （4.3 Gradient-Based Optimization）