勾配降下法を改良した最適化手法に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：勾配降下法の改良手法の違い
ポイント
AdaGradは勾配の二乗を累積し続けるため学習率が小さくなり続ける点が弱点です。RMSpropは指数移動平均でこれを緩和します。
選択肢ごとの解説
- A
適切
前回までの更新の方向を一定の割合で加えるため、行き来する成分は打ち消し合い、一貫した方向には加速します。勾配がほぼ0になる鞍点の付近でも、それまでの勢いで進めることがあります。
- B
不適切 正解
AdaGradは過去の勾配の二乗を累積した和で学習率を割るため、学習が進むほど実質の学習率が小さくなり、更新がほぼ止まることがあります。指数移動平均で古い勾配の影響を薄めるのはRMSpropの工夫です。
- C
適切
Adamは勾配の平均と二乗の平均をそれぞれ指数移動平均で推定し、パラメータごとに更新幅を決めます。学習初期にこれらの推定値が0側に偏るのを補正する仕組みも持ちます。
- D
適切
Adamなどの適応的な手法は学習が速い一方、学習率が極端な値になり、汎化性能がSGDに劣る場合があると指摘されています。AdaBoundは学習率の範囲を動的に絞り、SGDへ滑らかに移行させます。
試験での狙われ方
手法名と特徴を入れ替えた説明文の正誤を問う形が典型的です。AdaGradとRMSpropの違いは特に区別しておきます。