AdaGradには、学習が進むと学習率が小さくなりすぎる弱点がある。これを改善した手法のうち（ ア ）は、過去の更新量の大きさも利用して更新幅を決め、学習率をあらかじめ設定する必要をなくした。また、Adamの改良版であるAMSGradに、学習率の上限と下限を設けて徐々にSGDに近づける工夫を加えた手法が（ イ ）である。（ ア ）（ イ ）に入る手法名の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：適応的手法の改良の系譜
ポイント
AdaDeltaは過去の更新量を使い学習率の設定を不要にした手法です。AMSBoundはAMSGradに、AdaBoundはAdamに学習率の上下限を加えます。
選択肢ごとの解説
- A
適切 正解
AdaDeltaは、勾配の二乗と過去の更新量の二乗の指数移動平均をそれぞれ求め、その平方根の比を勾配に掛けて更新します。原論文では、学習率を手で調整せずに済む点が特徴とされています。AMSBoundはAMSGradに学習率の上下限を加えた手法です。
- B
不適切
（ア）が誤りです。RMSpropも勾配の二乗の指数移動平均でAdaGradの学習率の低下を緩和しますが、全体の学習率は人が決めるハイパーパラメータとして残ります。
- C
不適切
（イ）が誤りです。AdaBoundは、AMSGradではなくAdamに学習率の上限と下限を設けた手法です。AdaBoundとAMSBoundは同じ論文で、それぞれAdamとAMSGradの改良版として提案されました。
- D
不適切
（ア）（イ）とも誤りです。RMSpropは学習率の設定が必要な手法です。また、AdaBoundの改良の元になったのはAMSGradではなくAdamです。
補足
深層学習ライブラリの実装では、AdaDeltaにも更新量全体に掛ける係数として、学習率の引数が用意されている場合があります。原論文の考え方では、この係数を調整しなくても学習が進むように設計されています。
試験での狙われ方
最適化手法の名前と、どの手法の何を改良したかの対応を、穴埋めや説明文の正誤で問う形が考えられます。