AdaBoundとは

AdaBoundは、2019年にLuoらが国際会議ICLRで発表した最適化手法です。Adamの学習の速さと、SGDの汎化性能の高さを両立させることを狙っています。

背景にあるAdamの弱点

Adamはパラメータごとに学習率を自動で調整するため、学習の序盤に誤差が速く下がります。一方で、画像分類などではSGDより汎化性能が劣る場合があると指摘されてきました。Luoらは、Adamで学習中のモデルの学習率を調べ、収束が近づいた段階でも、極端に大きい値や小さい値が残っていることを示しました。そして、これが汎化性能を下げる一因だと考えました。

学習率を範囲内に収める

AdaBoundは、Adamがパラメータごとに計算した学習率を、下限ηl(t)と上限ηu(t)の範囲に切り詰めます。範囲からはみ出た値は、上限か下限の値に置き換えます。上下限は、学習の回数tとともに動きます。

• 序盤：下限はほぼ0、上限は非常に大きい値です。範囲が広いので、Adamとほぼ同じに動きます。
• 終盤：下限は上がり、上限は下がって、どちらも同じ値に近づきます。全パラメータの学習率がその値にそろい、SGD（モーメンタム付き）に近い動きになります。

論文の実験ではηl(t) = 0.1 − 0.1 / ((1 − β2)t + 1)とηu(t) = 0.1 + 0.1 / ((1 − β2)t)が使われ、どちらも0.1に近づきます。

先行研究との違い

AdamからSGDへある時点で切り替える方法も、2017年にKeskarとSocherが提案していました。ただし、切り替える時期を決めるハイパーパラメータが増え、その調整は簡単ではありません。AdaBoundは上下限を少しずつ狭め、切り替えの時点を決めずになめらかに移行させます。同じ論文では、AMSGradに同じ工夫を加えたAMSBoundも提案されています。

覚え方

「学習率にBound（境界）を付け、AdamからSGDへなめらかに移る」と覚えます。