AMSBoundとは

AMSBoundは、2019年にLuoらがAdaBoundと同じ論文で提案した最適化手法です。AdaBoundがAdamを元にしているのに対し、AMSBoundはAMSGradを元にしています。

元になったAMSGrad

AMSGradは、2018年にReddiらが国際会議ICLRで発表した、Adamの改良版です。Adamは、学習率を勾配の二乗の移動平均の平方根で割って使います。この移動平均が急に小さくなると、実質的な学習率は急に大きくなります。Reddiらは、これが原因でAdamが最適な解に収束しない、単純な凸最適化の例を示しました。

そこでAMSGradは、分母にこれまでの最大値v̂_t = max(v̂_(t-1), v_t)を使います。分母が小さくならないので、学習率が大きくなる方向には動きません。

AMSBoundの仕組み

ただし、AMSGradが抑えるのは大きすぎる学習率だけです。Luoらは、小さすぎる学習率も性能を下げる原因になると考えました。また、AMSGradを使っても、汎化性能ではSGDとの差がまだ大きいと指摘されていました。

AMSBoundは、AMSGradが計算した学習率を、上限と下限の範囲に切り詰めます。下限は学習の初めにはほぼ0、上限は非常に大きな値で、学習が進むとどちらも同じ値に近づきます。そのため、序盤はAMSGradのように速く学習し、終盤はSGDに近い動きになります。論文の実験では、AMSBoundはAdaBoundと同程度の性能を示しました。

覚え方

「AMSGrad＋Bound＝AMSBound、Adam＋Bound＝AdaBound」と、名前の前半で元の手法を見分けます。