Adamとは

Adamは、ディープラーニングで広く使われている最適化手法です。名前はadaptive moment estimation（適応的モーメント推定）に由来し、2014年にKingmaとBaが発表しました。

何を改善したのか

基本の確率的勾配降下法（SGD）は、すべてのパラメータに同じ学習率を使い、その時点の勾配だけを見て重みを動かします。そのため、細長い谷のような地形ではジグザグに進みがちです。

2つの移動平均

Adamは、勾配について2種類の移動平均を記録します。

• 勾配の移動平均（1次モーメント）：これまでの進む向きを覚えておき、向きのぶれを抑えます。モーメンタムと同じ考え方です。
• 勾配の2乗の移動平均（2次モーメント）：パラメータごとに、勾配が大きかったものほど歩幅を小さくします。RMSpropと同じ考え方です。

更新式はθ ← θ − α・m̂ / (√v̂ + ε)です。m̂が1次、v̂が2次の移動平均です。どちらも初期値が0なので学習の初めは0の側に偏り、これをバイアス補正で打ち消します。論文ではα = 0.001、β1 = 0.9、β2 = 0.999が既定値として示されています。

ほかの手法との関係

AdaGradは過去の勾配の2乗を足し続けるため、学習が進むと歩幅が小さくなりすぎます。RMSpropやAdaDeltaは、古い勾配の影響を徐々に薄める移動平均でこれを和らげました。Adamは、この考え方にモーメンタムを組み合わせた手法です。

Adamは学習の序盤で誤差が速く下がりやすい一方、汎化性能ではSGDに及ばない場合があると指摘されています。そこで2019年に、学習率に上限と下限を設けて徐々にSGDへ近づけるAdaBoundと、同じ考え方をAMSGradに適用したAMSBoundが提案されました。

覚え方

「Adam＝モーメンタム（向き）＋RMSprop（歩幅）」と覚えます。