最適化手法（シラバス 技術16）

勾配降下法の基本

誤差関数の値を小さくするため、勾配（誤差を重みで微分した値）と逆の向きに重みを少しずつ動かす方法です。1回にどれだけ動かすかを決める係数を学習率と呼びます。大きすぎると誤差が振動・発散し、小さすぎると学習がなかなか進みません。

更新に使うデータの量

• バッチ学習：学習データ全体で勾配を計算して1回更新します。
• オンライン学習：データを1件ずつ使って更新します。
• ミニバッチ学習：データを小さな塊（ミニバッチ）に分けて塊ごとに更新します。GPUで並列計算しやすく、ディープラーニングで広く使われます。
• 確率的勾配降下法(SGD)：無作為に選んだ一部のデータ（1件やミニバッチ）で勾配を計算して更新します。

重みの1回の更新をイテレーション、学習データ全体の1周をエポックと呼びます。1,000件をバッチサイズ100で学習すると、1エポックは10イテレーションです。

勾配降下法の落とし穴

誤差が全体で最も小さい点が大域最適解、周りより小さいだけの谷底が局所最適解です。勾配降下法は手近な谷底で止まることがあります。ある方向では谷底、別の方向では山頂になる鞍点でも勾配がほぼ0になり、学習が停滞しやすくなります。

改良された最適化手法

• モーメンタム：前回までの更新の向きを慣性として加え、振動を抑えます。
• AdaGrad：パラメータごとに、過去の勾配の2乗の合計の平方根で学習率を割ります。合計は増え続けるので、やがて学習が止まりやすくなります。
• RMSprop：勾配の2乗を合計ではなく指数移動平均で扱い、学習率が小さくなりすぎるのを防ぎます。
• AdaDelta：AdaGradの弱点を改善し、学習率の設定も不要にしました。
• Adam：モーメンタム（勾配の移動平均）とRMSprop（勾配の2乗の移動平均）を組み合わせた手法です。
• AdaBound・AMSBound：学習率の上限と下限を学習とともに狭め、序盤はAdamのように、終盤はSGDのように振る舞わせます。AdaBoundはAdamを、AMSBoundはAMSGradをもとにしています。

学習の止めどき

早期終了は、検証用データの誤差が下がらなくなった時点で学習を打ち切り、過学習を防ぐ方法です。ただし、モデルの大きさやエポック数を増やすと、テスト誤差がいったん悪化してから再び下がる二重降下現象も知られています。

ハイパーパラメータの調整

学習率やバッチサイズ、層の数など、学習の前に人が決める設定値をハイパーパラメータと呼びます。グリッドサーチは候補値のすべての組み合わせを試し、ランダムサーチは組み合わせを無作為に選んで試します。効く設定が一部に限られる場合は、同じ試行回数ならランダムサーチのほうが効率よく探せます。

ノーフリーランチの定理は、あらゆる問題で平均すると、どの最適化手法の性能も同じになるという定理です。問題に合わせて手法を選ぶ必要があります。