スキップ結合（シラバス 技術21）

深くすると学習しにくくなる

層を重ねるほど複雑な特徴を学べるはずですが、単純に層を増やすと、かえって性能が落ちることがあります。ResNetの論文では、CIFAR-10という画像データで、56層の普通のネットワークが20層のものより訓練誤差もテスト誤差も大きくなりました。訓練誤差まで悪くなるので、過学習ではありません。深いネットワークは、うまく最適化すること自体が難しいのです。なお、この実験はバッチ正規化を入れて行われており、論文はこの劣化を勾配消失だけでは説明できない問題としています。

スキップ結合の仕組み

スキップ結合は、いくつかの層を飛び越えて入力をそのまま後ろへ渡し、層の出力に足し合わせる経路です。ショートカット接続とも呼ばれます。

• 普通の層の積み重ね：入力xから、目標の出力H(x)を直接作ろうとします。
• 残差ブロック：間の層はF(x)を作り、ブロックの出力は F(x) + x になります。間の層が学ぶのは、目標と入力の差 F(x) = H(x) − x（残差）です。

この形には2つの利点があります。

• 入力をほぼそのまま通すのがよい場合、F(x)を0に近づけるだけで済みます。層を足しても性能を下げにくくなります。
• 逆伝播のとき、勾配が足し算の経路を通って前の層へそのまま届くため、勾配消失が起きにくくなります。

ResNet

ResNetは、残差ブロックを積み重ねたCNNで、2015年にマイクロソフトの研究者らが発表しました。152層のモデルを含むアンサンブルでILSVRC 2015の画像分類部門に優勝し、CIFAR-10では1,000層を超えるモデルも学習できることを示しました。

• 50層以上のモデルでは、1×1の畳み込みでチャンネル数を減らし、3×3で畳み込み、再び1×1で戻すボトルネック構造で計算量を抑えます。
• 縦横のサイズやチャンネル数が変わるブロックでは、ショートカット側を1×1の畳み込みなどで変換して形をそろえます。

ResNetには、入力から出力まで長さの違う経路が多数あります。そのため、浅いネットワークをたくさん組み合わせたアンサンブルのように振る舞うという解釈もあります。学習後にブロックを1つ取り除いても、性能があまり落ちないことが報告されています。

似た仕組みとの違い

仕組み	入力の合わせ方	代表例
ResNetのスキップ結合	入力を出力に足す	ResNet、Wide ResNet
ゲート付きの経路	入力を通す割合をゲートで学習する	Highway Network
連結	特徴マップをチャンネル方向につなぐ	DenseNet、U-Net

スキップ結合の考え方は画像以外にも広がり、Transformerでも各層の入力と出力を足し合わせる残差接続が使われています。