ResNetとは

ResNet（Residual Network）は、Kaiming Heらが2015年に発表したCNNです。ImageNet向けには最大152層という当時としては非常に深いモデルを示し、2015年のILSVRCの画像分類部門で優勝しました。

深くすると起きる「劣化問題」

層を深くすれば、表現力は上がるはずです。ところが実際には、ある程度より深くすると、訓練データに対する誤差まで悪化しました。これは過学習ではありません。深いネットワークの最適化が難しいことによる現象で、劣化問題と呼ばれます。

残差学習とスキップ結合

ResNetは、数層ごとに入力を飛ばして出力に足し合わせる経路（スキップ結合、ショートカット接続）を設けました。間の層の出力をF(x)とすると、ブロックの出力はH(x) = F(x) + xになります。間の層は、目標の出力そのものではなく、入力との差分（残差）F(x)だけを学べばよくなります。これを残差学習といいます。

何もしないのが最善な層なら、F(x)を0に近づけるだけで済みます。そのため、層を足しても性能が悪化しにくくなります。また、誤差逆伝播のときに勾配がスキップ結合を通って直接伝わるため、勾配消失も起きにくくなります。

構成の工夫

50層以上のモデルでは、1×1、3×3、1×1の畳み込みを重ねたボトルネック構造で計算量を抑えています。各畳み込みの直後にはバッチ正規化を入れ、最後はグローバルアベレージプーリングでまとめます。

影響

ResNetの登場で、100層を超えるネットワークも学習できるようになりました。層の幅を広げたWide ResNetなどの派生モデルも生まれています。足し算の代わりに前の層の出力を連結するDenseNetは、ResNetとよく比べられるモデルです。スキップ結合の考え方は、Transformerにも取り入れられています。

覚え方

「全部を学ぶのではなく、入力との差分だけを学ぶ」と覚えます。