DenseNetとは

DenseNet（Dense Convolutional Network）は、Gao Huangらが2017年の国際会議CVPRで発表したCNNです。論文の初版は2016年に公開されました。Denseは「密な」という意味で、層どうしを密につなぐ構造を表しています。

前のすべての層とつなぐ

通常のCNNでは、各層は直前の層の出力だけを受け取ります。DenseNetでは、Dense Blockと呼ぶまとまりの中で、各層がそれより前のすべての層の出力を受け取ります。受け取った出力は足し合わせず、チャネル方向に並べてつなぎます。これを連結といいます。会議で、それまでに発言した全員のメモを、書き直さずに束ねて次の人へ渡すイメージです。

層がL個あるとき、通常のCNNでは層どうしの直接のつながりはL本ですが、DenseNetではL(L+1)/2本になります。

ResNetとの違い

ResNetもスキップ結合で離れた層をつなぎますが、入力を出力に足し合わせます。足すと、元の情報と新しい情報が混ざり合います。DenseNetは連結するので、前の層で作った特徴を、後の層がそのままの形で使えます。これを特徴の再利用といいます。

少ないパラメータで済む理由

前の特徴を使い回せるので、各層は新しい特徴を少しだけ足せば十分です。各層が新たに出力するチャネル数を成長率（growth rate）と呼び、12や32のような小さな値が使われます。その結果、ResNetと同程度の精度を、より少ないパラメータで達成しました。誤差の勾配も入力に近い層へ直接届くため、勾配消失が起きにくくなります。

連結するには、特徴マップの縦横のサイズがそろっている必要があります。そのため、縦横を縮める処理は、ブロックの間に置いた遷移層で行います。

覚え方

「ResNetは足す、DenseNetは束ねてつなぐ」と覚えます。