FCN（Fully Convolutional Network）とは

FCNは、Jonathan Longらが2014年に論文を公開し、2015年のCVPRで発表したセマンティックセグメンテーションのモデルです。分類用のCNNを画素ごとの予測に作り替えた、初期の代表例です。工夫は大きく3つあります。

1. 全結合層を畳み込み層に置き換える

AlexNetやVGGのような分類用のCNNは、最後の全結合層で特徴を1列に並べ、画像全体に1つの答えを出します。この段階で「どこに何があるか」という位置の情報は失われます。また、全結合層は入力の数が決まっているため、画像の大きさも固定されます。

FCNは、全結合層を、同じ計算をする畳み込み層に置き換えました。全結合層がなくなるので、任意の大きさの画像を入力できます。出力も、位置ごとに各クラスのスコアを並べた地図になります。候補領域を切り出す処理は使わず、画像全体を一度に処理します。

2. 縮んだ地図を元の大きさに戻す

畳み込みとプーリングを重ねると、出力の地図は小さくなります。VGG16をもとにした場合、縦横とも入力の32分の1です。FCNはこれを、逆畳み込みの層で入力と同じ大きさまで拡大します。拡大の重みも学習でき、全体を画素ごとの誤差でまとめて学習します。初期値には、ImageNetで学習済みの分類用CNNの重みを使います。

3. 浅い層の情報を足すスキップ構造

32分の1の地図を一気に拡大すると、境界がぼやけます。そこで、位置の情報を多く残す浅い層（pool4、pool3）からも予測を出し、深い層の予測に足し合わせました。名前の数字は最後に拡大する倍率で、FCN-32s、FCN-16s、FCN-8sの順に輪郭が細かくなります。

「縮めて特徴を捉え、拡大して戻す」という考え方は、SegNet、U-Net、DeepLab、PSPNetなどに受け継がれました。

覚え方

「全部（Fully）畳み込みにして、画素ごとに答える」と覚えます。