FPNとは

FPN（Feature Pyramid Network）は、Tsung-Yi Linらが2016年に論文を公開し、2017年のCVPRで発表した、大きさの異なる物体を検出するための特徴マップの作り方です。ResNetのようなCNNと、Faster R-CNNのような検出器の間に入る部品として使います。

なぜ必要か

写真には、手前の大きな車も、遠くの小さな人も写ります。CNNの深い層の特徴マップは「何が写っているか」をよく表しますが、解像度が低く、小さな物体の情報が失われがちです。反対に浅い層の特徴マップは、解像度は高いものの、意味の情報が弱いという弱点があります。

古典的な対処は、画像を何段階にも縮小し、それぞれを処理する画像ピラミッドです。ただし、CNNを何度も通すため、計算量とメモリが大きくなります。SSDは1回の処理で得た複数の層の特徴マップを使いますが、解像度の高い浅い層は使っていませんでした。FPNの論文は、この浅い層こそ小さな物体の検出に大切だと指摘しています。

仕組み

まず通常の順伝播（ボトムアップ経路）で、段ごとに解像度が半分になる特徴マップを作ります。次に、最も深い段から特徴マップを2倍ずつ拡大しながら浅い段へ戻る、トップダウン経路を設けます。拡大した特徴マップは、同じ大きさの浅い段の特徴マップと、横方向の接続で足し合わせます。

こうして、どの段の特徴マップも、深い層の意味の情報と浅い層の細かな位置の情報をあわせもちます。予測は各段で行い、大きな物体は粗い段、小さな物体は細かい段が受け持ちます。CNNを通すのは1回だけなので、追加の計算はわずかです。

広がり

FPNはその後、Mask R-CNNや、パノプティックセグメンテーション向けのPanoptic FPNなど、多くのモデルで特徴を取り出す部品として使われています。

覚え方

「深い層の意味を、浅い層へ配り直すピラミッド」と覚えます。