PSPNetとは

PSPNetは、Hengshuang Zhaoらが2016年に論文を公開し、2017年のCVPRで発表したセマンティックセグメンテーションのモデルです。場面全体を塗り分ける2016年のコンテスト（ImageNet Scene Parsing Challenge）で1位になりました。

解決したかった問題

FCNのようなモデルは、各画素の周りの見た目に頼って判断しがちです。論文では、川に浮かぶボートを見た目から「車」と誤る例を挙げています。人なら「川の上に車はまずない」と、周りの状況から判断できます。ほかにも、「ビル」と「高層ビル」のような似たクラスの混同や、シーツと色や質感の似た枕のように目立たない物体の見落としが課題でした。

ピラミッドプーリングモジュール

PSPNetはまず、Dilated Convolutionを取り入れたResNetで特徴マップを作ります。これに、ピラミッドプーリングモジュールをつなぎます。特徴マップを1×1、2×2、3×3、6×6の格子に分け、区画ごとに平均値プーリングで値をまとめます。1×1は画像全体の要約で、6×6はより狭い範囲の要約です。

各段の結果は、1×1の畳み込みでチャンネル数を減らし、もとの特徴マップと同じ大きさまで拡大してから連結します。こうして、画素ごとの細かな情報に、さまざまな広さの文脈が加わります。全体を1つにまとめるだけでは位置の関係が失われるため、広さの違う区画を組み合わせます。

ほかのモデルとの違い

DeepLabは間隔を空けた畳み込み（Atrous Convolution）で受容野を広げ、U-Netは縮める前の特徴マップを連結して細部を補います。これに対してPSPNetは、大きさの違う領域ごとのプーリングで文脈を取り込む点が特徴です。

覚え方

「ピラミッドのように段ごとに領域をまとめ、場面（Scene）の文脈を読む」と覚えます。