最大値プーリングとは

最大値プーリング（マックスプーリング）は、CNNで特徴マップを縮小するために使う処理です。畳み込み層の後に置かれることが多く、VGGをはじめ多くのCNNで使われてきました。

計算のしかた

特徴マップを2×2などの小さな窓に区切り、窓の中の最大値を1つ取り出します。たとえば窓の中の値が1、3、2、8なら、出力は8です。2×2の窓をストライド2で重ならないように動かすと、縦と横はそれぞれ半分になり、値の数は4分の1になります。

処理はチャネルごとに別々に行うので、チャネル数は変わりません。窓の大きさとストライドは設計者が決めるハイパーパラメータで、学習する重みはありません。

何に役立つか

• 計算量を減らす：特徴マップが小さくなり、後ろの層の計算量やメモリが減ります。
• 位置ずれに強くなる：特徴が窓の中で少し動いても、最大値は変わりにくくなります。これを不変性の獲得と呼びます。縦の線に反応する特徴が1画素ずれても、同じ窓の中なら出力は同じです。
• 強い反応を残す：畳み込み層の出力が大きい位置は、その特徴がはっきり現れた場所です。最大値をとれば、「この範囲にこの特徴があった」という情報が残ります。

平均値プーリングとの違い

平均値プーリングは、窓の中の平均をとります。弱い反応も含めてならすので、際立った特徴は薄まりやすくなります。最大値プーリングは、背景のような弱い反応を無視し、最も目立つ反応だけを通します。

誤差逆伝播での扱い

逆伝播では、出力に使われた最大値の位置にだけ勾配が流れ、ほかの位置には0が伝わります。

弱点

窓の中のどこに特徴があったかという細かな位置の情報は捨てられます。画素単位の位置が大切なセグメンテーションでは、これを補う工夫が必要です。たとえばSegNetは、最大値をとった位置を記録しておき、拡大するときに使います。

覚え方

「窓の中のチャンピオンだけが次の層へ進む」と覚えます。