プーリング層（シラバス 技術20）

プーリング層の役割

プーリング層は、畳み込み層が出力した特徴マップを、小さな領域ごとに1つの値へまとめて縮小する層です。CNNでは、畳み込み層とプーリング層を交互に重ねる構成がよく使われます。目的は主に2つです。

• 計算量を減らす：縦横のサイズが小さくなり、後ろの層の計算量やメモリが減ります。
• 不変性の獲得：ウィンドウの中で特徴の位置が少しずれても、まとめた値はあまり変わりません。画像の中で対象がわずかに動いても、同じ特徴として扱いやすくなります。

プーリングには、学習で調整する重みがありません。どの値を残すかは、最大値や平均といった決まった計算で決まります。

最大値プーリングと平均値プーリング

2×2のウィンドウをストライド2で動かす例で比べます。あるウィンドウの中の値が1、3、2、8だったとします。

種類	計算	この例の結果	性質
最大値プーリング	最も大きい値を残す	8	強く反応した特徴をはっきり残す
平均値プーリング	値の平均をとる	3.5	領域全体の傾向をなめらかに残す

この設定では、4×4の特徴マップが2×2になり、縦横がそれぞれ半分になります。出力サイズは、パディングなしの畳み込みと同じく (入力サイズ − ウィンドウサイズ) ÷ ストライド + 1 で求められます。プーリングはチャンネルごとに別々に行うので、チャンネル数は変わりません。

グローバルアベレージプーリング(GAP)

GAPは、各チャンネルの特徴マップ全体の平均をとり、1チャンネルを1つの値にまとめる処理です。たとえば7×7×512の特徴マップは、長さ512のベクトルになります。

以前のCNNは、最後の特徴マップを1列に並べて全結合層に入れていました。VGG16では、7×7×512の値を4,096個のユニットに結合する最初の全結合層だけで、重みが約1億個あります。GAPを使えば、全結合層に入る値が512個に減り、パラメータが大幅に減るため、過学習も起きにくくなります。入力画像の大きさが変わっても、出力の長さがチャンネル数で決まる点も利点です。

GAPは2013年のNetwork In Networkで提案され、GoogLeNetやResNetでも分類の直前に使われています。モデルが画像のどこを見て判断したかを可視化するCAMも、GAPを使う構造を前提にした手法です。