パディングとは

パディングは、CNNの畳み込み層で、入力の外側に余白を足しておく処理です。最もよく使われるのは、余白をすべて0で埋めるゼロパディングです。

なぜ必要か

フィルタは入力の内側にしか置けません。そのため、パディングなしで畳み込むと、出力の特徴マップは入力より小さくなります。たとえば縦横6×6の入力に3×3のフィルタを当てると、出力は4×4です。層を重ねるたびに縮んでいくため、深いネットワークを組みにくくなります。

また、端の画素はフィルタの窓に入る回数が、中央の画素より少なくなります。周囲を広げておくと、端の情報も中央に近い形で計算に使われます。

出力サイズの計算

縦または横の出力サイズは、次の式で求めます。

出力サイズ = (入力サイズ + 2 × パディング − フィルタサイズ) ÷ ストライド + 1

パディングは両側に付けるので2倍します。割り切れない場合は、小数点以下を切り捨てるのが一般的です。

ストライド1で奇数サイズのフィルタを使うなら、パディングを(フィルタサイズ − 1) ÷ 2にすると、出力は入力と同じサイズになります。3×3のフィルタならパディング1、5×5ならパディング2です。

種類と呼び方

出力サイズを保つ設定は「same」、パディングなしは「valid」と呼ばれることがあります。0で埋める代わりに、端の値を複製する方法や、鏡のように折り返す方法もあります。どの方法でも、足した余白は学習するパラメータではありません。

ストライドが「フィルタをどれだけずらすか」を決めるのに対し、パディングは「入力の外側をどれだけ広げるか」を決めます。どちらの値を変えても出力サイズが変わります。

覚え方

「額縁を足して、絵の端まで筆を届かせる」と覚えます。