Depthwise Separable Convolutionとは

Depthwise Separable Convolutionは、畳み込み層の計算を軽くするための工夫です。スマートフォン向けのMobileNetや、Inceptionモジュールを発展させたXceptionなどで使われています。

通常の畳み込みがしていること

複数のチャネルがある入力に対して、通常の畳み込みは、縦・横・チャネルの3方向にまたがるフィルタを使います。「空間方向の模様を見ること」と「チャネルどうしの情報を混ぜること」を、1回の計算で同時に行います。フィルタの大きさをK×K、入力チャネル数をM、出力チャネル数をNとすると、パラメータ数はK×K×M×Nです。

2段階に分ける

Depthwise Separable Convolutionは、この2つの仕事を別々の層に分けます。

1. Depthwise畳み込み：入力のチャネルごとに、K×Kのフィルタを1枚ずつ当てます。空間方向の模様だけを見て、チャネルどうしは混ぜません。パラメータ数はK×K×Mです。
2. Pointwise畳み込み：1×1の畳み込みで、各位置のチャネルの値を混ぜ合わせ、N個の出力チャネルを作ります。パラメータ数はM×Nです。

たとえばK=3、M=32、N=64なら、通常の畳み込みは18,432個です。分けると288＋2,048＝2,336個になり、約8分の1に減ります。計算量も同じ割合で減ります。

注意点

分けると、通常の畳み込みが表せる計算の一部しか表せなくなります。それでもMobileNetの論文では、精度の低下はわずかだと報告されています。同じ項目で学ぶDilated Convolutionは、フィルタの要素の間隔をあけ、パラメータを増やさずに受容野を広げる手法です。計算量を減らすための手法ではありません。

覚え方

「まずチャネルごとに見る（Depthwise）、次にチャネルを混ぜる（Pointwise）」と覚えます。