1行定義
DeepLabとは、Atrous Convolutionで解像度を保ちつつ広い範囲の文脈を捉える、セマンティックセグメンテーションのモデル群のことです。
くわしく
DeepLabは、Liang-Chieh Chenらが2014年から改良を重ねてきた、セマンティックセグメンテーションのモデル群です。どの版にも共通する中心の道具が、Atrous Convolutionです。
解決したかった問題
画像分類のCNNは、プーリングやストライドで特徴マップを何度も縮めます。縮めると何が写っているかは判断しやすくなりますが、どの画素までが物体かという細かな位置の情報は失われます。セグメンテーションでは、これが物体の境界のぼやけにつながります。
Atrous Convolution
DeepLabは、途中の縮小を一部やめ、代わりにフィルタの要素の間を空けたAtrous Convolution（Dilated Convolutionとも呼ぶ）を使います。パラメータや計算量を増やさずに広い範囲を見渡せるので、特徴マップの解像度を保ったまま広い文脈を捉えられます。
版ごとの主な工夫
- v1（2014年）：CNNの出力を全結合CRFで後処理し、物体の境界を整えました。
- v2（2016年）：間隔の異なるAtrous Convolutionを並列に使うASPPを導入し、さまざまな大きさの物体に対応しました。
- v3（2017年）：ASPPに画像全体の特徴を加えて改良し、CRFの後処理なしで以前の版を上回りました。
- v3+（2018年）：v3をエンコーダとして使い、境界を細かく復元するデコーダを加えました。
ほかのモデルとの違い
U-NetやSegNetは、縮めた特徴をデコーダで段階的に戻します。PSPNetは、複数の大きさの格子でプーリングして画像全体の文脈を捉えます。DeepLabは、縮めすぎないという方向から取り組んだ点が特徴です。
覚え方
Atrousはフランス語の「à trous（穴あき）」に由来します。「DeepLabは穴あきフィルタで遠くまで見る」と覚えます。
G検定での出題
出題のされ方
Atrous Convolution（Dilated Convolution）で受容野を広げる点、間隔の異なる畳み込みを並べるASPP、初期の版の全結合CRFによる境界の補正など、ほかのセグメンテーションモデルとの違いが問われます。
混同しやすい用語
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
DeepLabのASPPは、間隔の異なる複数のAtrous Convolutionを並列に適用し、さまざまな大きさの物体や文脈を捉える。
答えを見る
答え ◯ 正しい
ASPPはAtrous Spatial Pyramid Poolingの略です。間隔の小さい畳み込みは細かな部分を、大きい畳み込みは広い範囲の文脈を捉え、その結果を統合します。
-
DeepLabは、どの版でも、ネットワークの出力を全結合CRFで後処理することを前提としている。
答えを見る
答え × 誤り
全結合CRFで物体の境界を整えるのは、初期の版（v1・v2）の特徴です。DeepLabv3は、CRFの後処理なしで以前の版を上回る性能を報告しています。
-
DeepLabv3+は、DeepLabv3をエンコーダとして使い、物体の境界を細かく復元するデコーダを加えたモデルである。
答えを見る
答え ◯ 正しい
エンコーダ・デコーダの構造を取り入れ、エンコーダの途中の細かい特徴もデコーダで使います。これにより、物体の輪郭付近の精度が上がりました。
この用語の練習問題
出典
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目26 画像認識）
- Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille, Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs (2014)
- Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille, DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (2016)
- Liang-Chieh Chen, George Papandreou, Florian Schroff, Hartwig Adam, Rethinking Atrous Convolution for Semantic Image Segmentation (2017)
- Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, Hartwig Adam, Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation (2018)