SegNetとは

SegNetは、2015年にケンブリッジ大学のVijay Badrinarayananらが発表した、セマンティックセグメンテーションのモデルです。道路の風景や屋内の様子を、画素ごとに道路・車・歩行者・壁などへ塗り分ける、シーン理解の用途を想定して開発されました。

構造

入力を縮めるエンコーダと、元の大きさへ戻すデコーダを、左右対称に並べたエンコーダ・デコーダ型です。

• エンコーダ：VGG16の13層の畳み込み層と同じ構成で、全結合層は取り除いています。畳み込みと最大値プーリングを繰り返し、特徴マップを縮めながら、何が写っているかをつかみます。
• デコーダ：エンコーダの各段と対になる層で特徴マップを拡大し、最後に画素ごとのクラスを判定します。

プーリングインデックスによる拡大

特徴マップを縮めると、物体の境界がどこにあったかという細かな位置の情報が失われます。そこでSegNetは、エンコーダで最大値プーリングをするときに、各窓で最大値がどの位置にあったか（プーリングインデックス）を記録しておきます。

デコーダは拡大の際に、値を記録した位置へ戻し、ほかの位置を0にします。こうしてできたまばらな特徴マップに、学習する畳み込みをかけて、密な特徴マップにします。拡大そのものには、学習するパラメータがいりません。

ほかのモデルとの違い

U-Netは、エンコーダの特徴マップ全体をデコーダへ渡し、チャネル方向に連結します。細部の情報を多く使える代わりに、保存する情報が多くなります。SegNetは位置だけを渡すので、推論時のメモリを抑えられます。FCNは、逆畳み込みで拡大し、浅い層からの予測を足し合わせて細部を補います。

覚え方

「縮めるときに最大値の場所をメモし、戻すときにそのメモを使う」と覚えます。