セマンティック・インスタンスとパノプティックの違い

セグメンテーションは、画像を画素（ピクセル）単位で分ける画像認識のタスクです。3つの違いは、「背景も塗るか」と「同じクラスの物体を1つずつ区別するか」の2点で整理できます。

セマンティックセグメンテーション

すべての画素に「人」「道路」「空」などのクラスを付けます。背景も含めて画像全体を塗り分けますが、同じクラスの物体は区別しません。3人が並んで写っていれば、3人まとめて1つの「人」の領域になります。

代表例は、全結合層をなくして画素ごとの出力を可能にしたFCNや、特徴を縮めるエンコーダと元の大きさに戻すデコーダを組み合わせたSegNet、U-Netです。

インスタンスセグメンテーション

人や車のような数えられる物体を1つずつ見分け、それぞれの形を画素単位で切り出します。物体ごとに別々のマスクを出力するので、個数もわかります。一方、空や道路のような背景は扱いません。

代表的なモデルのMask R-CNNは、物体検出のFaster R-CNNで物体の候補領域を見つけ、その領域ごとにマスクを予測します。「検出してから切り出す」という考え方です。

パノプティックセグメンテーション

2018年に提案された、2つのタスクを統合したタスクです。提案論文では、人や車のように数えられる物体をthings、空や道路のように数えられない領域をstuffと呼んで区別しています。

すべての画素にクラスを付け、thingsの画素には個体の番号も付けます。stuffの画素にはクラスだけを付けます。1つの画素は1つの領域にだけ属し、画像全体が重なりなく塗り分けられます。評価には、領域の重なりの正確さと物体の見つけ方をまとめて測る、PQという指標が導入されました。