U-Netとは

U-Netは、2015年にOlaf Ronnebergerらが、細胞の顕微鏡画像などの生物医学画像を領域分割するために発表したネットワークです。構造を図にするとアルファベットのUの形になることから、この名前が付きました。

U字型の構造

左半分は縮小の経路（エンコーダ）です。畳み込みとプーリングを繰り返して特徴マップを小さくしながら、「ここに何があるか」という大まかな意味をつかみます。右半分は拡大の経路（デコーダ）です。アップサンプリングで特徴マップを段階的に大きくし、画素ごとのクラスを出力します。

スキップ結合で細部を補う

特徴マップを縮めると、物体の境界がどこにあるかといった細かな位置の情報が失われます。そこでU-Netは、エンコーダの各段の特徴マップを、同じ解像度のデコーダの段へ渡し、チャネル方向に連結します。デコーダは、深い層の大まかな意味と、浅い層の細かな位置の情報を合わせて使えるので、境界を正確に描けます。

ResNetのスキップ結合が入力を「足し合わせる」のに対し、U-Netは「連結する」点が異なります。同じエンコーダ・デコーダ型のSegNetは、特徴マップ全体ではなく、プーリングで最大値をとった位置だけをデコーダに渡します。

少ないデータで学習できる

医療の現場では、専門家が画素単位で正解を付けた画像を大量に集めるのは困難です。U-Netの論文では、画像を弾性的にゆがめるなどのデータ拡張を多用し、少ない枚数の画像から高い精度を出しました。

広がり

U-Netは医療画像に限らず、衛星画像の解析や製品の外観検査などにも使われています。画像生成の拡散モデルでも、ノイズを推定する部分にU-Netを改良したものがよく使われます。

覚え方

「縮めて意味をつかみ、戻して位置を描く。左右の橋渡しは連結」と覚えます。