Pix2Pixとは

Pix2Pixは、2016年にカリフォルニア大学バークレー校のPhillip Isolaらが発表した、画像から画像への変換を学習するモデルです。論文の題名にある「画像から画像への変換（Image-to-Image Translation）」を扱い、ある画像を別の見た目の画像に変換します。

条件付きGANで変換を学ぶ

通常のGANは、ランダムなノイズから画像を作ります。Pix2Pixは、変換前の画像を条件として生成器に与え、変換後の画像を出力させる条件付きGANです。識別器には「変換前の画像と変換後の画像の組」を見せ、本物の組か、生成器が作った組かを判定させます。

学習には、変換前と変換後が1対1で対応したペア画像が必要です。たとえば、白黒写真とそのカラー写真、領域ごとに色分けしたラベル画像と実際の写真、航空写真と地図などです。

3つの工夫

• U-Net型の生成器：エンコーダとデコーダの対応する層をスキップ結合でつなぎます。輪郭の位置など、入力と出力で共通する細かい情報をそのまま受け渡せます。
• PatchGAN：識別器は、画像全体ではなく、小さな領域（パッチ）ごとに本物らしさを判定します。細部の質感を重視でき、計算も軽くなります。
• L1損失との併用：出力と正解画像の差（L1損失）を、敵対的な損失に加えます。L1損失だけでは画像がぼやけますが、敵対的な損失と組み合わせることで、全体の形が正しく、細部も鮮明な画像になります。

CycleGANとの違い

Pix2Pixの弱点は、ペア画像をそろえる手間です。同じ研究グループが翌年に発表したCycleGANは、ペアのない2つの画像の集合から変換を学べるようにしました。正確なペアが手に入るならPix2Pix、手に入らないならCycleGAN、と使い分けます。

覚え方

「ペアで学ぶPix2Pix、ペアなしで回るCycleGAN」と覚えます。