CycleGANとは

CycleGANは、2017年にカリフォルニア大学バークレー校のJun-Yan Zhuらが発表した、画像から画像への変換を学習するGANです。最大の特徴は、変換前と変換後が1対1で対応したペア画像がなくても学習できることです。

ペア画像が不要とはどういうことか

同じ研究グループのPix2Pixは、「線画と、その元になった写真」のようなペア画像から変換を学びます。しかし、ウマの写真をシマウマの写真に変えたい場合、同じ姿勢のウマとシマウマのペアは手に入りません。CycleGANは、「ウマの写真の集合」と「シマウマの写真の集合」さえあれば学習できます。

循環一貫性という考え方

ペアがないと、「元の写真の構図を保ったまま、シマウマ風にする」ことを保証しにくくなります。生成器が入力を無視して、それらしいシマウマの画像を出すだけでも、識別器はだませてしまうからです。

そこでCycleGANは、行き（X→Y）の生成器Gと、帰り（Y→X）の生成器Fを同時に学習します。ウマの写真をGでシマウマ風にし、さらにFでウマに戻したとき、元の写真に戻るように学習します。このずれを測るのが循環一貫性損失（cycle consistency loss）です。翻訳した文章を元の言語に訳し戻して確かめるのと同じ発想です。各方向には識別器も用意し、変換結果が変換先の画像らしく見えるようにします。

応用と限界

ウマとシマウマ、夏と冬の風景、写真とモネ風の絵画の相互変換などの例が示されました。一方、色や質感の変換は得意ですが、犬を猫に変えるような形の大きな変化は苦手です。また、ペア画像で学習した場合の精度との差が残ることも、著者らは認めています。

覚え方

「行って帰って元どおり（Cycle）」と覚えます。