データ生成（シラバス 技術30）

見分けるモデルと作るモデル

これまで学んだモデルの多くは、入力が何かを見分けるものでした。生成モデルは、学習データの特徴をつかみ、それらしい新しいデータを作り出します。作る対象によって、画像生成、文章生成、音声生成と呼び分けます。

GAN：2つのネットワークを競わせる

敵対的生成ネットワーク(GAN)は、2014年にGoodfellowらが提案しました。

• 生成器：ランダムなノイズを受け取り、偽のデータを作ります。
• 識別器：データが本物か、生成器が作った偽物かを見分けます。

偽札を作る側と見破る側のいたちごっこにたとえられます。生成器は識別器をだますように、識別器はだまされないように学習し、生成器の出力が本物に近づきます。ただし学習が不安定になりやすく、似たデータばかり作る「モード崩壊」も起こります。

GANの発展形

モデル	工夫	必要な学習データ
DCGAN	生成器と識別器に畳み込み層を使い、画像生成の学習を安定させた	画像の集まり
Pix2Pix	入力画像を条件として与え、別の画像に変換する	変換前後が対応した画像の組
CycleGAN	AからB、BからAの2方向の変換を同時に学ぶ	対応のない2つの画像の集まり

Pix2Pixは、線画から写真、航空写真から地図のような変換に使えます。ただ、対応した組を大量に集めるのは大変です。CycleGANは、変換して戻すと元の画像に戻るという制約を課し、組のないデータから学習します。馬の写真をシマウマに変える例が有名です。

Diffusion Model

Diffusion Model（拡散モデル）は、2つの過程で考えます。

1. 拡散過程：画像に少しずつノイズを加え、最後はただのノイズにします。決まった手順なので学習はしません。
2. 逆拡散過程：ノイズを少しずつ取り除く手順を、モデルが学習します。

生成するときは、ただのノイズから出発し、逆拡散を何段階も繰り返します。GANより学習が安定し、多様で高品質な画像を作りやすい反面、生成に時間がかかります。Stable Diffusionなど、文章から画像を作るモデルの土台にもなっています。

NeRF

NeRFは、ある場面を複数の視点から撮った写真と、その撮影位置・向きを使って学習します。学ぶのは、空間の位置と見る方向から、その点の色と密度を返すネットワークです。これを使い、撮っていない視点から見た画像を描き出します。学習は場面ごとに行います。

文章生成と音声生成

• 文章生成：大規模言語モデルが、次の語の予測を繰り返して文章を作ります。
• 音声生成：WaveNetのように音声の波形を直接生成するモデルが、読み上げ音声の自然さを高めました。

使うときの注意

生成したデータは、データ拡張やデザイン案づくりに役立ちます。一方、本物と見分けにくい偽の映像や音声（ディープフェイク）の悪用や、学習データの著作権の問題もあり、法律・倫理分野とあわせて押さえます。