音声生成とは

音声生成は、話し声や音楽などの音声データを新しく作り出す技術です。シラバスでは、画像生成や文章生成とともに、データ生成の項目に含まれます。

主な種類

• 音声合成：文章から話し声を作ります。テキスト音声合成（TTS）とも呼びます。
• 声質変換：話す内容を保ったまま、声を別の人の声に変えます。
• 音楽や効果音の生成：曲や環境音などを作ります。

音声認識が音声から文字列を求めるのに対し、音声生成は音声を作り出す側の技術です。

代表的なモデル

音声生成の難しさは、データの細かさにあります。16kHzで記録した音声は、1秒で1万6,000個の数値からなります。

• WaveNet（2016年）：波形を1サンプルずつ、過去のサンプルから予測して生成する自己回帰型のモデルです。話し声の自然さを大きく高め、音楽の生成にも使えることが示されました。
• Tacotron 2（2017年）：文章からメルスペクトログラムを予測し、WaveNetを改良したボコーダで波形にする2段階の方式です。
• Jukebox（2020年）：VQ-VAEで音声を離散的な符号に圧縮し、Transformerで予測して、歌声を含む曲を生成しました。
• VALL-E（2023年）：音声をニューラル音声コーデックでトークンに変換し、言語モデルで予測します。約3秒の録音から、その話者に似た声で文章を読み上げられると報告されました。

近年は、音声をトークンの列として扱い、文章生成と同じ仕組みで予測する方式が広がっています。

リスクと対策

少量の録音から特定の人の声をまねられるようになり、本人の同意のない利用や、なりすましによる詐欺が問題になっています。人が聞いて合成音声を確実に見分けるのは難しいという実験結果もあり、合成音声を検出する技術の研究が進められています。

覚え方

「波形を1点ずつ作るWaveNetから、音をトークンとして予測するVALL-Eへ」と、流れで覚えます。