WaveNetとは

WaveNetは、2016年にGoogle傘下のDeepMindが発表した、音声の波形を直接生成するニューラルネットワークです。人の声に近い自然な音声を合成できることで注目されました。

従来の音声合成との違い

それまでのテキスト音声合成には、主に2つの方式がありました。録音した音声の断片をつなぎ合わせる波形接続型と、声の特徴を表すパラメータを統計モデルで推定し、ボコーダで音にするパラメトリック型です。前者は声の調子を自由に変えにくく、後者は機械的な音質になりがちでした。

WaveNetは、デジタル化された音声の波形そのものを、1サンプルずつ予測して生成します。それまでのサンプルをもとに次の値を予測し、その値を入力に戻して、さらに次を予測します。このような方式を自己回帰型と呼びます。

しくみ

1秒の音声は、16kHzで記録した場合でも1万6,000個のサンプルからなります。自然な音声を作るには、遠い過去のサンプルまで参照する必要があります。WaveNetは、次の2つの工夫でこれに対応しました。

• 因果的な畳み込み：未来のサンプルを参照せず、過去のサンプルだけから予測します。
• Dilated Convolution：畳み込むサンプルの間隔を、層ごとに1、2、4、8……と広げます。少ない層で、長い時間の範囲を見渡せます。

出力は、次のサンプルの値を256段階に分けたときの確率分布です。

成果と課題

英語と中国語の音声合成で、聞き手による自然さの評価が従来の方式を上回りました。話者の情報を条件として与えれば、1つのモデルで複数の声を出し分けられます。音楽の生成にも使えることが示されています。

一方、1サンプルずつ順に計算するため、当初は生成に時間がかかりました。その後、並列に生成できる改良版が開発されています。

覚え方

「波（Wave）を一粒ずつ、過去だけを見て積み上げる」と覚えます。