メル周波数ケプストラム係数（MFCC）とは

メル周波数ケプストラム係数（MFCC）は、音声認識で長く標準的に使われてきた特徴量です。音声の波形を、音素の違いを表すのに必要な情報に絞り込み、1フレームあたり十数個の数値にまとめます。1980年のデイビスとマーメルスタインの研究で、ほかの特徴量より単語の認識精度が高いことが示されました。

なぜ必要か

16kHzで記録した音声は、1秒あたり1万6,000個の数値からなり、声の大きさや高さの違いにも左右されます。一方、音素の違いは、声道の形で決まるスペクトル包絡やフォルマントに表れます。MFCCは、この包絡の形を少ない次元で取り出します。

求める手順

1. 音声を20〜30ミリ秒程度の短い区間（フレーム）に分け、窓関数をかける。
2. 高速フーリエ変換（FFT）で、各フレームの周波数成分を求める。
3. メル尺度の上で等間隔に並べたフィルタの組（メルフィルタバンク）をかけ、帯域ごとのエネルギーを求める。
4. 対数をとる。
5. 離散コサイン変換（DCT）を行い、低次の係数を残す。

対数をとると、声帯の振動による細かな凹凸と、声道によるなめらかな包絡が、掛け算から足し算の関係に変わり、分けやすくなります。DCTの低次の係数には主に包絡が表れるため、低次の12〜13個程度を使うと、声の高さの影響を受けにくい特徴量になります。

名前と現在の使われ方

スペクトルの対数をさらに周波数分析したものをケプストラムと呼びます。名前は、spectrumの先頭4文字を逆に並べた造語です。MFCCは、HMMを使う従来の音声認識や、話者識別で広く使われてきました。ディープラーニングを使う現在の音声認識では、DCTの前の対数メルスペクトログラムを入力にすることも増えています。

覚え方

「FFT→メル→ログ→DCT」の順番を、「耳に合わせて声道の形を要約する」流れとして覚えます。