CTCとは

CTC（Connectionist Temporal Classification）は、2006年にグレイブスらが発表した、系列を別の系列に変換するモデルの学習方法です。音声認識で、音声から文字列を直接出力するEnd-to-Endのモデルを学習するときによく使われます。

解決した問題

音声は、10ミリ秒ごとなどの細かいフレームに区切って処理します。1秒の発話でも100フレームほどになり、出力する文字の数よりずっと多くなります。しかも、どのフレームがどの文字に当たるかは、ふつうの学習データには書かれていません。従来は、HMMを使ってフレームと音素の対応を推定したり、人手で区切りを付けたりする必要がありました。

しくみ

CTCでは、ニューラルネットワークが各フレームで、どの文字か、またはブランク（何も出さない）かの確率を出力します。フレームごとの出力の並びは、次の規則で文字列に変換します。

1. 連続する同じ記号を1つにまとめる。
2. ブランクを取り除く。

たとえば「c c - a a - - t」（-はブランク）は「cat」になります。「hello」のように同じ文字が続く場合は、「l - l」のように間にブランクを挟みます。

同じ文字列になる出力の並びは、たくさんあります。CTCは、それらの確率をすべて足した値を正解の文字列の確率とし、これを大きくするように学習します。この計算は、動的計画法で効率よく行います。

特徴と位置づけ

出力の長さは、入力のフレーム数以下になります。また、各フレームの出力は、入力が与えられたもとで互いに独立だと仮定します。そのため、単語のつながりを補う言語モデルと組み合わせて精度を上げることがよくあります。原論文では双方向LSTMと組み合わせ、音素認識でHMMを使う従来の手法を上回りました。手書き文字の認識など、音声以外の系列にも使えます。

覚え方

「同じ記号はまとめ、ブランクは消す」と覚えます。