統計的自然言語処理とは

統計的自然言語処理は、大量の文章データ（コーパス）を集計し、単語や表現の現れ方を確率として扱うことで、言葉を処理する方法です。人が文法や辞書の規則を書き込むルールベースの方法に代わって、1990年代に主流になりました。

なぜ統計なのか

人の言葉には例外や新しい言い回しが多く、規則を書き尽くすことはできません。1つの文に複数の解釈が成り立つ曖昧さもあります。統計的な方法では、どの表現や解釈が実際の文章でよく現れるかを数え、もっともらしいものを選びます。電子化された文章が大量に手に入るようになり、コンピュータの性能も上がったことが、この方法を現実的にしました。

代表的な手法と応用

• n-gram：直前の数語から、次の語が現れる確率を見積もる言語モデル。
• 隠れマルコフモデル：単語の並びから品詞の並びを推定する品詞タグ付けなどに使われた。
• 統計的機械翻訳：対訳コーパスから訳語の対応と確率を学ぶ。1990年にIBMの研究者が基本的な考え方を発表した。
• 文書分類：単語の出現回数をもとに、迷惑メールの判定や記事の分類を行う。

規則を人が書かずに済むため、データさえあれば新しい分野や言語にも広げやすくなりました。一方で、データの少ない分野や言語では精度が上がりにくいという弱点があります。

その後の流れ

2010年代には、単語をベクトルで表すword2vecなどの分散表現や、ニューラルネットワークを使う手法が広まりました。現在の大規模言語モデルも、大量の文章から次の単語の確率を学ぶという点で、統計的な考え方を受け継いでいます。