コーパスとは

コーパスは、言葉の使われ方を調べたり、AIに言葉を学ばせたりするために集めた、大量の文章や発話のデータです。英語のcorpusは、もとはラテン語で「体」を意味する語です。言語学では、分析のために集めた言葉の資料の全体を指します。

主な種類

• 生コーパス：文章をそのまま集めたもの。ラベルは付いていません。
• タグ付きコーパス：単語の品詞、文の構造、人名や地名などの情報を書き加えたもの。英語では、品詞と構文の情報を付けたPenn Treebankが知られています。
• 対訳コーパス：ある言語の文と、その翻訳文を対にして集めたもの。機械翻訳の学習に使います。
• 均衡コーパス：書籍、雑誌、新聞、ブログなどの媒体から、どれだけずつ集めるかをあらかじめ設計し、偏りを抑えたもの。国立国語研究所の現代日本語書き言葉均衡コーパス（BCCWJ）は、約1億語の規模です。

講演や会話を書き起こした、話し言葉のコーパスもあります。

AI開発での役割

統計的自然言語処理は、コーパスの中で単語が現れる回数や並び方を数え、確率として扱うことで発展しました。n-gramによる言語モデルや、対訳コーパスから訳し方を学ぶ統計的機械翻訳がその例です。word2vecのような単語の分散表現も、大量の文章から学習します。大規模言語モデルの事前学習では、Webから集めた膨大なテキストをコーパスとして使います。

注意点

コーパスの中身は、そのままモデルの知識と癖になります。特定の話題や文体に偏ったコーパスで学習すると、その偏りも学びます。Webから集めた文章には、誤った情報、差別的な表現、個人情報、他人の著作物も含まれます。そのため、品質によるふるい分けと、権利や個人情報への配慮が欠かせません。また、評価に使う問題が学習用のコーパスに紛れ込むと、性能を実力より高く見積もってしまいます。

覚え方

corpusは「体」。言葉を集めて1つの体にしたもの、と覚えます。