自然言語処理（シラバス 技術27）

主なタスク

• 機械翻訳：ある言語の文を別の言語に訳します。
• 文書要約：議事録などの長い文章の要点を短くまとめます。
• 質問応答：質問に対し、文書や知識から答えを返します。
• 感情分析：レビューなどが肯定的か否定的かを判定します。
• 情報検索：検索語に合う文書を探し、順位を付けます。

日本語は単語が空白で区切られないため、前処理として形態素解析を行います。文を意味を持つ最小の単位（形態素）に区切り、品詞を付ける処理です。語どうしの係り受けなど、文の構造を調べる処理は構文解析と呼びます。

単語や文書を数値にする

• ワンホットベクトル：語彙の数だけ次元を持ち、その単語の位置だけを1にします。意味の近さは表せません。
• BoW(Bag-of-Words)：文書に各単語が何回出たかを数えます。語順は捨てます。
• n-gram：連続するn個の単語や文字を1単位とし、近くの語順を残します。
• TF-IDF：文書内でよく出る単語ほど重みを大きくし（TF）、多くの文書に共通して出る単語ほど重みを小さくします（IDF）。情報検索でよく使われます。

分散表現

単語を数百次元の密なベクトルで表し、意味の近い単語が近い位置に来るようにしたものが分散表現です。単語埋め込みとも呼ばれます。

• word2vec：周りの単語から中心の単語を当てるCBOWと、中心の単語から周りの単語を当てるスキップグラムの2つの学習方法があります。
• fastText：単語を文字のn-gramに分けて学習するため、学習時になかった単語にもベクトルを作れます。
• ELMo：双方向LSTMの言語モデルを使い、同じ単語でも文脈に応じて異なるベクトルを作ります。

LSTMの記憶セルで誤差を減衰させずに保ち、長い文の学習を可能にする仕組みをCEC（Constant Error Carousel）と呼びます。

代表的なモデル

統計的機械翻訳は、大量の対訳文から語句の対応や出現の確率を学び、最も確率の高い訳文を選ぶ方式です。2010年代半ばからは、エンコーダとデコーダを組み合わせたSeq2Seqなど、ニューラルネットワークによる翻訳が主流になりました。

BERTはTransformerのエンコーダを使ったモデルです。文中の一部の単語を隠して前後の文脈から当てる課題などで事前学習し、個別のタスクに合わせてファインチューニングします。性能の比較には、複数の言語理解タスクを集めたベンチマークGLUEがよく使われました。

大規模言語モデル(LLM)

大量のテキストで事前学習した、パラメータ数の非常に多い言語モデルです。GPT系はTransformerのデコーダを使い、次の単語を予測する学習を大規模に行ったモデルです。PaLMはGoogleが2022年に発表したパラメータ数5,400億のモデルです。LLMは指示や少数の例を与えるだけで多くのタスクをこなしますが、事実と異なる内容をもっともらしく出力することがあります。