形態素解析とは

形態素解析は、文を単語に近い小さな単位に区切り、それぞれが名詞なのか動詞なのかといった情報を付ける処理です。言語学では、意味をもつ最小の単位を形態素と呼びます。日本語を扱う自然言語処理では、多くのシステムが最初にこの処理を行います。

日本語で特に重要な理由

英語は単語の間に空白を入れて書くため、空白で区切るだけでもおおよその単語が得られます。日本語は空白を入れずに書くため、どこで区切るかを決めること自体が課題になります。たとえば「外国人参政権」は、「外国人／参政権」とも「外国／人参／政権」とも区切れます。人は意味から前者を選びますが、コンピュータには判断の手がかりが必要です。

形態素解析では、主に次の処理をまとめて行います。

• 分かち書き：文を形態素に区切る。
• 品詞の付与：名詞、動詞、助詞などを判定する。
• 原形の付与：「食べた」の「食べ」に、辞書に載っている形「食べる」を対応させる。

仕組み

代表的な方法では、まず辞書を引いて、文中にありうる区切り方の候補をすべて並べ、網の目のような図（ラティス）にします。そのうえで、単語の出やすさや品詞のつながりやすさを点数にし、全体として最も自然な区切り方を選びます。この点数は、人が区切りと品詞を付けたコーパスから学習します。日本語向けのツールMeCabは、この学習に条件付き確率場（CRF）を使っています。

ほかの処理との関係

形態素解析の結果は、係り受けを調べる構文解析や、BoW、TF-IDF、word2vecなどの入力になります。区切りを誤ると、その誤りが後の処理にも伝わります。

一方、大規模言語モデルでは、文字の並びの出現頻度から決めたサブワードという単位で区切る方法が広く使われます。この方法では、形態素解析は必ずしも必要ではありません。

覚え方

「形態素解析で区切り、構文解析で結ぶ」と覚えます。