自然言語処理とは

自然言語処理（NLP）は、日本語や英語のように人が日常で使う言葉（自然言語）を、コンピュータで扱う技術の総称です。プログラミング言語のように人工的に設計された言語と区別して、「自然」言語と呼びます。機械翻訳、検索エンジン、迷惑メールの判定、対話型のAIなど、多くの身近なサービスを支えています。

解析の段階

文の解析は、伝統的に次のような段階に分けて考えます。

• 形態素解析：文を意味をもつ最小の単位（形態素）に区切り、品詞を決める。単語の間に空白がない日本語では、最初の重要な処理になる。
• 構文解析：単語どうしの係り受けなど、文の構造を調べる。
• 意味解析：単語や文の意味を解釈する。
• 文脈解析：複数の文にまたがる指示語や話の流れを扱う。

言葉には、1つの表現が複数の意味や構造に取れる曖昧さがあります。文脈をふまえて正しい解釈を選ぶことが、難しさの中心です。

手法の移り変わり

初期は、人が文法や辞書の規則を書くルールベースの方法が中心でした。1990年代には、大量の文章から確率を学ぶ統計的自然言語処理が主流になります。2013年のword2vecをきっかけに、意味の近い単語ほど近い値になるベクトル（分散表現）で単語を表す方法が広まりました。その後、2017年のTransformer、2018年のBERTを経て、現在は大規模言語モデル（LLM）が多くのタスクを1つのモデルでこなすようになっています。

主なタスク

機械翻訳、文書要約、質問応答、情報検索、感情分析などがあります。G検定では、それぞれのタスクに使われる代表的な手法と結びつけて理解しておくと整理しやすくなります。