文章生成とは

文章生成は、AIが新しい文章を作り出す技術です。メールの下書き、要約、翻訳など、生成AIの身近な活用分野です。

次の単語を予測して並べる

現在の文章生成の中心は、言語モデルです。言語モデルは、それまでの文脈から、次に来る単語（正確にはトークン）の確率を予測します。選んだ単語を文脈に加えて、また次を予測する処理を、文の終わりを表す記号が出るまで繰り返します。この方式を自己回帰型と呼びます。

手法は、n-gramなどの統計的なモデルから、RNNを使うSeq2Seq、Transformerを使うGPTへと発展しました。2020年のGPT-3は1,750億個のパラメータをもち、人が書いたものと見分けにくいニュース記事を生成できたと報告されています。

次の単語の選び方

同じモデルでも、確率からの選び方で文章が変わります。次の単語の確率が「晴れ」0.6、「曇り」0.3、「雨」0.1だとします。

• 貪欲法：常に最も確率の高い「晴れ」を選びます。
• ビームサーチ：候補の文を複数残しながら進め、文全体で確率の高いものを選びます。
• 温度付きサンプリング：確率に応じてランダムに選びます。温度を上げると分布がなだらかになり、多様な文章になります。
• top-pサンプリング：確率の高い順に足し、合計が初めてp以上になるまでを候補にします。p = 0.8なら、0.6 + 0.3 = 0.9で「晴れ」と「曇り」が候補です。合計が1になるよう直し、0.6 ÷ 0.9 = 2/3、0.3 ÷ 0.9 = 1/3の確率で選びます。

確率が最大の文章を求める選び方は、ありきたりで同じ表現を繰り返す文章になりやすいことが知られています。

注意点

言語モデルは、もっともらしい単語の並びを作る仕組みで、内容が事実かは確かめていません。事実と異なる内容を自然な文章で出力することがあり、これをハルシネーションと呼びます。

覚え方

「予測して、選んで、つなげる」の3段階で覚えます。