文書要約とは

文書要約は、長い文章の要点を短くまとめる技術です。ニュース記事の要点の表示、会議の議事録や問い合わせ記録のまとめ、論文の概要づくりなどに使われます。

抽出型と生成型

要約の作り方は、大きく2つに分かれます。

• 抽出型要約：原文の中から重要な文を選び出し、つなげて要約にします。重要な文に蛍光ペンで線を引き、その文だけを書き写すイメージです。
• 生成型要約（抽象型要約）：原文の内容をふまえて、新しい文を組み立てます。人が自分の言葉で要点を書き直すイメージです。

抽出型は原文の文をそのまま使うため、原文と食い違う内容は入りにくい一方、選んだ文どうしのつながりがぎこちなくなりがちです。生成型は読みやすい要約を作れますが、原文にない内容を作り出すことがあります。

手法の移り変わり

自動要約の研究は古く、1958年にはIBMのLuhnが、文書中の語の出現頻度から文の重要度を計算し、重要度の高い文を選ぶ方法を発表しました。抽出型の原型といえる方法です。2015年ごろからは、Attentionを備えたニューラルネットワークで、要約文を1語ずつ生成する研究が進みました。原文の語をそのまま写す仕組みを組み合わせて、固有名詞などを正しく残す工夫も提案されています。現在は、大規模言語モデルが長い文書の要約にも広く使われています。

種類と評価

1つの文書を要約する単一文書要約と、同じ話題の複数の文書をまとめる複数文書要約があります。複数文書要約では、文書の間で重なる内容を整理する処理が必要です。

要約の良し悪しは、人が作った参照要約との間でn-gramなどの重なりを数えるROUGEで、自動評価するのが一般的です。ただし、ROUGEの点数が高くても、事実の誤りがないとは限りません。業務で使うときは、原文と照らし合わせる確認も欠かせません。