paraphrasingとは

paraphrasingは、文章の意味を変えずに別の言い方に書き換えて、学習データを増やすデータ拡張の手法です。「駅から近くて便利だ」を「駅に近いので便利だ」と言い換えても、店を褒めていることは変わりません。同じ意味の文をいくつも作れば、ラベル付きの文章を新たに集めなくても、表現の幅を広げられます。

代表的な方法

• 類義語への置き換え：シソーラス（類義語の辞書）を使い、単語を意味の近い語に置き換えます。
• 逆翻訳：文を別の言語に翻訳し、元の言語に翻訳し直します。単語単位ではなく、文全体が書き換わります。
• ルールによる変換：「だ」を「です」に変えるなど、決まった規則で表現を変えます。
• 生成モデル：Seq2Seqのモデルや大規模言語モデルに、言い換えの文を作らせます。

機械翻訳での逆翻訳

逆翻訳は、機械翻訳の学習データを増やす技術としても広まりました。2016年の研究では、翻訳先の言語の文章だけがあるデータを、逆向きの機械翻訳で翻訳元の言語に訳しました。こうして作った人工の対訳を学習に加え、翻訳の精度を上げています。

noisingとの違い

文章のデータ拡張を整理したサーベイ論文は、paraphrasingを、元の文との意味の違いが小さい拡張と位置づけています。単語をランダムに削除したり入れ替えたりするnoisingは、より大きな乱れを許す点で区別されます。ただし言い換えでも、否定の語や程度を表す語が変わると、正解ラベルも変わりえます。作った文を確かめる工程が欠かせません。

覚え方

paraphraseは英語で「言い換える」という意味です。「言い換えのparaphrasing、乱れのnoising」と対で覚えます。