noisingとは

noisingは、主に文章のデータ拡張で使われる考え方です。文に小さな乱れ（ノイズ）を加えて、学習データを増やします。「今日はとても暑い」を「今日は暑いとても」と並べ替えたり、「とても」を消したりしても、人は意味を読み取れます。こうして少し崩した文も学習させると、データが増えるだけでなく、乱れた入力に強いモデルになります。

代表的な操作

• 削除：単語をランダムに消す
• 挿入：ランダムに選んだ語を文の中に差し込む
• 入れ替え：2つの単語の位置を交換する
• 置換：単語を別の語や記号、よくある誤字に置き換える

2019年に発表されたEDA（Easy Data Augmentation）は、類義語への置き換え、ランダムな挿入、入れ替え、削除の4つを組み合わせた単純な方法です。5つの文章分類の課題の平均で、学習データを半分だけ使ってEDAで増やすと、全データで通常どおり学習した場合と同じ精度に達したと報告されています。なお、類義語への置き換えは、後述のサーベイ論文ではparaphrasingに分類されています。

paraphrasingとの違い

文章のデータ拡張を整理した2021年のサーベイ論文は、手法をparaphrasing、noising、samplingの3つに分けています。paraphrasingは意味をできるだけ保って表現を変え、元の文からの変化は小さめです。noisingは意味を大きく損なわない程度のノイズを加え、より大きな変化を許します。そのぶん、正解ラベルが変わらないかに注意が必要です。感情分析で「おいしくない」から「ない」を消すと、評価が逆になります。

ほかの分野のノイズ

画像に細かなノイズを加えたり、音声に雑音を重ねたりするのも、同じ発想のデータ拡張です。一方、深層強化学習のノイジーネットワークは名前が似ていますが、重みにノイズを加えて探索を促す仕組みで、データ拡張ではありません。