データ拡張とは

データ拡張は、手元の学習データを少しずつ変えたコピーを作り、学習データを実質的に増やす工夫です。猫の写真を左右反転しても、少し明るくしても、写っているのは猫のままです。人はこうした違いを気にせず猫だと分かりますが、モデルは見せられたデータのくせを覚え込みがちです。さまざまに変えた画像で学習させると、向きや明るさの違いに左右されにくい判断が身につきます。

なぜ効くのか

学習データが少ないと、モデルは細部まで丸暗記して過学習を起こし、未知のデータで精度が落ちます。データ拡張で多様さを補うと過学習が抑えられ、汎化性能が上がります。新しくデータを集めてラベルを付けるより、費用もずっと少なく済みます。2012年のAlexNetも、画像の切り出しや左右反転で学習データを増やしていました。ただし、元のデータにまったく含まれない種類の物や状況までは作り出せません。

主な手法

• 基本の変換：Random Flip（反転）、Rotate（回転）、Crop（切り出し）、Brightness（明るさ）、Contrast（明暗の差）
• 一部を隠す：Cutout、Random Erasing
• 2枚を混ぜる：Mixup、CutMix
• 変換をランダムに組み合わせる：RandAugment
• 文章向け：paraphrasing（言い換え）、noising（小さな乱れの付加）

音声でも、雑音を重ねたり話す速さを変えたりする拡張が使われます。

使うときの注意

変換の後も正解が変わらないことが前提です。数字の6を180度回転すると9に見えます。文章から否定の語を消すと、感情のラベルが逆になります。また、拡張は学習用のデータにだけ行います。学習用と評価用に分ける前に拡張すると、ほぼ同じデータが両方に入り、評価が実際より甘くなります。これはデータリーケージの一種です。

覚え方

「見た目は変えても、答えは変えない」が、データ拡張の基本です。