外れ値とは

外れ値は、データの中で、ほかと比べて明らかに飛び離れた値です。センサーの故障や入力ミスで生じることもあれば、大型セールの日の売上のように、実際に起きたまれな出来事を表すこともあります。

外れ値が与える影響

外れ値は、平均値や標準偏差のように、すべての値の大きさを使う統計量を大きく動かします。たとえば、温度センサーの5回の値が20、21、22、23、24なら、平均値は22℃です。最後の値が入力ミスで64になると、合計150を5で割って、平均値は30℃になります。中央値は、どちらの場合も22℃で変わりません。

機械学習でも同じことが起きます。平均二乗誤差は誤差を2乗するので、誤差2は4ですが、誤差10は100になります。一部の外れ値が損失の大半を占め、モデルがそれに合わせようとしてゆがむことがあります。k-means法の重心や相関係数も、外れ値に引っぱられます。

見つけ方

• グラフで見る：ヒストグラム、箱ひげ図、散布図で、飛び離れた点を確かめます。
• 標準偏差を使う：平均から標準偏差の3倍以上離れた値を候補にします。ただし、外れ値自体が平均と標準偏差を押し上げるため、見逃しが起きることがあります。
• 四分位範囲を使う：第3四分位数と第1四分位数の差（IQR）を求め、第1四分位数から下へ、または第3四分位数から上へ、1.5×IQRを超えて離れた値を候補にします。順位にもとづくので、外れ値の影響を受けにくい方法です。

扱い方

見つけた外れ値を機械的に消すのは避け、まず原因を確かめます。記録の誤りなら、修正するか除きます。実際に起きた出来事なら、予測したい対象に含まれるかどうかで、残すかを決めます。ほかに、上限と下限で値を抑える方法や、外れ値の影響を受けにくい中央値や平均絶対値誤差を使う方法もあります。

なお、異常検知では、外れ値は捨てるものではなく、見つけ出す対象そのものです。