1行定義
平均二乗誤差とは、予測値と正解値の差を二乗し、すべてのデータについて平均した値で、回帰問題の代表的な評価指標や誤差関数のことです。
くわしく
平均二乗誤差(MSE)は、数値を予測する回帰問題で、予測がどれだけ外れているかを表す代表的な指標です。G検定のシラバスでは、モデルの評価指標(平均二乗誤差(MSE))と、学習で最小化する誤差関数(平均二乗誤差関数)の両方に登場します。
計算のしかた
各データの誤差(正解値−予測値)を二乗し、データ数nで割って平均します。
MSE = (1/n) × Σ(正解値 − 予測値)²
たとえば4件の誤差が2、−2、4、0なら、二乗は4、4、16、0で、MSEは24÷4=6です。値が0に近いほど、予測が正確です。
二乗する意味
二乗すると、正の誤差と負の誤差が打ち消し合わなくなります。また、大きな誤差ほど強く効きます。誤差が2倍になれば、MSEへの寄与は4倍です。大きく外す予測を特に避けたい場面に向きますが、外れ値の影響も強く受けます。
関連する指標
- RMSE(二乗平均平方根誤差):MSEの平方根です。元のデータと同じ単位に戻るので、「予測がおよそ何万円ずれるか」のように読めます。MSEのままでは単位が二乗になります。
- MAE(平均絶対値誤差):誤差の絶対値の平均です。大きな誤差を特別扱いしないので、外れ値の影響を受けにくい指標です。
誤差関数として
線形回帰やニューラルネットワークでは、MSEを最小にするように重みを学習します。線形回帰の最小二乗法も、二乗誤差の和を最小にする考え方です。誤差が分散一定の正規分布に従うと仮定すると、MSEの最小化は最尤推定と同じ意味になります。微分を簡単にするため、1/2を掛けた形を使うこともあります。
一方、確率を出力する分類のモデルでは、交差エントロピーを使うのが一般的です。シグモイド関数の出力にMSEを使うと、大きく外れているのに勾配が小さく、学習が進みにくいことがあるからです。
覚え方
「二乗で大きな外れを重く罰する。単位を戻すならルートをとってRMSE」と覚えます。
G検定での出題
出題のされ方
MSE・RMSE・MAEの計算と使い分け、二乗するため大きな誤差や外れ値の影響を強く受ける点、回帰問題の誤差関数としての役割と、分類問題で使う交差エントロピーとの違いが問われます。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| 平均二乗誤差このページの用語 | 予測値と正解値の差を二乗し、すべてのデータについて平均した値で、回帰問題の代表的な評価指標や誤差関数 |
| 交差エントロピー | モデルが予測した確率分布が正解の分布とどれだけ合っていないかを表す値で、分類問題の誤差関数として広く使われるもの |
違いを表で比べる
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
平均二乗誤差は誤差を二乗するため、元のデータと同じ単位のまま誤差の大きさを読める。
答えを見る
答え × 誤り
二乗するので、単位も二乗になります(円なら円²)。元の単位で読みたいときは、平方根をとったRMSEを使います。
-
外れ値を多く含むデータでモデルを評価するとき、平均二乗誤差は平均絶対値誤差(MAE)より外れ値の影響を受けにくい。
答えを見る
答え × 誤り
逆です。二乗するので、大きく外れたデータの影響が強く出ます。外れ値の影響を抑えたいならMAEのほうが向いています。
-
同じ評価用データで平均二乗誤差が等しい2つのモデルは、RMSEも必ず等しくなる。
答えを見る
答え ◯ 正しい
RMSEはMSEの平方根です。MSEが同じなら、平方根をとったRMSEも同じ値になります。
この用語の練習問題
出典
- G検定 試験出題範囲(シラバス2024)第1.4版 (技術分野 項目10 モデルの選択・評価)
- G検定 試験出題範囲(シラバス2024)第1.4版 (技術分野 項目13 誤差関数)
- scikit-learn User Guide, Metrics and scoring: quantifying the quality of predictions (Mean squared error)
- Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press (2016) (5.5.1 Conditional Log-Likelihood and Mean Squared Error)