G検定 練習問題 #0348・モデルの選択・評価

外れ値と回帰の評価指標の選択

機械学習の概要 › モデルの選択・評価 単一選択 難易度 基礎

ある飲食チェーンが、店舗ごとの1日の来客数を予測するモデルを評価している。評価用データには、近くで大きなイベントがあり、来客数が平常の数倍になった日が数日だけ含まれる。経営側は、こうした例外的な日に引きずられず、予測がふだん平均して何人ずれるかを、来客数と同じ単位で把握したい。評価指標として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解 C

この問題の論点:外れ値と回帰の評価指標の選択

ポイント

MAEは大きな誤差を二乗で強調しないため、外れ値の影響を受けにくい指標です。大きな誤差を重く見たいときはRMSEを使います。

選択肢ごとの解説

  1. A

    不適切

    MSEの単位は来客数の二乗(人²)になり、そのままでは何人ずれるかとは読めません。また、誤差を二乗するため、イベント日の大きなずれに強く引きずられます。

  2. B

    不適切

    RMSEは単位が人に戻りますが、平方根をとる前に誤差を二乗しているため、大きなずれを重く数えます。少数のイベント日の誤差で、値が大きくふくらみます。

  3. C

    適切 正解

    MAEは各日のずれの絶対値をそのまま平均するので、単位は人です。大きなずれを二乗で強調しないため、例外的な日に引きずられにくく、ふだんのずれの大きさをつかみやすい指標です。

  4. D

    不適切

    決定係数は、目的変数のばらつきのうちモデルで説明できる割合を表す、単位のない指標です。二乗誤差をもとに計算するため、大きなずれの影響も受けます。

補足

たとえば10日のうち9日のずれが10人、イベント日の1日だけ90人だったとします。MAEは(10×9+90)÷10 = 18人、RMSEは√((10²×9+90²)÷10) = √900 = 30人です。1日の大きなずれだけで、RMSEはMAEよりずっと大きくなります。

試験での狙われ方

MAE、MSE、RMSEの違いを、外れ値への敏感さや単位の観点から、業務の要件に合う指標を選ばせる形が考えられます。

表示設定

テーマ
文字の大きさ
問題演習