G検定 練習問題 #0345・モデルの選択・評価

AICとBICで選ぶモデルの違い

機械学習の概要 › モデルの選択・評価 単一選択 難易度 応用

ある回帰分析で、1,100件のデータに、パラメータ数の異なる2つのモデルを最尤推定で当てはめた。最大対数尤度は、パラメータ数4のモデルPが−520、パラメータ数9のモデルQが−505であった。赤池情報量規準(AIC)とベイズ情報量規準(BIC)のそれぞれでモデルを選ぶとき、選ばれるモデルの組み合わせとして、最も適切なものを1つ選べ。なお、データ数の自然対数は7として計算する。

正解と解説を見る

解説

正解 A

この問題の論点:AICとBICで選ぶモデルの違い

ポイント

BICのパラメータ1つ当たりの罰則はデータ数の自然対数ln nで、nが8以上ならAICの2より大きくなります。そのためBICは単純なモデルを選びやすくなります。

選択肢ごとの解説

  1. A

    適切 正解

    AIC=−2×最大対数尤度+2×パラメータ数で、Pは1040+8 = 1048、Qは1010+18 = 1028です。BIC=−2×最大対数尤度+パラメータ数×7で、Pは1040+28 = 1068、Qは1010+63 = 1073です。どちらも値の小さいモデルを選びます。

  2. B

    不適切

    選ばれるモデルが逆です。AICは1028のQ、BICは1068のPが最小です。パラメータ1つ当たりの罰則はAICが2、BICがln n = 7で、罰則の大きいBICのほうが単純なモデルを選びます。

  3. C

    不適切

    AICではQが選ばれますが、BICでは選ばれません。Qは当てはまりを1040−1010 = 30改善しますが、BICの罰則は63−28 = 35増えるため、合計ではPのほうが小さくなります。

  4. D

    不適切

    BICではPが選ばれますが、AICでは選ばれません。AICの罰則の増加は18−8 = 10で、当てはまりの改善30を下回るため、AICではQのほうが小さくなります。

試験での狙われ方

AICとBICの罰則の違いを、同じデータで選ばれるモデルが変わる例や、データ数を増やしたときの振る舞いとして問う形が考えられます。

表示設定

テーマ
文字の大きさ
問題演習