G検定 練習問題 #0161・モデルの選択・評価

AICによるモデル選択の計算

機械学習の概要 › モデルの選択・評価 単一選択 難易度 標準

ある回帰分析で、説明変数の数が異なる3つのモデルを最尤推定で当てはめた。最大対数尤度とパラメータ数は、モデルXが−210と3、モデルYが−204と6、モデルZが−200と12であった。赤池情報量規準(AIC)でモデルを選ぶとき、選ばれるモデルとそのAICの値の組み合わせとして、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解 A

この問題の論点:AICによるモデル選択の計算

ポイント

AICは当てはまりの良さにパラメータ数に応じた罰則を加えた指標です。最大対数尤度が最も大きいモデルが選ばれるとは限りません。

選択肢ごとの解説

  1. A

    適切 正解

    AICは「−2×最大対数尤度+2×パラメータ数」です。Xは420+6=426、Yは408+12=420、Zは400+24=424となり、値が最も小さいYが選ばれます。

  2. B

    不適切

    罰則項を2×パラメータ数ではなく、パラメータ数のまま足した値です。この誤りではZが400+12=412で最小に見えます。正しく計算するとZは424で、Yの420より大きくなります。

  3. C

    不適切

    第1項の符号を逆にして、2×最大対数尤度+2×パラメータ数で計算した値です。AICの第1項は−2×最大対数尤度なので、当てはまりが良いほど小さくなります。

  4. D

    不適切

    罰則項を足さず、−2×最大対数尤度だけで比べた値です。これでは当てはまりが最も良いZが選ばれますが、パラメータ数の多さを考慮していません。AICは罰則項で複雑さとの釣り合いをとります。

補足

同じ3つのモデルをベイズ情報量規準(BIC)で比べると、選ばれるモデルが変わることがあります。BICの罰則項は「パラメータ数×データ数の自然対数」です。データ数が100件なら1パラメータあたり約4.6となり、Xが約433.8、Yが約435.6、Zが約455.3で、最も単純なXが選ばれます。BICのほうが単純なモデルを選びやすいことが、数値でも確かめられます。

試験での狙われ方

AICは値が小さいほど良いこと、罰則項がパラメータ数で決まることを、計算や正誤判断で問う形が典型的です。BICとの罰則の違いもあわせて確認します。

参考

表示設定

テーマ
文字の大きさ
問題演習