赤池情報量規準（AIC）とは

赤池情報量規準（AIC）は、いくつかの候補のモデルから1つを選ぶときに使う物差しです。日本の統計学者、赤池弘次が1973年に提唱しました。

なぜ必要か

説明変数やパラメータを増やすと、手元のデータへの当てはまりはほぼ必ず良くなります。しかし、増やしすぎると偶然のばらつきまで覚え込み、新しいデータでは外れやすくなります。これが過学習です。当てはまりの良さだけで選ぶと、いちばん複雑なモデルが選ばれてしまいます。AICは、当てはまりの良さにパラメータ数に応じた罰則を加えて、この偏りを補正します。

式と計算例

AIC = −2 × 最大対数尤度 + 2 × パラメータ数

第1項は当てはまりの悪さを表し、最尤法で求めた対数尤度が大きいほど小さくなります。第2項は複雑さへの罰則です。候補ごとにAICを計算し、最も小さいモデルを選びます。

たとえば、モデルAは最大対数尤度が−100でパラメータが2個、モデルBは−98で5個だとします。AのAICは200+4=204、Bは196+10=206です。Bのほうが当てはまりは良いものの、改善の幅が罰則の増え方に見合わないため、Aを選びます。

考え方の背景

AICは予測の視点から導かれています。真のデータの分布とモデルが表す分布とのずれをKL情報量（カルバック・ライブラー情報量）で測り、そのずれの大小を手元のデータから見積もるのがAICです。検証用のデータを取り分けなくても、汎化性能の目安が得られます。

使うときの注意

比べられるのは、同じデータに当てはめたモデルどうしだけです。値そのものに絶対的な意味はなく、候補の間の差で判断します。また、尤度を計算できるモデルであることが前提です。データ数が8以上あれば、罰則にデータ数を含むBICのほうが罰則は重く、より単純なモデルが選ばれやすくなります。

覚え方

「当てはまりの悪さ＋2×パラメータ数。小さいほど良い」と覚えます。