赤池情報量規準（AIC）とベイズ情報量規準（BIC）の違い

赤池情報量規準（AIC）とベイズ情報量規準（BIC）は、どちらも候補のモデルから1つを選ぶための物差しです。パラメータを増やせば、手元のデータへの当てはまりは良くなるのがふつうです。当てはまりだけで選ぶと最も複雑なモデルが選ばれ、過学習を招きます。そこで両者とも、当てはまりの悪さに複雑さの罰則を足した値で比べます。

赤池情報量規準（AIC）

AIC = −2 × 最大対数尤度 + 2 × パラメータ数

赤池弘次が1973年に発表しました。第1項は最尤法で当てはめたときの当てはまりの悪さ、第2項は複雑さへの罰則です。AICは、モデルが表す分布と真の分布とのずれ（カルバック・ライブラー情報量）を手元のデータから見積もるという、予測の視点から導かれています。罰則はパラメータ1つにつき2で、データ数によりません。

ベイズ情報量規準（BIC）

BIC = −2 × 最大対数尤度 + パラメータ数 × log(データ数)

1978年にシュワルツ（Schwarz）が示しました。ベイズの考え方で最も確からしいモデルを選ぶ手順を、データが多いときの近似として求めたものです。近似の主要な項は事前分布によらないので、事前分布を決めずに計算できます。logは自然対数です。

罰則の差が選ぶモデルを変える

log 7≒1.95、log 8≒2.08なので、データ数が8以上ならBICの罰則のほうが重くなります。データ数が1,000なら、パラメータ1つあたりの罰則はAICが2、BICが約6.9です。パラメータを1つ増やしたとき、−2×最大対数尤度の下がり幅が2より大きく約6.9より小さければ、AICは増やした複雑なモデルを、BICは増やす前の単純なモデルを選びます。

共通点と使い分け

どちらも、値が最も小さいモデルを選びます。値そのものに意味はなく、同じデータに当てはめた候補の間で比べます。尤度を計算できるモデルが前提で、学習に使ったデータだけで計算でき、検証用のデータを取り分ける必要はありません。予測の当たりやすさを重んじるならAIC、候補の中から最も確からしいモデルを選ぶことを重んじるならBIC、というのが使い分けの目安です。