赤池情報量規準

同義語:AICAkaike information criterion

概要

赤池情報量規準(Akaike information criterion、AIC)とは、母数 $k$ 個の統計モデルを最尤推定で当てはめたときの $-2\times$(最大対数尤度)$+2k$ のことで、候補のモデルの中でこれが最小のものを選ぶモデル選択の規準である。最大対数尤度は新しいデータでの期待対数尤度(真の分布からの Kullback–Leibler ダイバージェンスの大小を測る量)を母数の個数ほど過大に見積もるので、その偏りを $2k$ で補正する。正規線形モデルではこの偏りがちょうど母数の個数になる。回帰の変数選択や時系列の次数選択に使われ、BIC と違って一致性はもたない。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 最尤推定, Kullback–Leiblerダイバージェンス

赤池情報量規準(Akaike information criterion、AIC)とは、母数 $k$ 個の統計モデルを 最尤推定 で当てはめたとき、最大対数尤度 $\ell_n(\hat\theta)$ から
$$ \mathrm{AIC}=-2\,\ell_n(\hat\theta)+2k $$
を計算し、候補のモデルの中でこれが最も小さいものを選ぶ、というモデル選択の規準である。赤池弘次(Hirotugu Akaike)が 1973 年に提案した。
母数を増やすと、最大対数尤度は(入れ子のモデルなら)必ず増える。データに合わせる自由度が増えるからで、最大対数尤度だけで比べると、いつも最も複雑なモデルが選ばれてしまう。AIC の考え方は、モデルのよさを「手元のデータへの当てはまり」ではなく「同じ仕組みで新しく得られるデータへの当てはまり」で測ることである。新しいデータでの平均対数尤度は、真の分布からの Kullback–Leiblerダイバージェンス の大小と同じ順序を与える。手元のデータで測った最大対数尤度は、それを楽観的に(大きめに)見積もっていて、その偏りがおよそ母数の個数 $k$ である。$2k$ の項はこの偏りの補正である。
この記事では、AIC を定義し、偏りがちょうど母数の個数になる正規線形モデルの場合を完全に証明する。分散も推定する場合の補正(AICc)を導き、Bayes 情報量規準(BIC)との違い(AIC は母数の少ない正しいモデルを選び損ねる確率が $0$ に近づかないこと)も証明する。

定義と使える条件

観測 $x_1,\dots,x_n$ を、未知の分布 $G$(密度 $g$)からの独立な標本とする。統計モデル とは、開集合 $\Theta\subset\mathbb{R}^k$ で添字づけた密度の族 $\{f(\cdot;\theta)\mid\theta\in\Theta\}$ のことで、$k$ をモデルの 母数の個数 という。$\ell_n(\theta):=\sum_{i=1}^n\log f(x_i;\theta)$ を対数尤度、それを最大にする $\hat\theta$ を最尤推定量という。

赤池情報量規準

母数の個数 $k$ のモデルで最尤推定量 $\hat\theta$ が存在するとき、
$$ \mathrm{AIC}:=-2\,\ell_n(\hat\theta)+2k $$
をそのモデルの 赤池情報量規準(AIC)という。いくつかのモデルの中で AIC が最小のものを選ぶことを、AIC によるモデル選択 という。

AIC の値そのものには意味がなく、同じデータに当てはめたモデルどうしの差だけに意味がある。対数尤度は密度の定数倍(単位の取り替え)でずれるので、比べるモデルは同じデータの同じ変数に対する密度でなければならない。
AIC が何を推定しているかを述べる。$Z_1,\dots,Z_n$ を、手元のデータと独立で同じ分布に従う「新しいデータ」とし、
$$ \eta(\theta):=\mathrm{E}\Bigl[\sum_{i=1}^n\log f(Z_i;\theta)\Bigr] $$
を 期待対数尤度 という(期待値は $Z$ について。$\hat\theta$ を代入するときは手元のデータを固定して $Z$ だけで平均する)。標本が同一分布なら $\eta(\theta)=n\,\mathrm{E}_g[\log f(Z;\theta)]=-n\,D(g\,\|\,f_\theta)+n\,\mathrm{E}_g[\log g(Z)]$ で、右辺の第 2 項はモデルによらない。したがって $\eta(\hat\theta)$ が大きいモデルほど、推定した分布 $f_{\hat\theta}$ が真の分布 $g$ に Kullback–Leibler ダイバージェンスの意味で近い。

対数尤度の偏り

$b:=\mathrm{E}\bigl[\ell_n(\hat\theta)-\eta(\hat\theta)\bigr]$(期待値は手元のデータについて)を、最大対数尤度の 偏り という。

$\ell_n(\hat\theta)-b$ は $\eta(\hat\theta)$ の不偏推定量であり、その $-2$ 倍が $-2\ell_n(\hat\theta)+2b$ である。AIC は $b$ を $k$ で置き換えたものである。
AIC を使ってよい条件は次のとおりである。

  1. 観測は独立(回帰では、説明変数を固定して誤差が独立)。
  2. 各モデルで最尤推定量が存在し、モデルが正則(密度が $\theta$ について滑らかで、密度が正となる範囲が $\theta$ によらない)。
  3. 真の分布がモデルに含まれるか、それに十分近い。
  4. 標本の大きさ $n$ が母数の個数 $k$ に比べて十分大きい。
    条件 3・4 が成り立つとき偏り $b$ はおよそ $k$ になる。条件を外したときに $b$ が $k$ から大きくずれる例は ex-aic-counterexamples にある。

公式の表

規準式使える条件根拠
AIC$-2\ell_n(\hat\theta)+2k$条件 1〜4def-aic-main、thm-aic-known-variance
AICc(正規線形モデル、分散も推定)$-2\ell_n(\hat\theta)+\dfrac{2nk}{n-k-1}$平均が正しい、$n>k+1$thm-aic-unknown-variance
$C_p$(分散 $\sigma^2$ 既知)$\dfrac{\mathrm{RSS}}{\sigma^2}+2p$正規線形、$\sigma^2$ 既知thm-aic-known-variance(AIC と定数の差)
BIC$-2\ell_n(\hat\theta)+k\log n$条件 1・2thm-aic-consistency、rem-aic-bic
偏りの一般形$b\approx\operatorname{tr}(J^{-1}I)$正則、$n$ 大rem-aic-derivation(この記事では証明しない)

表で $p$ は回帰係数の個数、$\mathrm{RSS}$ は残差平方和、$k$ は推定する母数の総数である(分散も推定するなら $k=p+1$)。AICc の補正項は $2k+\frac{2k(k+1)}{n-k-1}$ と書いても同じで、$n\to\infty$ で AIC の $2k$ に近づく。

主定理と証明

正規線形モデル:偏りはちょうど母数の個数

$n$ 次元の観測ベクトル $y$ が $y=m+\varepsilon$、$\varepsilon\sim N_n(0,\sigma^2I_n)$ に従うとする($m\in\mathbb{R}^n$ は未知の平均)。$X$ を階数 $p$ の $n\times p$ 実行列とし、回帰分析 の正規線形モデル $\{N_n(X\beta,\,v I_n)\}$ を当てはめる。最尤推定量の $\beta$ の成分は最小二乗推定量 $\hat\beta=(X^{\top}X)^{-1}X^{\top}y$ で、当てはめ値は $X\hat\beta=Hy$、$H:=X(X^{\top}X)^{-1}X^{\top}$ である。$H$ は対称で $H^2=H$、$\operatorname{tr}H=\operatorname{tr}\bigl((X^{\top}X)^{-1}X^{\top}X\bigr)=p$ である。新しいデータは $Z=m+\varepsilon'$($\varepsilon'$ は $\varepsilon$ と独立で同じ分布)とする。ベクトル $u\sim N_n(0,\sigma^2I_n)$ と行列 $A$ について $\mathrm{E}\|Au\|^2=\sigma^2\operatorname{tr}(A^{\top}A)$ である(成分ごとに展開すればよい)。

分散が既知のとき

分散 $v=\sigma^2$ を既知として $\beta$ だけを推定するモデル(母数の個数 $p$)では、平均 $m$ がモデルに含まれるかどうかによらず、偏りは $b=p$ ちょうどである。したがって $\mathrm{AIC}=-2\ell_n(\hat\beta)+2p$ は $-2\eta(\hat\beta)$ の不偏推定量である。

期待値を射影で計算する

密度は $f(y;\beta)=(2\pi\sigma^2)^{-n/2}\exp\bigl(-\frac{\|y-X\beta\|^2}{2\sigma^2}\bigr)$ なので、$c:=-\frac n2\log(2\pi\sigma^2)$ とおくと
$$ \ell_n(\hat\beta)=c-\frac{\|y-Hy\|^2}{2\sigma^2},\qquad\eta(\hat\beta)=c-\frac{\mathrm{E}_Z\|Z-Hy\|^2}{2\sigma^2} $$
である。$Z-Hy=(m-Hy)+\varepsilon'$ で $\varepsilon'$ は $y$ と独立、平均 $0$ なので、$\mathrm{E}_Z\|Z-Hy\|^2=\|m-Hy\|^2+n\sigma^2$ である。よって
$$ \ell_n(\hat\beta)-\eta(\hat\beta)=\frac{\|m-Hy\|^2+n\sigma^2-\|(I-H)y\|^2}{2\sigma^2} $$
である。$y=m+\varepsilon$ を代入して期待値をとる。$m-Hy=(I-H)m-H\varepsilon$、$(I-H)y=(I-H)m+(I-H)\varepsilon$ で、$\varepsilon$ の 1 次の項は期待値が $0$ なので
$$ \mathrm{E}\|m-Hy\|^2=\|(I-H)m\|^2+\sigma^2\operatorname{tr}(H^{\top}H)=\|(I-H)m\|^2+p\sigma^2, $$
$$ \mathrm{E}\|(I-H)y\|^2=\|(I-H)m\|^2+\sigma^2\operatorname{tr}\bigl((I-H)^{\top}(I-H)\bigr)=\|(I-H)m\|^2+(n-p)\sigma^2 $$
である($H^{\top}H=H$、$(I-H)^{\top}(I-H)=I-H$)。差をとると $\|(I-H)m\|^2$ が消え、
$$ b=\frac{p\sigma^2+n\sigma^2-(n-p)\sigma^2}{2\sigma^2}=p $$
を得る。$\square$

証明の中で、モデルの誤り $\|(I-H)m\|^2$ は手元のデータでも新しいデータでも同じだけ損をさせるので、差では消える。偏りを生むのは、当てはめ値 $Hy$ が手元の誤差 $\varepsilon$ の $H$ への射影を取り込んでしまうことで、その大きさが射影の次元 $p$ に比例する。$\mathrm{AIC}=\frac{\mathrm{RSS}}{\sigma^2}+2p-2c$ なので、この場合の AIC は公式の表の $C_p$ と定数だけ違う(ESL17 (7.24)・(7.26)、pp. 229–230)。

分散も推定する場合:AICc

分散も推定するとき

平均が正しく $m=X\beta_0$ であるとし、$\theta=(\beta,v)$(母数の個数 $k=p+1$)を推定するモデルを考える。$n>p+2$ なら、偏りは
$$ b=\frac{n(p+1)}{n-p-2}=\frac{nk}{n-k-1} $$
である。したがって $-2\ell_n(\hat\theta)+\frac{2nk}{n-k-1}$ が $-2\eta(\hat\theta)$ の不偏推定量である。

2 つの独立なカイ二乗変数で書く

分散の最尤推定量は $\hat v=\mathrm{RSS}/n$、$\mathrm{RSS}:=\|(I-H)y\|^2$ である。$\ell_n(\hat\theta)=-\frac n2\log(2\pi\hat v)-\frac n2$ であり、thm-aic-known-variance の証明と同じ計算で
$$ \eta(\hat\theta)=-\frac n2\log(2\pi\hat v)-\frac{\mathrm{E}_Z\|Z-X\hat\beta\|^2}{2\hat v}=-\frac n2\log(2\pi\hat v)-\frac{n\sigma^2+\|H\varepsilon\|^2}{2\hat v} $$
である($m-Hy=-H\varepsilon$)。よって
$$ \ell_n(\hat\theta)-\eta(\hat\theta)=\frac n2\cdot\frac{n\sigma^2+\|H\varepsilon\|^2}{\mathrm{RSS}}-\frac n2=\frac n2\cdot\frac{n+W_1}{W_2}-\frac n2, $$
$W_1:=\|H\varepsilon\|^2/\sigma^2$、$W_2:=\mathrm{RSS}/\sigma^2$ である。カイ二乗分布 の定理「2 次形式がカイ二乗分布に従う条件」を $\varepsilon/\sigma\sim N_n(0,I_n)$ と $H$(対称、$H^2=H$、階数 $p$)に使うと $W_1\sim\chi^2_p$ である。回帰分析 の定理「正規線形回帰モデルの標本分布」により $W_2\sim\chi^2_{n-p}$ で、$W_2$ は $\hat\beta$ と独立である。$H\varepsilon=X(\hat\beta-\beta_0)$ は $\hat\beta$ の関数なので、$W_1$ と $W_2$ は独立である。
$W\sim\chi^2_r$($r>2$)なら、密度 $\frac{w^{r/2-1}e^{-w/2}}{2^{r/2}\Gamma(r/2)}$ から
$$ \mathrm{E}\Bigl[\frac1W\Bigr]=\frac{2^{r/2-1}\Gamma(\frac r2-1)}{2^{r/2}\Gamma(\frac r2)}=\frac{1}{2(\frac r2-1)}=\frac1{r-2} $$
である。独立性から $\mathrm{E}\bigl[\frac{n+W_1}{W_2}\bigr]=(n+p)\cdot\frac1{n-p-2}$ なので
$$ b=\frac n2\cdot\frac{n+p}{n-p-2}-\frac n2=\frac{n(p+1)}{n-p-2} $$
である。$\square$

$n\to\infty$ で $b\to p+1=k$ であり、AIC の補正 $2k$ が回復する。一方 $n$ が $k$ に近いと $b$ は $k$ よりずっと大きい。たとえば $n=10$、$k=5$ では $b=\frac{10\cdot5}{4}=12.5$ で、AIC は偏りを半分以下にしか補正しない(ex-aic-counterexamples)。

AIC と BIC の選び方の違い

入れ子のモデルでの過大な選択

$x_1,\dots,x_n$ を独立に $N(\theta,1)$ に従う標本とし、モデル $M_0\colon\theta=0$(母数 $0$ 個)と $M_1\colon\theta\in\mathbb{R}$(母数 $1$ 個)を比べる。

  1. AIC が $M_1$ を選ぶのは $n\bar x^2>2$ のときである。真の値が $\theta=0$ なら、その確率はどの $n$ でも $P(\chi^2_1>2)=0.1572\ldots$ で、$0$ に近づかない。
  2. BIC($-2\ell_n(\hat\theta)+k\log n$)が $M_1$ を選ぶのは $n\bar x^2>\log n$ のときである。$\theta=0$ ならその確率は $n\to\infty$ で $0$ に近づき、$\theta\neq0$ なら $1$ に近づく。
最大対数尤度の差を標本平均で書く

$M_0$ の対数尤度は $-\frac n2\log(2\pi)-\frac12\sum x_i^2$ で、$M_1$ の最大対数尤度は $\hat\theta=\bar x$ で $-\frac n2\log(2\pi)-\frac12\sum(x_i-\bar x)^2$ である。$\sum x_i^2-\sum(x_i-\bar x)^2=n\bar x^2$ なので、最大対数尤度の差の 2 倍は $n\bar x^2$ である。AIC は $M_1$ に $2$、BIC は $\log n$ の罰を足すので、選ぶ条件は 1・2 に書いたとおりである。
$S:=\sqrt n\,\bar x$ は $N(\sqrt n\,\theta,1)$ に従う。$\theta=0$ なら $S^2\sim\chi^2_1$ がどの $n$ でも成り立つので、1 の確率は $n$ によらず $P(\chi^2_1>2)=2\bigl(1-\Phi(\sqrt2)\bigr)$ である($\Phi$ は標準正規分布の分布関数)。2 の確率は $P(\chi^2_1>\log n)\to0$ である。$\theta\neq0$ なら $S=\sqrt n\,\theta+Y$($Y\sim N(0,1)$)で、$|S|\ge\sqrt n|\theta|-|Y|$ なので
$$ P\bigl(S^2\le\log n\bigr)\le P\bigl(|Y|\ge\sqrt n|\theta|-\sqrt{\log n}\bigr)\to0 $$
である($\sqrt n|\theta|-\sqrt{\log n}\to\infty$)。$\square$

BIC のように「正しいモデルを選ぶ確率が $1$ に近づく」性質を 一致性 という。AIC は一致性をもたないが、これは欠点とは限らない。AIC が狙うのは真のモデルを当てることではなく、期待対数尤度 $\eta(\hat\theta)$ を大きくする(予測の誤差を小さくする)ことである。$\theta$ が $0$ でも $\frac1{\sqrt n}$ 程度の小さな値なら、$M_1$ を選んだほうが予測はよいことがある。2 つの規準は目的が違う(ESL17 §7.7、p. 235)。

計算の手順

  1. 候補のモデルを並べ、それぞれの母数の個数 $k$ を数える。分散・尺度の母数も推定するなら数に入れる。
  2. 各モデルで最尤推定量 $\hat\theta$ を求め、最大対数尤度 $\ell_n(\hat\theta)$ を計算する。密度の定数($2\pi$ など)は省かない。省くならすべてのモデルで同じものを省く。
  3. $\mathrm{AIC}=-2\ell_n(\hat\theta)+2k$ を計算する。$n/k$ が小さい(目安として 40 未満)正規線形モデルなら AICc(thm-aic-unknown-variance)も計算する。
  4. 最小のモデルを選ぶ。最小値との差 $\Delta$ が $2$ 未満のモデルは、データからは差をつけにくい候補として残しておく。
    手順 4 の $2$ は経験的な目安である。thm-aic-consistency のように母数が 1 個だけ違う入れ子のモデルでは、AIC の差は最大対数尤度の差の 2 倍から罰の差 $2$ を引いたもの(そこでは $n\bar x^2-2$)になる。

例題

規格値からずれているか

製品の寸法 10 個 $2.1,\ 3.4,\ 1.9,\ 2.8,\ 4.0,\ 3.1,\ 2.5,\ 3.6,\ 2.2,\ 3.0$ を正規分布の標本とみて、平均が規格値 $3$ に等しいモデル $B\colon N(3,v)$($k=1$)と、平均も自由なモデル $A\colon N(\mu,v)$($k=2$)を比べる。正規分布の最大対数尤度は $-\frac n2\bigl(\log(2\pi\hat v)+1\bigr)$ である。

  • $A$:$\hat\mu=2.86$、$\hat v=\frac1{10}\sum(x_i-2.86)^2=0.4284$、$\ell=-9.951$、$\mathrm{AIC}=23.90$。
  • $B$:$\hat v=\frac1{10}\sum(x_i-3)^2=0.448$、$\ell=-10.175$、$\mathrm{AIC}=22.35$。
    AIC は $B$ を選ぶ。最大対数尤度の差の 2 倍は $10\log\frac{0.448}{0.4284}=0.447$ で、罰の差 $2$ より小さい。AICc は $A$ が $25.62$、$B$ が $22.85$、BIC($\log10=2.303$)は $A$ が $24.51$、$B$ が $22.65$ で、どれも $B$ を選ぶ。
指数分布での偏り

$x_1,\dots,x_n$ を独立に指数分布 $f(x;\theta)=\theta e^{-\theta x}$($x>0$)に従う標本とし、真の値を $\theta_0$ とする。最尤推定量は $\hat\theta=1/\bar x$ で、
$$ \ell_n(\hat\theta)-\eta(\hat\theta)=n\bigl(\log\hat\theta-\hat\theta\bar x\bigr)-n\Bigl(\log\hat\theta-\frac{\hat\theta}{\theta_0}\Bigr)=n\Bigl(\frac{1}{\theta_0\bar x}-1\Bigr) $$
である($\mathrm{E}[Z]=\frac1{\theta_0}$)。$n\bar x$ は形状 $n$、率 $\theta_0$ のガンマ分布に従い、$\mathrm{E}\bigl[\frac1{n\bar x}\bigr]=\frac{\theta_0}{n-1}$($n\ge2$)なので、偏りは
$$ b=n\Bigl(\frac{n}{n-1}-1\Bigr)=\frac{n}{n-1} $$
である。母数の個数は $k=1$ で、$b$ は $n\to\infty$ で $1$ に近づくが、$n=5$ では $1.25$ である。AIC の $2k$ は偏りの漸近的な値であり、正規線形モデルの thm-aic-known-variance のようにちょうど $k$ になるのは特別な場合である。

過大に選ぶ確率

thm-aic-consistency の設定で、真の値が $\theta=0$ のとき、AIC が不要な母数を含む $M_1$ を選ぶ確率は $2\bigl(1-\Phi(1.4142)\bigr)=0.157$ で、標本の大きさによらない。BIC では $n=10,100,1000$ のとき $P(\chi^2_1>\log n)=0.129,\ 0.032,\ 0.0086$ と減っていく。真の値が $\theta=0.1$ なら、$n=100$ で $S=\sqrt{100}\,\bar x\sim N(1,1)$ なので、AIC が $M_1$ を選ぶ確率は $P(|S|>1.414)=0.35$、BIC では $P(|S|>2.146)=0.13$ である。小さな効果は BIC のほうが見落としやすい。

使える条件と反例

外す条件反例成り立たなくなること
4($n$ が $k$ に比べ大きい)thm-aic-unknown-variance で $n=10$、$k=5$偏りは $b=12.5$ で、補正 $k=5$ との差が大きい
3(真の分布がモデルに近い)thm-aic-known-variance の設定で、仮定した分散 $\sigma^2$ と真の分散 $\tau^2$ が違う偏りは $b=p\tau^2/\sigma^2$ で、$p$ にならない
2(密度が正となる範囲が母数によらない)一様分布 $U(0,\theta)$、$\hat\theta=\max_ix_i$新しい観測が $\hat\theta$ を超える確率が正なので $\eta(\hat\theta)=-\infty$、偏りは $+\infty$
最尤推定量を使う正規線形モデル(分散既知)でリッジ推定 $\hat\beta_\lambda=(X^{\top}X+\lambda I)^{-1}X^{\top}y$偏りは $\operatorname{tr}S_\lambda$($S_\lambda=X(X^{\top}X+\lambda I)^{-1}X^{\top}$)で、$\lambda>0$ なら $p$ より小さい
反例の確かめ

1 行目:$b=\frac{nk}{n-k-1}=\frac{50}{4}=12.5$。
2 行目:prf-thm-aic-known-variance で $\varepsilon$ の分散を $\tau^2$ にすると、$\mathrm{E}\|m-Hy\|^2=\|(I-H)m\|^2+p\tau^2$、$\mathrm{E}_Z\|Z-Hy\|^2=\|m-Hy\|^2+n\tau^2$、$\mathrm{E}\|(I-H)y\|^2=\|(I-H)m\|^2+(n-p)\tau^2$ となり、分母は仮定した $2\sigma^2$ のままなので $b=\frac{2p\tau^2}{2\sigma^2}$ である。
3 行目:$f(z;\hat\theta)=\hat\theta^{-1}\mathbf 1\{0\le z\le\hat\theta\}$ で、$\hat\theta=\max x_i< \theta_0$(確率 $1$)なので、新しい観測 $Z$ が $\hat\theta< Z\le\theta_0$ となる確率 $1-\hat\theta/\theta_0$ は正で、そこで $\log f(Z;\hat\theta)=-\infty$ である。
4 行目:当てはめ値は $S_\lambda y$ で、prf-thm-aic-known-variance の $H$ を $S_\lambda$ に替えて同じ計算をすると、$b=\frac{\sigma^2\bigl(\operatorname{tr}(S_\lambda^{\top}S_\lambda)+n-\operatorname{tr}((I-S_\lambda)^{\top}(I-S_\lambda))\bigr)}{2\sigma^2}=\operatorname{tr}S_\lambda$ である($S_\lambda$ は対称)。$X^{\top}X$ の固有値を $d_j>0$ とすると $\operatorname{tr}S_\lambda=\sum_{j=1}^p\frac{d_j}{d_j+\lambda}< p$ である。罰には $p$ の代わりにこの「有効な母数の個数」を使う(ESL17 §7.6、p. 232)。$\square$

よくある誤り

誤り正しくはなぜ
異なる変数($y$ と $\log y$)のモデルの AIC を比べる同じ変数の密度に直してから比べる(変数変換のヤコビアンを入れる)対数尤度は密度の尺度によって変わる
モデルごとに省く定数を変えるすべてのモデルで同じ定数を省くか、省かないAIC は差だけに意味がある
分散の母数を $k$ に数えない推定するすべての母数を数える偏りは推定した母数全体の個数に近い
AIC の差が小さくても最小のモデルだけを報告する差が $2$ 未満の候補も示す差の標本変動は 1 母数あたり $\chi^2_1$ 程度ある
AIC で選んだモデルを「真のモデル」とみなす予測のよいモデルの推定とみなすAIC は一致性をもたない(thm-aic-consistency)

補足

一般の場合の偏りの筋

条件 1・2 のもとで(真の分布がモデルに含まれることは仮定しない)、$\theta^*$ を $\eta$ の最大点、$I:=\mathrm{E}_g\bigl[\nabla\log f(Z;\theta^*)\nabla\log f(Z;\theta^*)^{\top}\bigr]$、$J:=-\mathrm{E}_g\bigl[\nabla^2\log f(Z;\theta^*)\bigr]$ とおく。$\ell_n$ と $\eta$ を $\theta^*$ のまわりで 2 次まで展開し、$\sqrt n(\hat\theta-\theta^*)$ が漸近的に $N(0,J^{-1}IJ^{-1})$ に従うことを使うと、$\ell_n(\hat\theta)-\ell_n(\theta^*)$ と $\eta(\theta^*)-\eta(\hat\theta)$ の期待値がどちらもおよそ $\frac12\operatorname{tr}(J^{-1}I)$ になり、偏りは $b\approx\operatorname{tr}(J^{-1}I)$ となる。真の分布がモデルに含まれれば $I=J$(Fisher情報量 の 2 通りの表し方の一致)なので $b\approx k$ である。この記事ではこの漸近展開を正当化しない(期待値と極限の交換に、2 次の項の一様な評価が要る)。ESL17 (7.27)(p. 230)は、$N\to\infty$ で漸近的に成り立つ関係として $-2\,\mathrm{E}[\log\Pr_{\hat\theta}(Y)]\approx-\frac2N\mathrm{E}[\mathrm{loglik}]+2\frac dN$ を述べている(同書は観測 1 個あたりに正規化している)。ex-aic-counterexamples の 2 行目の $b=p\tau^2/\sigma^2$ は、$\operatorname{tr}(J^{-1}I)$ の厳密な形である。

BIC との関係

BIC は、各モデルに事前確率を置いたときの事後確率を Laplace 近似で評価して得られ、罰 $k\log n$ は $n\ge8$ で AIC の $2k$ より重い(ESL17 (7.35)・§7.7、pp. 233–235。Schwarz の 1978 年の論文による)。thm-aic-consistency のように、BIC は正しいモデルを選ぶ一致性をもち、AIC は予測の誤差の推定を狙う。どちらを使うかは目的による。

名前と文献

AIC は赤池弘次の 1973 年の論文(第 2 回情報理論国際シンポジウムの論文集、pp. 267–281)による(ESL17 第 7 章の文献ノート、p. 257。BIC は同所で Schwarz の 1978 年の論文に帰されている)。ESL17 §7.5(pp. 230–231)は AIC を対数尤度に対する訓練誤差の楽観の補正として述べ、(7.29) で観測 1 個あたりの形 $-\frac2N\mathrm{loglik}+2\frac dN$ を与え、分散が既知の正規モデルでは $C_p$ と同値であると述べる。この記事の thm-aic-known-variance・thm-aic-unknown-variance・thm-aic-consistency の証明と例の計算は書き下ろしたものである。thm-aic-unknown-variance の補正は AICc と呼ばれる。

関連項目

参考文献

[1]
Trevor Hastie; Robert Tibshirani; Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2009, §7.4((7.21)〜(7.24)、p. 229)、§7.5((7.25)〜(7.30)、pp. 230–231)、§7.6((7.31)・(7.32)、p. 232)、§7.7((7.35)、p. 233、一致性の注意 p. 235)、第 7 章の文献ノート(p. 257)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する