最尤推定

同義語：最尤法maximum likelihood estimationmaximum likelihood methodMLE

概要

前提知識: 確率変数, 期待値, 独立性(確率論), 凸関数

未知の母数 $\theta$ によって分布が決まるデータを観測したとき、「観測した値が最も起こりやすくなる $\theta$」を推定値に選ぶのが 最尤推定（さいゆうすいてい）である。確率の最大の注意「最尤推定」では、池の魚の数を、観測の確率を最大にする整数として求めた。この記事では、確率や密度を $\theta$ の関数とみた尤度を一般の統計モデルで定義し、最尤推定がうまくいく理由を 2 つの定理で示す。
1 つめは、母数が 1 次元で密度が正、対数尤度が凹なら、識別可能性と可積分性のもとで最尤推定量が真の母数 $\theta_0$ に収束すること（一致性、主定理 1）である。2 つめは、1 母数の指数型分布族で自然母数の推定量について $\sqrt n(\hat\eta_n-\eta_0)$ の分布が分散 $1/I(\eta_0)$ の正規分布に近づくこと（漸近正規性、主定理 2）である。$I$ は Fisher 情報量である。

定義

この記事を通して、可測空間 $(\mathcal X,\mathcal A)$ の上の $\sigma$ 有限測度 $\mu$（離散のデータでは数え上げ測度、連続のデータでは Lebesgue 測度）と、$\Theta\subset\mathbb R^d$ の各点 $\theta$ についての $\mu$ に関する確率密度 $f(\cdot\,;\theta)\colon\mathcal X\to[0,\infty)$ が与えられているとする。$f(\cdot\,;\theta)$ を密度にもつ確率分布を $P_\theta$、その期待値を $E_\theta$ と書き、族 $\{P_\theta\}_{\theta\in\Theta}$ を 統計モデル、$\Theta$ を 母数空間 という。

尤度と最尤推定

観測値 $x=(x_1,\dots,x_n)\in\mathcal X^n$ について
$$ L_n(\theta):=\prod_{i=1}^nf(x_i;\theta),\qquad\ell_n(\theta):=\log L_n(\theta)\in[-\infty,\infty)\qquad(\theta\in\Theta) $$
を、それぞれ 尤度関数、対数尤度関数 という。$L_n(\hat\theta)=\sup_{\theta\in\Theta}L_n(\theta)$ を満たす $\hat\theta\in\Theta$ を $x$ の 最尤推定値 という。可測な写像 $\hat\theta_n\colon\mathcal X^n\to\Theta$ で、最尤推定値が存在する $x$ ではつねに最尤推定値をとるものを 最尤推定量 という（データを代入した $\hat\theta_n(X_1,\dots,X_n)$ も同じ記号で書く）。最尤推定値を求めることを 最尤推定（maximum likelihood estimation）または 最尤法 という。

$X_1,\dots,X_n$ が独立にどれも $P_\theta$ に従うとき、$L_n(\theta)$ は同時密度を $x$ で評価した値で、離散のデータなら「母数が $\theta$ のとき観測した値の組が得られる確率」そのものである。最尤推定値は存在するとは限らず、存在しても 1 つとは限らない（ex-mle-bernoulli、ex-mle-laplace）。

母数の取り替えでの不変性

$g\colon\Theta\to\Gamma$ を全単射とし、$\tau=g(\theta)$ を新しい母数としたモデルの密度を $\tilde f(x;\tau):=f(x;g^{-1}(\tau))$ とする。観測値 $x$ について、$\hat\theta$ が元のモデルの最尤推定値であることと、$g(\hat\theta)$ が新しいモデルの最尤推定値であることは同値である。

新しいモデルの尤度は $\tilde L_n(\tau)=\prod_if(x_i;g^{-1}(\tau))=L_n(g^{-1}(\tau))$ である。$g$ は全単射なので $\sup_{\tau\in\Gamma}\tilde L_n(\tau)=\sup_{\theta\in\Theta}L_n(\theta)$ であり、$\tilde L_n(g(\hat\theta))=L_n(\hat\theta)$ である。よって $L_n(\hat\theta)$ が上限に等しいことと $\tilde L_n(g(\hat\theta))$ が上限に等しいことは同値である。$\square$

たとえば分散の最尤推定値が $\hat v$ なら、標準偏差の最尤推定値は $\sqrt{\hat v}$ である（ex-mle-normal）。不偏推定量（推定量のよさ）にはこの性質がない。

理由を開く

$s^2$ が $\sigma^2$ の不偏推定量で $s\ge0$ が定数でなければ、$E[s]^2=E[s^2]-V[s]< \sigma^2$ なので、$s$ は $\sigma$ の不偏推定量でない。

例

Bernoulli 分布と Poisson 分布

$\mathcal X=\{0,1\}$、$f(x;p)=p^x(1-p)^{1-x}$、$\Theta=(0,1)$ とする。$k:=x_1+\dots+x_n$ を成功の回数とする。$0< k< n$ なら最尤推定値は $\hat p=k/n$（成功の割合）ただ 1 つである。$k=n$ なら $L_n(p)=p^n$ は $(0,1)$ で狭義増加で最大値をとらないので、最尤推定値は存在しない（$k=0$ も同様。母数空間を $[0,1]$ にすれば $\hat p=k/n$ がいつも最尤推定値になる）。Poisson 分布 $f(x;\lambda)=e^{-\lambda}\lambda^x/x!$（$\lambda>0$）では、$\bar x>0$ なら $\hat\lambda=\bar x$ ただ 1 つ、$\bar x=0$ なら最尤推定値は存在しない。結果が 3 通り以上の試行では多項分布の定理「尤度を最大にするのは相対度数」が同じことを述べている。

計算を開く

$\ell_n(p)=k\log p+(n-k)\log(1-p)$ で、$0< k< n$ なら $\ell_n'(p)=\frac kp-\frac{n-k}{1-p}=\frac{k-np}{p(1-p)}$ は $p< k/n$ で正、$p>k/n$ で負である。Poisson 分布では $\ell_n(\lambda)=-n\lambda+n\bar x\log\lambda-\sum_i\log x_i!$、$\ell_n'(\lambda)=n(\bar x-\lambda)/\lambda$ で、$\bar x=0$ なら $\ell_n(\lambda)=-n\lambda$ は狭義減少である。

正規分布の平均と分散

$f(x;\mu,v)=\dfrac1{\sqrt{2\pi v}}e^{-(x-\mu)^2/(2v)}$（$\mu\in\mathbb R$、$v>0$）、$n\ge2$ とし、$x_1,\dots,x_n$ のすべてが等しくはないとする。$\bar x:=\frac1n\sum_ix_i$、$S:=\sum_i(x_i-\bar x)^2>0$ とおくと、最尤推定値は
$$ \hat\mu=\bar x,\qquad\hat v=\frac Sn=\frac1n\sum_{i=1}^n(x_i-\bar x)^2 $$
ただ 1 つである。$\hat v$ は平方和を $n$ で割ったもので、真の分散 $\sigma^2$ に対し $E[\hat v]=\frac{n-1}n\sigma^2$ なので不偏でない（推定量のよさの定理「標本分散の不偏性」）。

計算を開く

$\sum_i(x_i-\mu)^2=S+n(\bar x-\mu)^2$ なので $\ell_n(\mu,v)=-\frac n2\log(2\pi v)-\frac{S+n(\bar x-\mu)^2}{2v}\le\ell_n(\bar x,v)$ であり、等号は $\mu=\bar x$ のときに限る。$h(v):=\ell_n(\bar x,v)$ は $h'(v)=\frac{S-nv}{2v^2}$ を満たし、$v< S/n$ で増加、$v>S/n$ で減少するので、$v=S/n$ でだけ最大になる。すべての $x_i$ が等しいと $S=0$ で、$v\to0$ のとき $\ell_n\to\infty$ となり最尤推定値は存在しないが、これは確率 $0$ でしか起こらない。

一様分布の右端

$f(x;\theta)=\frac1\theta\mathbf 1_{[0,\theta]}(x)$（$\theta>0$）では、$L_n(\theta)$ は $\theta\ge\max_ix_i$ なら $\theta^{-n}$、そうでなければ $0$ なので、最尤推定値は $M:=\max_ix_i$ である。$M$ は不偏でなく、平均二乗誤差でも $\frac{n+2}{n+1}M$ に劣る（推定量のよさの例「$n=5$、$\theta=10$ での 4 つの推定量」）。$f(x;\theta)>0$ となる $x$ の範囲が $\theta$ で変わるので、下の 2 つの主定理の仮定を満たさない（ex-mle-uniform-rate）。

整数の母数では、確率の最大の命題「捕獲再捕獲の推定値」のように、隣り合う値での尤度の比から最尤推定値を求める。

情報不等式

$\theta,\theta_0\in\Theta$、$X\sim P_{\theta_0}$ とし、$Y:=\log\dfrac{f(X;\theta)}{f(X;\theta_0)}$ とおく（$f(X;\theta_0)>0$ は確率 $1$ で成り立ち、$\log0:=-\infty$ とする）。$Y$ の正の部分は可積分で、$E_{\theta_0}[Y]\in[-\infty,0]$ が定まり、
$$ E_{\theta_0}\Bigl[\log\frac{f(X;\theta)}{f(X;\theta_0)}\Bigr]\le0 $$
である。等号が成り立つのは $P_\theta=P_{\theta_0}$ のときに限る。

方針：不等式 $\log t\le t-1$（$t\ge0$、等号は $t=1$ のときに限る）を $t=f(X;\theta)/f(X;\theta_0)$ に当てる。

証明を開く

$t>0$ では $t-1-\log t$ の導関数 $1-\frac1t$ の符号から $\log t\le t-1$ で等号は $t=1$ に限り、$t=0$ では左辺が $-\infty$ である。$W:=\frac{f(X;\theta)}{f(X;\theta_0)}-1$ とおくと $Y\le W$、$W\ge-1$ であり、$B:=\{x\mid f(x;\theta_0)>0\}$ とすると $E_{\theta_0}[W]=\int_B\bigl(\frac{f(x;\theta)}{f(x;\theta_0)}-1\bigr)f(x;\theta_0)\,\mu(dx)=\int_Bf(x;\theta)\,\mu(dx)-1\le0$ である。$0\le Y^+\le W^+\le W+1$ なので $Y^+$ は可積分で、$E[Y]\le E[W]\le0$ である。

等号 $E[Y]=0$ が成り立つとする。$W-Y\ge0$ で $E[W-Y]=E[W]-E[Y]\le0$ なので、$W=Y$ が確率 $1$ で成り立つ。$\log t=t-1$ は $t=1$ に限るので、$f(X;\theta)=f(X;\theta_0)$ が確率 $1$ で成り立ち、これは $f(\cdot\,;\theta)=f(\cdot\,;\theta_0)$ が $B$ の上で $\mu$ についてほとんどいたるところ成り立つことである。さらに $E[W]=0$ から $\int_Bf(x;\theta)\,\mu(dx)=1$ なので、$B$ の外では $f(\cdot\,;\theta)=0$ がほとんどいたるところ成り立つ。よって 2 つの密度は $\mu$ についてほとんどいたるところ等しく、$P_\theta=P_{\theta_0}$ である。逆に $P_\theta=P_{\theta_0}$ なら 2 つの密度はほとんどいたるところ等しく、$Y=0$ が確率 $1$ で成り立つ。$\square$

$-E_{\theta_0}[Y]$ は $P_{\theta_0}$ から $P_\theta$ への Kullback–Leibler 情報量で、離散の場合はエントロピーの定理「Gibbs の不等式」がこの補題に当たる。モデルが 識別可能、すなわち $\theta\ne\theta'$ なら $P_\theta\ne P_{\theta'}$ であるとき、補題により $\lambda(\theta):=E_{\theta_0}[\log f(X;\theta)]$ は（有限なら）$\theta_0$ でだけ最大になる。一方 $\frac1n\ell_n(\theta)$ は $\log f(X_i;\theta)$ の平均なので、大数の法則により $\lambda(\theta)$ に近づく。最尤推定は「$\lambda$ の最大点 $\theta_0$ を、近似 $\frac1n\ell_n$ の最大点で探す」方法である。

主定理 1：対数尤度が凹なときの一致性

最尤推定量の一致性

$\Theta$ を $\mathbb R$ の開区間とし、次を仮定する。

モデルは識別可能である。
すべての $x\in\mathcal X$、$\theta\in\Theta$ で $f(x;\theta)>0$ であり、各 $x$ について $\theta\mapsto\log f(x;\theta)$ は $\Theta$ 上の凹関数である。
すべての $\theta\in\Theta$ で $E_{\theta_0}\bigl[\lvert\log f(X_1;\theta)\rvert\bigr]< \infty$ である。
$\theta_0\in\Theta$ とし、$X_1,X_2,\dots$ を独立にどれも $P_{\theta_0}$ に従う確率変数とする。このとき確率 $1$ で次が成り立つ：任意の $\varepsilon>0$ について、ある $N$ があり、$n\ge N$ なら $\ell_n$ は $\Theta$ 上で最大値をとり、最大値をとる点はすべて $(\theta_0-\varepsilon,\theta_0+\varepsilon)$ に入る。とくに、どの最尤推定量 $\hat\theta_n$ も確率 $1$ で $\theta_0$ に収束する。

段 1（極限の関数）。 $\lambda(\theta):=E_{\theta_0}[\log f(X_1;\theta)]$ とおくと、仮定 3 により $\lambda(\theta)$ は有限である。$\theta\ne\theta_0$ なら、仮定 1 から $P_\theta\ne P_{\theta_0}$ なので、lem-mle-information の等号は成り立たず、$\lambda(\theta)-\lambda(\theta_0)=E_{\theta_0}\bigl[\log\frac{f(X_1;\theta)}{f(X_1;\theta_0)}\bigr]< 0$ である。
段 2（大数の法則）。 $[\theta_0-\frac1{k_0},\theta_0+\frac1{k_0}]\subset\Theta$ となる $k_0$ をとる。$k\ge k_0$ と $\theta\in\{\theta_0,\theta_0\pm\frac1k\}$ について、$\log f(X_i;\theta)$ は独立で同じ分布に従う可積分な確率変数の列なので、大数の強法則（Dur19 Theorem 2.4.1（p. 76）。この記事では証明しない）により確率 $1$ で $\frac1n\ell_n(\theta)\to\lambda(\theta)$ である。これら可算個の事象の共通部分 $\Omega_*$ も確率 $1$ で、その上では各 $k\ge k_0$ について
$$ \frac1n\Bigl(\ell_n\bigl(\theta_0\pm\tfrac1k\bigr)-\ell_n(\theta_0)\Bigr)\to\lambda\bigl(\theta_0\pm\tfrac1k\bigr)-\lambda(\theta_0)< 0 $$
なので、ある $N_k$ があり、$n\ge N_k$ なら $\ell_n(\theta_0-\frac1k)< \ell_n(\theta_0)$ かつ $\ell_n(\theta_0+\frac1k)< \ell_n(\theta_0)$ である。
段 3（凹性）。 $\Omega_*$ の点を 1 つ固定し、$k\ge k_0$、$n\ge N_k$ とする。$g:=\ell_n$ は凹関数の和なので $\Theta$ 上の有限な凹関数である。$a:=\theta_0-\frac1k$、$b:=\theta_0+\frac1k$ とおき、$\theta\in\Theta$、$\theta\ge b$ なら $g(\theta)< g(\theta_0)$ であることを示す。$\theta=b$ なら段 2 そのものである。$\theta>b$ なら、$t:=\frac{\theta-b}{\theta-\theta_0}\in(0,1)$ について $b=t\theta_0+(1-t)\theta$ なので、凹性から $g(b)\ge tg(\theta_0)+(1-t)g(\theta)$ である。もし $g(\theta)\ge g(\theta_0)$ なら右辺は $g(\theta_0)$ 以上となり、$g(b)< g(\theta_0)$ に反する。$\theta\le a$ の場合も同様である。よって $\lvert\theta-\theta_0\rvert\ge\frac1k$ なら $g(\theta)< g(\theta_0)$ である。
段 4（最大値の存在）。 $-g$ は開区間 $\Theta$ 上の凸関数なので連続である（凸関数の定理「開区間上の凸関数の連続性と片側微分」）。よって $g$ は閉区間 $[a,b]$ 上のある点 $\theta^*$ で $[a,b]$ 上の最大値をとる。$g(\theta^*)\ge g(\theta_0)$ であり、段 3 から $[a,b]$ の外の $\theta$ では $g(\theta)< g(\theta_0)\le g(\theta^*)$ なので、$\theta^*$ は $\Theta$ 全体での最大値をとる点である。また、最大値をとる点 $\theta'$ はどれも $g(\theta')\ge g(\theta_0)$ を満たすので、段 3 により $\lvert\theta'-\theta_0\rvert< \frac1k$ である。
任意の $\varepsilon>0$ には $\frac1k\le\varepsilon$ となる $k\ge k_0$ をとり $N:=N_k$ とすればよい。最尤推定量 $\hat\theta_n$ は、$n\ge N_k$ では最大値をとる点なので $\lvert\hat\theta_n-\theta_0\rvert< \frac1k$ を満たす。$\square$

凹でないモデルの一致性はこの記事では扱わない（有限個の点での比較では遠くの $\theta$ を排除できない）。

Laplace 分布の位置母数と中央値

$\mathcal X=\mathbb R$（Lebesgue 測度）、$f(x;\theta)=\frac12e^{-\lvert x-\theta\rvert}$、$\Theta=\mathbb R$ とする。$\ell_n(\theta)=-n\log2-\sum_i\lvert x_i-\theta\rvert$ なので、最尤推定値はデータの中央値であり（中央値と絶対誤差の定理「中央値は絶対誤差の和を最小にする」）、$n$ が偶数なら閉区間 $[x_{(n/2)},x_{(n/2+1)}]$ のすべての点が最尤推定値である（$x_{(j)}$ は小さい方から $j$ 番目の値）。thm-mle-consistency の仮定を満たすので、どの点を選んでも標本の中央値は確率 $1$ で $\theta_0$ に収束する。

仮定の確かめを開く

$P_\theta$ の平均は $\theta$ なので識別可能である。$-\lvert x-\theta\rvert$ は $\theta$ について凹である。$\lvert\log f(x;\theta)\rvert\le\log2+\lvert x-\theta_0\rvert+\lvert\theta-\theta_0\rvert$ で、$E_{\theta_0}\lvert X-\theta_0\rvert=1$ なので仮定 3 も成り立つ。

主定理 2：指数型分布族での漸近正規性

1 母数の指数型分布族と Fisher 情報量

可測関数 $T\colon\mathcal X\to\mathbb R$、$h\colon\mathcal X\to(0,\infty)$ と開区間 $\mathcal N\subset\mathbb R$ が、すべての $\eta\in\mathcal N$ で $Z(\eta):=\int h(x)e^{\eta T(x)}\,\mu(dx)< \infty$ を満たすとする。$A(\eta):=\log Z(\eta)$ とおき、
$$ f(x;\eta):=h(x)\exp\bigl(\eta T(x)-A(\eta)\bigr)\qquad(\eta\in\mathcal N) $$
で定まるモデルを、自然母数 $\eta$ をもつ 1 母数の 指数型分布族 という。この記事では、$T(X)$ が $P_\eta$ のもとで定数でないことも仮定に含める。
$\theta\mapsto\log f(x;\theta)$ が微分可能なモデルで、$E_\theta\bigl[\bigl(\frac{\partial}{\partial\theta}\log f(X;\theta)\bigr)^2\bigr]$ を $\theta$ における Fisher 情報量 といい、$I(\theta)$ と書く。

Bernoulli 分布は $\eta=\log\frac p{1-p}$、$T(x)=x$、$h=1$、$A(\eta)=\log(1+e^\eta)$ とした族、Poisson 分布は $\eta=\log\lambda$、$h(x)=1/x!$、$A(\eta)=e^\eta$ とした族、$N(\eta,1)$ は $h(x)=e^{-x^2/2}/\sqrt{2\pi}$、$A(\eta)=\eta^2/2$ とした族である（どれも $T(x)=x$）。

キュムラント母関数の微分

def-mle-expfam の 1 の族で、$A$ は $\mathcal N$ 上で 2 回微分可能であり、すべての $\eta\in\mathcal N$ で $E_\eta[T(X)^2]< \infty$、
$$ A'(\eta)=E_\eta[T(X)],\qquad A''(\eta)=V_\eta[T(X)]>0 $$
である。$\frac{\partial}{\partial\eta}\log f(x;\eta)=T(x)-A'(\eta)$ なので、Fisher 情報量は $I(\eta)=V_\eta[T(X)]=A''(\eta)$ である。

積分記号の下での微分を開く

$\eta\in\mathcal N$ を固定し、$[\eta-2\delta,\eta+2\delta]\subset\mathcal N$ となる $\delta>0$ をとる。$k=1,2$ について $C_k:=\sup_{t\in\mathbb R}\lvert t\rvert^ke^{-\delta\lvert t\rvert}< \infty$ とおく。$\lvert s\rvert\le\delta$、$t\in\mathbb R$ なら $e^{(\eta+s)t}\le e^{\eta t}e^{\delta\lvert t\rvert}$、また $e^{\eta t}e^{2\delta\lvert t\rvert}\le e^{(\eta+2\delta)t}+e^{(\eta-2\delta)t}$ なので、$\lvert t\rvert^ke^{(\eta+s)t}\le\lvert t\rvert^ke^{-\delta\lvert t\rvert}\,e^{\eta t}e^{2\delta\lvert t\rvert}\le C_k\bigl(e^{(\eta+2\delta)t}+e^{(\eta-2\delta)t}\bigr)$ である。よって $D(x):=C_1h(x)\bigl(e^{(\eta+2\delta)T(x)}+e^{(\eta-2\delta)T(x)}\bigr)$ は $\mu$ について可積分で、$\lvert s\rvert\le\delta$ なら $\lvert h(x)T(x)e^{(\eta+s)T(x)}\rvert\le D(x)$ である。$0< \lvert s\rvert\le\delta$ について、平均値の定理から $\frac1s\bigl(e^{(\eta+s)T(x)}-e^{\eta T(x)}\bigr)=T(x)e^{\xi T(x)}$ となる $\xi$ が $\eta$ と $\eta+s$ の間にあるので、差分商 $\frac1s\bigl(h(x)e^{(\eta+s)T(x)}-h(x)e^{\eta T(x)}\bigr)$ は $D(x)$ で抑えられ、$s\to0$ で $h(x)T(x)e^{\eta T(x)}$ に収束する。優収束定理により $Z'(\eta)=\int hTe^{\eta T}\,d\mu$ である。$k=2$ の評価で同じ議論を $hTe^{\eta T}$ に当てると $Z''(\eta)=\int hT^2e^{\eta T}\,d\mu< \infty$ である。$E_\eta[T^j]=Z^{-1}\int hT^je^{\eta T}\,d\mu$（$j=1,2$）なので、$A'=Z'/Z=E_\eta[T]$、$A''=Z''/Z-(Z'/Z)^2=E_\eta[T^2]-E_\eta[T]^2=V_\eta[T]$ であり、$T(X)$ は定数でないので $V_\eta[T]>0$ である。最後の主張は $\log f(x;\eta)=\log h(x)+\eta T(x)-A(\eta)$ を微分すればよい。$\square$

$X_1,X_2,\dots$ が独立にどれも $P_{\eta_0}$ に従うとき、$\bar T_n:=\frac1n\sum_{i=1}^nT(X_i)$ とおく。対数尤度は
$$ \ell_n(\eta)=\sum_{i=1}^n\log h(X_i)+n\bigl(\eta\bar T_n-A(\eta)\bigr) $$
であり、$\eta$ について凹である（$A''>0$）。$\Phi$ を標準正規分布の分布関数とする。

指数型分布族の最尤推定量

def-mle-expfam の 1 の族で、$\mathcal M:=A'(\mathcal N)$ とおく。

$\mathcal M$ は開区間で、$A'\colon\mathcal N\to\mathcal M$ は狭義増加な連続の全単射である。$\ell_n$ が $\mathcal N$ 上で最大値をとるのは $\bar T_n\in\mathcal M$ のときに限り、そのとき最大値をとる点は、尤度方程式 $A'(\eta)=\bar T_n$ のただ 1 つの解 $\hat\eta_n=(A')^{-1}(\bar T_n)$ である。
確率 $1$ で、十分大きいすべての $n$ について $\bar T_n\in\mathcal M$ であり、$\hat\eta_n\to\eta_0$ である。
$\hat\eta_n$ を最尤推定量とする（$\bar T_n\notin\mathcal M$ のときの値は任意の可測な選び方でよい）。すべての $x\in\mathbb R$ について
$$ \lim_{n\to\infty}P_{\eta_0}\bigl(\sqrt n(\hat\eta_n-\eta_0)\le x\bigr)=\Phi\bigl(x\sqrt{I(\eta_0)}\bigr) $$
である。すなわち $\sqrt n(\hat\eta_n-\eta_0)$ は分布収束の意味で正規分布 $N\bigl(0,1/I(\eta_0)\bigr)$ に近づく。

1。 lem-mle-cumulant により $A''>0$ なので、$A'$ は狭義増加かつ連続で、$\mathcal M$ は開区間である（中間値の定理）。$\ell_n'(\eta)=n(\bar T_n-A'(\eta))$ は狭義減少である。$\bar T_n\in\mathcal M$ なら $A'(\hat\eta)=\bar T_n$ となる $\hat\eta$ がただ 1 つあり、$\ell_n'$ は $\eta< \hat\eta$ で正、$\eta>\hat\eta$ で負なので、$\ell_n$ は $\hat\eta$ でだけ最大値をとる。$\bar T_n\notin\mathcal M$ なら $\ell_n'$ は $\mathcal N$ 全体で同じ符号をもち、狭義単調な $\ell_n$ は開区間 $\mathcal N$ の上で最大値をとらない。
2。 lem-mle-cumulant から $T(X_1)$ は可積分で $E_{\eta_0}[T(X_1)]=A'(\eta_0)$ なので、大数の強法則（Dur19 Theorem 2.4.1（p. 76））により確率 $1$ で $\bar T_n\to A'(\eta_0)\in\mathcal M$ である。$\mathcal M$ は開集合なので、十分大きい $n$ で $\bar T_n\in\mathcal M$ となる。$\psi:=(A')^{-1}\colon\mathcal M\to\mathcal N$ は区間の上の狭義増加な全単射の逆なので連続であり、$\hat\eta_n=\psi(\bar T_n)\to\psi(A'(\eta_0))=\eta_0$ である。
3。 $\sigma^2:=A''(\eta_0)=I(\eta_0)>0$ とおき、$x\in\mathbb R$ を固定する。$\eta_n:=\eta_0+x/\sqrt n$ は十分大きい $n$ で $\mathcal N$ に入る。$E_n:=\{\bar T_n\in\mathcal M\}$ とすると、$E_n$ の上では $\hat\eta_n=\psi(\bar T_n)$ で $\psi$ は狭義増加なので、$\{\hat\eta_n\le\eta_n\}\cap E_n=\{\bar T_n\le A'(\eta_n)\}\cap E_n$ である。したがって
$$ \Bigl\lvert P\bigl(\sqrt n(\hat\eta_n-\eta_0)\le x\bigr)-P\bigl(\bar T_n\le A'(\eta_n)\bigr)\Bigr\rvert\le P(E_n^c) $$
であり、2 から $P(E_n^c)\to0$ である。次に $Z_n:=\sqrt n\bigl(\bar T_n-A'(\eta_0)\bigr)$、$c_n:=\sqrt n\bigl(A'(\eta_n)-A'(\eta_0)\bigr)$ とおくと、$P(\bar T_n\le A'(\eta_n))=P(Z_n\le c_n)$ であり、$A'$ が $\eta_0$ で微分可能なので $c_n=x\cdot\dfrac{A'(\eta_0+x/\sqrt n)-A'(\eta_0)}{x/\sqrt n}\to\sigma^2x$ である（$x=0$ なら $c_n=0$）。中心極限定理（Dur19 Theorem 3.4.1（p. 144）。この記事では証明しない）により、すべての $z$ で $P(Z_n\le z)\to\Phi(z/\sigma)$ であり、ここから $P(Z_n\le c_n)\to\Phi(\sigma x)=\Phi(x\sqrt{I(\eta_0)})$ が出る。

最後の極限を開く

$\delta>0$ をとると、十分大きい $n$ で $\lvert c_n-\sigma^2x\rvert\le\delta$ なので $P(Z_n\le\sigma^2x-\delta)\le P(Z_n\le c_n)\le P(Z_n\le\sigma^2x+\delta)$ であり、$P(Z_n\le c_n)$ の上極限と下極限は $\Phi((\sigma^2x\pm\delta)/\sigma)$ の間にある。$\delta\to0$ とすれば $\Phi$ の連続性から極限は $\Phi(\sigma x)$ である。$\square$

Fisher 情報量が大きいほど推定の精度がよい。Bernoulli 分布では $\mathcal M=(0,1)$ で、1 は ex-mle-bernoulli と一致する。$p$ を母数にとっても $\sqrt n(\hat p-p)$ は $N(0,p(1-p))$ に近づき、$I(p)=E_p\bigl[\bigl(\frac Xp-\frac{1-X}{1-p}\bigr)^2\bigr]=\frac1{p(1-p)}$ なので、漸近分散は $1/I(p)$ である。

一般のモデルでの漸近正規性

多次元の母数のモデルでも、$f(x;\theta)>0$ となる $x$ の範囲が $\theta$ によらないこと、$\log f$ が十分滑らかで積分記号の下で微分できること、Fisher 情報行列 $I(\theta)=E_\theta\bigl[\nabla_\theta\log f\,(\nabla_\theta\log f)^{\mathsf T}\bigr]$ が正則であることなどの正則条件のもとで、$\theta_0$ に収束する最尤推定量について $\sqrt n(\hat\theta_n-\theta_0)$ が $N\bigl(0,I(\theta_0)^{-1}\bigr)$ に分布収束することが知られている（ESL17 §8.2.2 の (8.16)（p. 266）。正則条件の正確な形は文献により異なる。この記事では証明しない）。

反例

外す条件	反例	成り立たなくなること
識別可能性（thm-mle-consistency の 1）	すべての $\theta\in\mathbb R$ で $P_\theta=N(0,1)$ とする族（ex-mle-unidentifiable の折りたたみ）	$\ell_n$ が定数で、すべての $\theta$ が最尤推定値になる。どの推定量も、異なる 2 つの母数の両方で一致性をもつことはない
母数の個数が $n$ によらない	ex-mle-neyman-scott：組ごとに平均の違う正規分布	分散の最尤推定量が $\sigma^2/2$ に収束し、一致性が崩れる
$f(x;\theta)>0$ となる $x$ の範囲が $\theta$ によらない	ex-mle-uniform-rate：一様分布 $U(0,\theta)$	$n(\theta-M)$ が指数分布に近づき、$\sqrt n(\theta-M)\to0$ となって漸近正規性が崩れる
$n$ が十分大きい（thm-mle-expfam の 2）	Bernoulli 分布で $n$ を固定する	確率 $p^n+(1-p)^n>0$ で最尤推定値が存在しない（ex-mle-bernoulli）

反例：識別可能でないモデル

$f(x;\theta):=\frac1{\sqrt{2\pi}}e^{-(x-\theta^2)^2/2}$（$\theta\in\mathbb R$）とする。$P_\theta=P_{-\theta}$ なので識別可能でなく、最尤推定値は $\bar x>0$ なら $\pm\sqrt{\bar x}$ の 2 つ、$\bar x\le0$ なら $0$ である。$(X_1,X_2,\dots)$ の分布は $\theta_0$ のもとでも $-\theta_0$ のもとでも同じなので、データの関数 $\hat\theta_n$ が $\theta_0$ のもとで確率 $1$ で $\theta_0$ に収束するなら、$-\theta_0$ のもとでも $\theta_0$ に収束し、$\theta_0\ne0$ なら $-\theta_0$ には収束しない。満たさない仮定：識別可能性と凹性。

最尤推定値の計算と凹性を開く

対数尤度は $-\frac12\sum_i(x_i-\theta^2)^2$ に定数を足したもので、$\sum_i(x_i-s)^2=\sum_i(x_i-\bar x)^2+n(\bar x-s)^2$ を $s=\theta^2\ge0$ について最小にするのは $s=\max(\bar x,0)$ である。

$\frac{\partial^2}{\partial\theta^2}\log f(x;\theta)=2x-6\theta^2$ は $x>0$、$\theta^2< x/3$ で正なので、このモデルは thm-mle-consistency の仮定 2 も満たさない。識別可能性だけを外す例には、すべての $\theta$ で $f(\cdot\,;\theta)$ を $N(0,1)$ の密度とする族がある。仮定 2・3 は成り立つが、$\ell_n$ は定数ですべての $\theta$ が最尤推定値になり、データの分布が $\theta$ によらないので、どの推定量も異なる 2 つの母数の両方で一致性をもたない。

反例：母数が標本とともに増える（Neyman–Scott の例）

$X_{i1},X_{i2}$（$i=1,\dots,n$）を独立に $N(\mu_i,\sigma^2)$ に従う確率変数とし、母数を $(\mu_1,\dots,\mu_n,\sigma^2)$ とする（個数は $n+1$）。分散の最尤推定値は
$$ \hat\sigma^2_n=\frac1{4n}\sum_{i=1}^n(X_{i1}-X_{i2})^2 $$
である。$D_i:=X_{i1}-X_{i2}$ は独立に $N(0,2\sigma^2)$ に従うので $E[D_i^2]=2\sigma^2$ であり、大数の強法則により確率 $1$ で $\hat\sigma^2_n\to\frac{\sigma^2}2$ である（$2\hat\sigma^2_n$ なら $\sigma^2$ に収束する）。満たさない仮定：母数空間が $n$ によらないこと（thm-mle-consistency では $\Theta$ は固定されている）。

最尤推定値の計算を開く

ex-mle-normal と同じく、$v=\sigma^2$ を固定すると $\mu_i$ の最大点は $\bar X_i:=\frac12(X_{i1}+X_{i2})$ で、$\sum_{j=1,2}(X_{ij}-\bar X_i)^2=\frac12(X_{i1}-X_{i2})^2$ である。$S':=\frac12\sum_i(X_{i1}-X_{i2})^2$ とおくと、$\ell=-n\log(2\pi v)-\frac{S'}{2v}$ の導関数は $\frac{S'-2nv}{2v^2}$ なので、$v=S'/(2n)$ でだけ最大になる。

反例：一様分布の右端の推定の速さ

$X_1,X_2,\dots$ を独立に $U(0,\theta)$ に従う確率変数、$M_n:=\max_{i\le n}X_i$ を最尤推定量とする（ex-mle-uniform）。$n(\theta-M_n)$ は平均 $\theta$ の指数分布に分布収束し、$\sqrt n(\theta-M_n)$ は $0$ に確率収束するので、どの $N(0,s^2)$（$s>0$）にも分布収束しない。誤差は $\frac1n$ の速さで小さくなる。満たさない仮定：密度が正となる範囲 $[0,\theta]$ が $\theta$ によらないこと。

計算を開く

$0\le x\le n\theta$ なら $P\bigl(n(\theta-M_n)>x\bigr)=P\bigl(M_n< \theta-\frac xn\bigr)=\bigl(1-\frac x{n\theta}\bigr)^n\to e^{-x/\theta}$ である。$x>0$、$n\ge(x/\theta)^2$ なら $P(\sqrt n(\theta-M_n)>x)=(1-\frac x{\sqrt n\theta})^n\le e^{-\sqrt nx/\theta}\to0$ である。