Fisher情報量

同義語:フィッシャー情報量Fisher informationFisher情報行列Fisher information matrixCramér–Raoの不等式Cramér–Raoの下界クラメール・ラオの不等式Cramér–Rao inequalityCramér–Rao bound

概要

Fisher情報量(Fisher information)とは、母数 $\theta$ をもつ確率密度の族で、スコア $\partial_\theta\log f(X;\theta)$ の 2 乗の期待値 $I(\theta)$ で、観測が母数についてもつ情報の量を表す。密度が正となる範囲が $\theta$ によらず微分と積分の順序を交換できるなどの正則条件のもとでは、スコアの平均は $0$、$I(\theta)$ はその分散で、独立な $n$ 個の観測の情報量は $nI(\theta)$ である。さらに推定量についての交換の条件のもとで、$\theta$ の不偏推定量の分散は $1/(nI(\theta))$ 以上である(Cramér–Rao の不等式)。正となる範囲が $\theta$ で変わる一様分布では、この値より分散の小さい不偏推定量がある。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 最尤推定, 分散, 期待値, 独立性(確率論)

母数 $\theta$ で分布が決まるデータを観測したとき、データは $\theta$ について「どれだけ多くを教えてくれるか」。Fisher 情報量(Fisher information)は、この量を、対数尤度の傾き(スコア)のばらつきとして測る。対数尤度 $\log f(x;\theta)$ が $\theta$ の変化に鋭く反応するほど、観測値から $\theta$ を見分けやすい。
Fisher 情報量が推定の精度の限界を与えることを述べるのが Cramér–Rao の不等式 である:分布の族と推定量についての正則条件のもとで、独立な $n$ 個の観測による $\theta$ の不偏推定量の分散は $1/(nI(\theta))$ 以上である。最尤推定 の定理「指数型分布族の最尤推定量」によれば、1 母数の指数型分布族では、自然母数の最尤推定量の漸近的な分散がちょうどこの値になる。
この記事では、Fisher 情報量の基本性質と Cramér–Rao の不等式を証明し、下界を達成する例・達成しない例、多母数の場合、条件を外すと下界の不等式が成り立たない反例を扱う。

結果内容主な仮定
prop-fi-meanスコアの平均は $0$、$I(\theta)$ はスコアの分散正則条件
prop-fi-additive独立な観測の情報量は足し算正則条件
thm-fi-cramer-rao$V_\theta[T]\ge\psi'(\theta)^2/I(\theta)$正則条件、$T$ についての微分と積分の交換
thm-fi-multi多母数の場合 $V_\theta[T]\ge\nabla\psi^{\mathsf T}I^{-1}\nabla\psi$同上、$I(\theta)$ が正定値

定義

最尤推定 と同じく、可測空間 $(\mathcal X,\mathcal A)$ 上の $\sigma$ 有限測度 $\mu$(離散のデータでは数え上げ測度、連続のデータでは Lebesgue 測度)と、母数空間 $\Theta$ の各点 $\theta$ について $\mu$ に関する確率密度 $f(\cdot\,;\theta)$ が与えられているとする。$f(\cdot\,;\theta)$ を密度にもつ分布を $P_\theta$、その期待値・分散・共分散を $E_\theta$、$V_\theta$、$\mathrm{Cov}_\theta$ と書く。「多母数の場合」の節より前では、$\Theta$ は $\mathbb R$ の開区間とする。

正則な族とスコア関数

次の 3 つの条件を 正則条件 という。

  1. (R1)集合 $S:=\{x\in\mathcal X\mid f(x;\theta)>0\}$ は $\theta\in\Theta$ によらない。
  2. (R2)各 $x\in S$ について、$\theta\mapsto f(x;\theta)$ は $\Theta$ 上で微分可能である。
  3. (R3)各 $\theta\in\Theta$ について、$\partial f(\cdot\,;\theta)/\partial\theta$ は $S$ 上で $\mu$ について可積分で、$\displaystyle\int_S\frac{\partial f(x;\theta)}{\partial\theta}\,\mu(dx)=0$ である。
    (R1)(R2)のもとで、$x\in S$ について
    $$ s(x;\theta):=\frac{\partial}{\partial\theta}\log f(x;\theta)=\frac{1}{f(x;\theta)}\frac{\partial f(x;\theta)}{\partial\theta} $$
    を スコア関数(score function)という。

(R3)は、恒等式 $\int_Sf(x;\theta)\,\mu(dx)=1$ の両辺を $\theta$ で微分し、左辺で微分と積分の順序を入れ替えたものである。$S$ の外では $f(x;\theta)=0$ がすべての $\theta$ で成り立つので、$S$ の外の点は観測されず(確率 $0$)、スコアを定める必要もない。

Fisher 情報量

(R1)(R2)を満たす族について、
$$ I(\theta):=E_\theta\bigl[s(X;\theta)^2\bigr]=\int_S\Bigl(\frac{\partial}{\partial\theta}\log f(x;\theta)\Bigr)^2f(x;\theta)\,\mu(dx)\in[0,\infty] $$
を $\theta$ における Fisher 情報量 という。$X=(X_1,\dots,X_n)$ が独立にどれも $P_\theta$ に従う標本のときは、同時密度 $f_n(x;\theta):=\prod_{i=1}^nf(x_i;\theta)$ の Fisher 情報量を $I_n(\theta)$ と書く。

スコアの平均と分散

正則条件(R1)〜(R3)を仮定し、$\theta\in\Theta$ で $I(\theta)< \infty$ とする。

  1. $E_\theta[s(X;\theta)]=0$ であり、$I(\theta)=V_\theta[s(X;\theta)]$ である。
  2. さらに、各 $x\in S$ で $\theta\mapsto f(x;\theta)$ が 2 回微分可能で、$\partial^2f(\cdot\,;\theta)/\partial\theta^2$ が $S$ 上で可積分かつ積分が $0$ なら、
    $$ I(\theta)=-E_\theta\Bigl[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\Bigr] $$
    である。

1:$I(\theta)< \infty$ なので $s(X;\theta)$ は 2 乗可積分であり、とくに可積分である。$S$ 上で $s(x;\theta)f(x;\theta)=\partial f(x;\theta)/\partial\theta$ なので、(R3)により
$$ E_\theta[s(X;\theta)]=\int_Ss(x;\theta)f(x;\theta)\,\mu(dx)=\int_S\frac{\partial f(x;\theta)}{\partial\theta}\,\mu(dx)=0 $$
である。平均が $0$ なので $V_\theta[s]=E_\theta[s^2]-E_\theta[s]^2=I(\theta)$ である。
2:$f':=\partial f/\partial\theta$、$f'':=\partial^2f/\partial\theta^2$ と書くと、$S$ 上で
$$ \frac{\partial^2}{\partial\theta^2}\log f=\frac{\partial}{\partial\theta}\frac{f'}{f}=\frac{f''}{f}-\Bigl(\frac{f'}{f}\Bigr)^2=\frac{f''}{f}-s^2 $$
である。$f''/f$ は $P_\theta$ について可積分で $E_\theta[f''/f]=\int_Sf''\,d\mu=0$ なので、$E_\theta[\partial^2\log f/\partial\theta^2]=0-I(\theta)$ である。$\square$

2 の形は、対数尤度の曲がり具合の平均として Fisher 情報量を読む見方である(ER10 Theorem 6.5.1、p. 365)。対数尤度の山が鋭いほど $I(\theta)$ は大きい。

独立な観測での加法性

$X$ と $Y$ が独立で、それぞれ測度 $\mu$、$\nu$ に関する密度 $f(\cdot\,;\theta)$、$g(\cdot\,;\theta)$ をもち、どちらの族も正則条件を満たし、Fisher 情報量 $I_X(\theta)$、$I_Y(\theta)$ が有限とする。このとき $(X,Y)$ の同時密度 $f(x;\theta)g(y;\theta)$ の族も正則条件を満たし、その Fisher 情報量は $I_X(\theta)+I_Y(\theta)$ である。とくに独立な $n$ 個の観測では $I_n(\theta)=nI(\theta)$ である。

要点:スコアは和 $s_X+s_Y$ になり、独立性とスコアの平均が $0$ であることから交差項が消える。

証明を開く

同時密度が正となる集合は $S_X\times S_Y$ で $\theta$ によらず、その上で $\theta$ について微分可能である。$\partial(fg)/\partial\theta=f'g+fg'$ は $\mu\otimes\nu$ について可積分で、Fubiniの定理 により $\iint(f'g+fg')=\int f'\cdot1+1\cdot\int g'=0$ なので(R3)も成り立つ。スコアは $\partial_\theta\log(fg)=s_X(x;\theta)+s_Y(y;\theta)$ である。$s_X(X;\theta)$ と $s_Y(Y;\theta)$ は独立で 2 乗可積分なので $E_\theta[s_Xs_Y]=E_\theta[s_X]E_\theta[s_Y]=0$(prop-fi-mean の 1)であり、$E_\theta[(s_X+s_Y)^2]=I_X(\theta)+2E_\theta[s_Xs_Y]+I_Y(\theta)=I_X(\theta)+I_Y(\theta)$ である。$n$ 個の場合は帰納法による。$\square$

母数の取り替え

$\Theta'$ を開区間、$g\colon\Theta'\to\Theta$ を微分可能な全単射とし、新しい母数 $\tau$ の族を $\tilde f(x;\tau):=f(x;g(\tau))$ とする。元の族が正則条件を満たせば新しい族も満たし、Fisher 情報量は
$$ \tilde I(\tau)=I(g(\tau))\,g'(\tau)^2 $$
である。

連鎖律により $\partial\tilde f(x;\tau)/\partial\tau=f'(x;g(\tau))\,g'(\tau)$ なので、(R1)〜(R3)は新しい族でも成り立ち、スコアは $\tilde s(x;\tau)=s(x;g(\tau))\,g'(\tau)$ である。2 乗して $P_{g(\tau)}$ で期待値をとればよい。$\square$

Fisher 情報量は母数の選び方による。たとえば $N(\tau^3,1)$ の族($\tau\in\mathbb R$)では、$\theta=\tau^3$ を母数とした $N(\theta,1)$ の情報量 $1$ から $\tilde I(\tau)=9\tau^4$ となり、$\tau=0$ で $0$ になる。$g'(\tau)\ne0$ なら、後の Cramér–Rao の下界 $\psi'^2/I$ は母数の取り替えで変わらない($\psi$ の導関数にも $g'$ が掛かり、打ち消し合う)。

例

代表的な分布の Fisher 情報量

1 個の観測についての Fisher 情報量は次のとおりである($X$ は観測値、ほかの母数は既知とする)。

分布母数スコア $s(x;\theta)$$I(\theta)$
Bernoulli分布 $p^x(1-p)^{1-x}$$p\in(0,1)$$\dfrac{x-p}{p(1-p)}$$\dfrac1{p(1-p)}$
Poisson 分布 $e^{-\lambda}\lambda^x/x!$$\lambda>0$$\dfrac x\lambda-1$$\dfrac1\lambda$
指数分布 $\lambda e^{-\lambda x}$($x>0$)$\lambda>0$$\dfrac1\lambda-x$$\dfrac1{\lambda^2}$
正規分布 $N(\mu,\sigma^2)$、$\sigma^2$ 既知$\mu\in\mathbb R$$\dfrac{x-\mu}{\sigma^2}$$\dfrac1{\sigma^2}$
正規分布 $N(\mu,v)$、$\mu$ 既知$v>0$$\dfrac{(x-\mu)^2-v}{2v^2}$$\dfrac1{2v^2}$

どれも 1 母数の指数型分布族を母数で書き直したものなので、正則条件を満たす(下の prop-fi-expfam と prop-fi-reparam)。

計算を開く

スコアは $\log f$ を母数で微分して得る。平均が $0$ なので、$I$ はスコアの分散である(prop-fi-mean)。Bernoulli 分布では $V[X]=p(1-p)$ より $I=p(1-p)/(p(1-p))^2$、Poisson 分布では $V[X]=\lambda$ より $I=\lambda/\lambda^2$、指数分布では $V[X]=1/\lambda^2$、$N(\mu,\sigma^2)$ では $V[X]=\sigma^2$ である。最後の行では $(X-\mu)^2/v$ が自由度 $1$ のカイ二乗分布に従い分散が $2$ なので(カイ二乗分布 の定理「積率母関数と積率」)、$V[(X-\mu)^2]=2v^2$、$I=2v^2/(4v^4)=1/(2v^2)$ である。


Bernoulli 分布では $p$ が $0$ や $1$ に近いほど $I(p)$ は大きい。成功の確率が極端なとき、1 回の観測が確率の値をよく教える。

指数型分布族の Fisher 情報量と Kullback–Leibler 情報量

自然母数 $\eta$ をもつ 1 母数の指数型分布族 $f(x;\eta)=h(x)\exp(\eta T(x)-A(\eta))$($\eta\in\mathcal N$、最尤推定 の定義「1 母数の指数型分布族と Fisher 情報量」の 1。$T(X)$ は定数でない)について、次が成り立つ。

  1. 族は正則条件を満たし、$I(\eta)=A''(\eta)=V_\eta[T(X)]>0$ である。
  2. $D(\eta_0\,\|\,\eta):=E_{\eta_0}\Bigl[\log\dfrac{f(X;\eta_0)}{f(X;\eta)}\Bigr]$ とおくと、$\eta\to\eta_0$ のとき
    $$ D(\eta_0\,\|\,\eta)=\tfrac12I(\eta_0)(\eta-\eta_0)^2+o\bigl((\eta-\eta_0)^2\bigr) $$
    である。

要点:スコアは $T(x)-A'(\eta)$ で、$D(\eta_0\,\|\,\eta)=A(\eta)-A(\eta_0)-A'(\eta_0)(\eta-\eta_0)$ である。

証明を開く

1:$h>0$ なので $S=\mathcal X$ で(R1)が成り立ち、(R2)は明らかである。最尤推定 の補題「キュムラント母関数の微分」により $A'(\eta)=E_\eta[T]$、$A''(\eta)=V_\eta[T]>0$ で、$E_\eta[T^2]< \infty$ である。$\partial f/\partial\eta=(T-A'(\eta))f$ は可積分で、$\int(T-A'(\eta))f\,d\mu=E_\eta[T]-A'(\eta)=0$ となって(R3)が成り立つ。スコアは $T(x)-A'(\eta)$ なので $I(\eta)=V_\eta[T]=A''(\eta)$ である。

2:$\log f(x;\eta_0)-\log f(x;\eta)=(\eta_0-\eta)T(x)-A(\eta_0)+A(\eta)$ の期待値をとると上の式が出る。$A$ は $\eta_0$ で 2 回微分可能なので、Peano の剰余項の Taylorの定理 により右辺は $\frac12A''(\eta_0)(\eta-\eta_0)^2+o((\eta-\eta_0)^2)$ に等しい。$\square$

$D(\eta_0\,\|\,\eta)$ は $P_{\eta_0}$ から $P_\eta$ への Kullback–Leibler 情報量で、最尤推定 の補題「情報不等式」によれば $0$ 以上で、$\eta=\eta_0$ でだけ $0$ になる。2 は、その最小点のまわりの曲がり具合が Fisher 情報量であることを示す。Fisher 情報量が大きいほど、近い母数の分布どうしも見分けやすい。

主定理:Cramér–Rao の不等式

統計量 $T$(可測関数 $T\colon\mathcal X\to\mathbb R$)は、すべての $\theta$ で $E_\theta[T]=g(\theta)$ となるとき、$g(\theta)$ の 不偏推定量 という。不偏推定量の分散は平均二乗誤差 $E_\theta[(T-g(\theta))^2]$ に等しく、推定の精度を表す。

Cramér–Rao の不等式

族は正則条件(R1)〜(R3)を満たすとし、$\theta\in\Theta$ で $0< I(\theta)< \infty$ とする。統計量 $T$ はすべての $\theta'\in\Theta$ で $E_{\theta'}[T^2]< \infty$ を満たし、$\psi(\theta'):=E_{\theta'}[T]$ は点 $\theta$ で微分可能で
$$ \psi'(\theta)=\int_ST(x)\frac{\partial f(x;\theta)}{\partial\theta}\,\mu(dx) $$
(右辺の被積分関数は可積分)を満たすとする。この条件を 条件 (C) という。このとき
$$ V_\theta[T]\ge\frac{\psi'(\theta)^2}{I(\theta)} $$
である。等号が成り立つのは、確率 $1$ で
$$ T(X)-\psi(\theta)=\frac{\psi'(\theta)}{I(\theta)}\,s(X;\theta) $$
となるとき、かつそのときに限る。

$s:=s(X;\theta)$ と書く。prop-fi-mean の 1 により $E_\theta[s]=0$、$E_\theta[s^2]=I(\theta)$ である。$S$ 上で $T\,\partial f/\partial\theta=Tsf$ なので、条件 (C) は $E_\theta[Ts]=\psi'(\theta)$ ということであり、$E_\theta[s]=0$ と合わせて
$$ E_\theta\bigl[(T-\psi(\theta))\,s\bigr]=E_\theta[Ts]-\psi(\theta)E_\theta[s]=\psi'(\theta) $$
である($T$ と $s$ は 2 乗可積分なので、積は可積分である)。$c:=\psi'(\theta)/I(\theta)$ とおくと
$$ 0\le E_\theta\bigl[(T-\psi(\theta)-cs)^2\bigr]=V_\theta[T]-2c\,\psi'(\theta)+c^2I(\theta)=V_\theta[T]-\frac{\psi'(\theta)^2}{I(\theta)} $$
である。よって不等式が成り立ち、等号は $E_\theta[(T-\psi(\theta)-cs)^2]=0$、すなわち確率 $1$ で $T-\psi(\theta)=cs$ のときに限る。$\square$

証明の中心は、$T-\psi(\theta)$ をスコア $s$ の定数倍で近似したときの誤差の 2 乗の期待値が $0$ 以上である、ということで、Cauchy–Schwarzの不等式 $\mathrm{Cov}_\theta(T,s)^2\le V_\theta[T]\,V_\theta[s]$ と同じ内容である(ER10 Theorem 8.1.6・Corollary 8.1.1、pp. 440–441)。条件 (C) は $\psi(\theta)=\int_STf\,d\mu$ を微分して積分記号の下に入れたもの、(R3)は同じことを $T=1$ について述べたものである。

不偏推定量の分散の下界

$X=(X_1,\dots,X_n)$ を独立にどれも $P_\theta$ に従う標本とし、1 個の観測の族は正則条件を満たし、$0< I(\theta)< \infty$ とする。$g$ を微分可能な関数とし、$T$ を $g(\theta)$ の不偏推定量で、同時密度 $f_n$ について thm-fi-cramer-rao の仮定(2 乗可積分と条件 (C))を満たすものとする。このとき
$$ V_\theta[T]\ge\frac{g'(\theta)^2}{nI(\theta)} $$
である。とくに $\theta$ 自身の不偏推定量の分散は $1/(nI(\theta))$ 以上である。

prop-fi-additive により同時密度の族も正則条件を満たし、$I_n(\theta)=nI(\theta)$ である。$\psi=g$ として thm-fi-cramer-rao を $f_n$ に当てればよい。$\square$

条件 (C) は、次のように支配関数があれば成り立つ。

微分と積分の交換の十分条件

(R1)(R2)を仮定し、$\theta_0\in\Theta$ とする。$(\theta_0-\delta,\theta_0+\delta)\subset\Theta$ となる $\delta>0$ と $S$ 上の可測関数 $G\ge0$ があって、$\lvert\theta-\theta_0\rvert< \delta$ のときすべての $x\in S$ で $\lvert\partial f(x;\theta)/\partial\theta\rvert\le G(x)$ であり、$\int_S(1+\lvert T\rvert)\,G\,d\mu< \infty$ とする。さらにすべての $\theta$ で $E_\theta[\lvert T\rvert]< \infty$ とする。このとき、点 $\theta_0$ で(R3)と条件 (C) が成り立つ。

証明を開く

$h\in\{1,T\}$ とし、$\Psi_h(\theta):=\int_Shf(\cdot\,;\theta)\,d\mu$ とおく(仮定により有限)。$0< \lvert t\rvert< \delta$ について、平均値の定理 により各 $x\in S$ で $\frac1t\bigl(f(x;\theta_0+t)-f(x;\theta_0)\bigr)=\frac{\partial f}{\partial\theta}(x;\xi)$ となる $\xi$ が $\theta_0$ と $\theta_0+t$ の間にあるので、$h$ を掛けた差分商の絶対値は $\lvert h\rvert G$ 以下である。$t\to0$ で差分商は $h\,\partial f(x;\theta_0)/\partial\theta$ に収束するので、優収束定理 により $\Psi_h$ は $\theta_0$ で微分可能で $\Psi_h'(\theta_0)=\int_Sh\,\partial f(\cdot\,;\theta_0)/\partial\theta\,d\mu$ である。$h=1$ では $\Psi_1\equiv1$ なので積分は $0$ で(R3)が、$h=T$ では $\Psi_T=\psi$ なので条件 (C) が出る。$\square$

下界を達成する例と達成しない例

有効推定量

cor-fi-unbiased の設定で、$g(\theta)$ の不偏推定量 $T$ がすべての $\theta$ で $V_\theta[T]=g'(\theta)^2/(nI(\theta))$ を満たすとき、$T$ を $g(\theta)$ の 有効推定量(efficient estimator)という。

標本平均は有効推定量
  1. Bernoulli 分布で $\bar X$ は $p$ の不偏推定量で、$V_p[\bar X]=p(1-p)/n=1/(nI(p))$ である。標本空間 $\{0,1\}^n$ は有限なので、どの統計量 $T$ についても $E_p[T]=\sum_xT(x)f_n(x;p)$ は $p$ の多項式で、項ごとに微分して条件 (C) が成り立つ。したがって $\bar X$ は $p$ のすべての不偏推定量の中で分散が最小である。
  2. 正規分布 $N(\mu,\sigma^2)$($\sigma^2$ 既知)で $\bar X$ は $\mu$ の不偏推定量で、$V_\mu[\bar X]=\sigma^2/n=1/(nI(\mu))$ であり、条件 (C) を満たす $\mu$ の不偏推定量の中で分散が最小である。
  3. Poisson 分布で $\bar X$ は $\lambda$ の不偏推定量で、$V_\lambda[\bar X]=\lambda/n=1/(nI(\lambda))$ である。
    等号条件の確かめ:Bernoulli 分布では $n$ 個の観測のスコアは $\sum_i(x_i-p)/(p(1-p))=n(\bar x-p)/(p(1-p))$ なので、$\bar X-p=\frac{1}{nI(p)}\cdot\frac{n(\bar X-p)}{p(1-p)}$ となり、thm-fi-cramer-rao の等号条件の形をしている。
    2・3 の条件 (C) を開く

    $n$ 個の観測のスコアを $s_n$ とすると、$\bar X$ と $s_n$ は 2 乗可積分である。2 では $s_n=n(\bar X-\mu)/\sigma^2$ なので $E_\mu[\bar Xs_n]=nV_\mu[\bar X]/\sigma^2=1$、3 では $s_n=n(\bar X-\lambda)/\lambda$ なので $E_\lambda[\bar Xs_n]=nV_\lambda[\bar X]/\lambda=1$ である。どちらも $\psi$(恒等写像)の導関数 $1$ に等しいので、条件 (C) が成り立つ。

下界はいつも達成されるわけではない。次の例(ER10 Example 8.1.6、p. 442)では、どの不偏推定量も下界に届かない。

Poisson 分布で $e^{-\lambda}$ を推定する

$X_1,\dots,X_n$ を独立に Poisson 分布 $\mathrm{Po}(\lambda)$($\lambda>0$)に従う標本とし、$g(\lambda):=e^{-\lambda}=P_\lambda(X_1=0)$ を推定する。下界は $g'(\lambda)^2/(nI(\lambda))=\lambda e^{-2\lambda}/n$ である。

  1. $E_\lambda[T^2]< \infty$(すべての $\lambda$)を満たす $g(\lambda)$ の不偏推定量 $T$ で、ある $\lambda$ で下界を達成するものはない。
  2. $T^*:=(1-\frac1n)^{n\bar X}$ は $g(\lambda)$ の不偏推定量で、$V_\lambda[T^*]=e^{-2\lambda}(e^{\lambda/n}-1)>\lambda e^{-2\lambda}/n$ である。
    確かめを開く

    1:まず条件 (C) を確かめる。$k:=x_1+\dots+x_n$、$x!:=\prod_ix_i!$ と書くと $f_n(x;\lambda)=e^{-n\lambda}\lambda^k/x!$、$\partial f_n/\partial\lambda=e^{-n\lambda}(k\lambda^{k-1}-n\lambda^k)/x!$ である。$\lambda_0>0$ と $0< \delta< \lambda_0$ をとり、$r:=\lambda_0+2\delta$ とおく。$k\bigl(\frac{\lambda_0+\delta}r\bigr)^{k-1}$ は $k$ について有界なので、定数 $C$ があって $\lvert\lambda-\lambda_0\rvert< \delta$ なら $\lvert\partial f_n/\partial\lambda\rvert\le Cr^k/x!=:G(x)$ である。$\sum_x(1+\lvert T(x)\rvert)G(x)=Ce^{nr}E_r[1+\lvert T\rvert]< \infty$ なので、prop-fi-dominated により条件 (C) が成り立つ。

    ある $\lambda$ で等号が成り立つとすると、$n$ 個の観測のスコアは $n(\bar x-\lambda)/\lambda$、$nI(\lambda)=n/\lambda$ なので、thm-fi-cramer-rao の等号条件から確率 $1$ で $T=e^{-\lambda}-e^{-\lambda}(\bar X-\lambda)=e^{-\lambda}(1+\lambda-\bar X)$ である。$\mathrm{Po}(\lambda)$ はすべての非負整数に正の確率をもつので、この等式はすべての $x$ で成り立つ。すると $E_{\lambda'}[T]=e^{-\lambda}(1+\lambda-\lambda')$ はすべての $\lambda'$ で $e^{-\lambda'}$ に等しくなければならないが、左辺は $\lambda'$ の 1 次式で右辺はそうでないので矛盾する。

    2:$K:=n\bar X$ は $\mathrm{Po}(n\lambda)$ に従い、$a$ を定数として $E[a^K]=e^{-n\lambda}\sum_k(n\lambda a)^k/k!=e^{n\lambda(a-1)}$ である。$a=1-\frac1n$ で $E[T^*]=e^{-\lambda}$、$a=(1-\frac1n)^2$ で $E[(T^*)^2]=e^{n\lambda((1-1/n)^2-1)}=e^{-2\lambda+\lambda/n}$ なので、$V[T^*]=e^{-2\lambda}(e^{\lambda/n}-1)$ である。$u>0$ で $e^u-1>u$ なので、これは下界より大きい。$\square$

1 により $T^*$ の分散も下界に届かないが、$V[T^*]$ と下界の比 $(e^{\lambda/n}-1)/(\lambda/n)$ は $n\to\infty$ で $1$ に近づく。
最尤推定量は一般には不偏でないが、1 母数の指数型分布族では漸近的に下界を達成する。最尤推定 の定理「指数型分布族の最尤推定量」によれば、自然母数の最尤推定量 $\hat\eta_n$ について $\sqrt n(\hat\eta_n-\eta_0)$ は正規分布 $N(0,1/I(\eta_0))$ に分布収束する。漸近分散 $1/I(\eta_0)$ は、$n$ 倍した下界 $n\cdot\frac{1}{nI(\eta_0)}$ と一致する。

多母数の場合

$\Theta$ を $\mathbb R^d$ の開集合とし、$\theta=(\theta_1,\dots,\theta_d)$ とする。(R1)と、各 $x\in S$ で $\theta\mapsto f(x;\theta)$ の偏導関数がすべて存在すること、各 $j$ で $\partial f/\partial\theta_j$ が $S$ 上で可積分で積分が $0$ であることを、多母数の正則条件とする。スコアは列ベクトル $s(x;\theta):=\nabla_\theta\log f(x;\theta)$ であり、
$$ I(\theta):=E_\theta\bigl[s(X;\theta)\,s(X;\theta)^{\mathsf T}\bigr] $$
(各成分が有限のとき)を Fisher 情報行列(Fisher information matrix)という。1 母数の場合と同じく $E_\theta[s]=0$ で、$I(\theta)$ はスコアの分散共分散行列である。文献によっては、$n$ 個の観測の対数尤度の 2 階導関数の行列に $-1$ を掛けたもの(観測情報量)の期待値として $I_n(\theta)$ を定め(prop-fi-mean の 2 と同じ条件のもとでは上の定義と一致する)、正則条件のもとで最尤推定量 $\hat\theta$ の分布が $N(\theta_0,I_n(\theta_0)^{-1})$ で近似される、という形で使う(ESL17 §8.2.2 の (8.14)〜(8.16)、p. 266。この記事では証明しない)。

多母数の Cramér–Rao の不等式

多母数の正則条件を仮定し、$\theta\in\Theta$ で $I(\theta)$ が有限で正定値行列とする。統計量 $T$ はすべての $\theta'$ で $E_{\theta'}[T^2]< \infty$ を満たし、$\psi(\theta'):=E_{\theta'}[T]$ は点 $\theta$ で各変数について偏微分可能で、$\partial_j\psi(\theta)=\int_ST\,\partial f(\cdot\,;\theta)/\partial\theta_j\,d\mu$($j=1,\dots,d$)とする。$\nabla\psi:=(\partial_1\psi(\theta),\dots,\partial_d\psi(\theta))^{\mathsf T}$ とおくと
$$ V_\theta[T]\ge\nabla\psi^{\mathsf T}\,I(\theta)^{-1}\,\nabla\psi $$
である。等号は、確率 $1$ で $T-\psi(\theta)=\nabla\psi^{\mathsf T}I(\theta)^{-1}s(X;\theta)$ となるときに限る。

1 母数の場合と同じく $E_\theta[s]=0$、$E_\theta[(T-\psi(\theta))s]=\nabla\psi$ である。$c:=I(\theta)^{-1}\nabla\psi$ とおくと、$I(\theta)$ は対称なので
$$ 0\le E_\theta\bigl[(T-\psi(\theta)-c^{\mathsf T}s)^2\bigr]=V_\theta[T]-2c^{\mathsf T}\nabla\psi+c^{\mathsf T}I(\theta)c=V_\theta[T]-\nabla\psi^{\mathsf T}I(\theta)^{-1}\nabla\psi $$
である。等号の条件も 1 母数の場合と同じである。$\square$

正規分布の平均と分散

$X_1,\dots,X_n$ を独立に $N(\mu,v)$ に従う標本とし、母数を $\theta=(\mu,v)$ とする。1 個の観測のスコアは $\bigl(\frac{x-\mu}v,\ \frac{(x-\mu)^2-v}{2v^2}\bigr)$ である。$\partial f/\partial\mu$、$\partial f/\partial v$ はそれぞれ $f$ にこの成分を掛けたもので、可積分で積分は $E[X-\mu]=0$、$E[(X-\mu)^2-v]=0$ に比例するので、多母数の正則条件が成り立つ。$E[(X-\mu)^3]=0$ より 2 つの成分は無相関である。各成分の分散は ex-fi-table の正規分布の 2 行と同じで、独立な $n$ 個の観測ではスコアの和の分散共分散行列が $n$ 倍になるので(prop-fi-additive と同じ計算)、
$$ I_n(\mu,v)=\begin{pmatrix}n/v&0\\0&n/(2v^2)\end{pmatrix} $$
である。$\psi(\mu,v)=v$ について thm-fi-multi の仮定を満たす不偏推定量の分散の下界は、$\nabla\psi=(0,1)^{\mathsf T}$ より $2v^2/n$ である。標本分散 $S^2:=\frac1{n-1}\sum_i(X_i-\bar X)^2$ は不偏で、$(n-1)S^2/v$ が自由度 $n-1$ のカイ二乗分布に従うので(t分布 の定理「Student の定理」の 2)、$V[S^2]=2v^2/(n-1)$ となり、下界より大きい。一方 $\mu$ が既知なら、$\frac1n\sum_i(X_i-\mu)^2$ の分散は $2v^2/n$ で下界に等しい。

反例:条件を外すと成り立たないこと

外す条件反例成り立たなくなること
(R1)密度が正となる範囲が $\theta$ によらないex-fi-uniform:一様分布 $U(0,\theta)$スコアの平均が $0$ でなく、分散が $\theta^2/n$ より小さい不偏推定量がある
$T$ が不偏である(cor-fi-unbiased)ex-fi-shrink:$N(\theta,1)$ で $T=\bar X/2$$\theta^2< 3/n$ では平均二乗誤差が $1/(nI)=1/n$ より小さい
反例:一様分布の右端

$X_1,\dots,X_n$ を独立に一様分布 $U(0,\theta)$($\theta>0$)に従う標本とする。$f(x;\theta)=\frac1\theta\mathbf 1_{[0,\theta]}(x)$ の正となる範囲は $\theta$ によって変わり、(R1)を満たさない。範囲の内側 $0< x< \theta$ では $\log f$ は $\theta$ について微分可能で $\frac{\partial}{\partial\theta}\log f(x;\theta)=-\frac1\theta$ なので、形式的に定義に当てた「情報量」は $1/\theta^2$、「下界」は $\theta^2/n$ である。しかし $E_\theta[-1/\theta]=-1/\theta\ne0$ で、(R3)の結論も成り立たない。
$M:=\max_iX_i$ とし、$T:=\frac{n+1}nM$ とおく。$T$ は $\theta$ の不偏推定量で
$$ V_\theta[T]=\frac{\theta^2}{n(n+2)}< \frac{\theta^2}{n} $$
である。分散は $1/n$ ではなく $1/n^2$ の速さで小さくなる。満たさない条件:(R1)。成り立たない結論:$V_\theta[T]\ge\theta^2/n$。

計算を開く

$0\le t\le\theta$ で $P(M\le t)=(t/\theta)^n$ なので、$M$ の密度は $nt^{n-1}/\theta^n$ である。$E[M]=\frac n{n+1}\theta$、$E[M^2]=\frac n{n+2}\theta^2$ より $E[T]=\theta$、$V[M]=\frac{n\theta^2}{n+2}-\frac{n^2\theta^2}{(n+1)^2}=\frac{n\theta^2}{(n+1)^2(n+2)}$、$V[T]=\frac{(n+1)^2}{n^2}V[M]=\frac{\theta^2}{n(n+2)}$ である。

反例:偏りのある推定量

$X_1,\dots,X_n$ を独立に $N(\theta,1)$ に従う標本とし、$T:=\bar X/2$ とおく。$I(\theta)=1$ で、$\theta$ の不偏推定量の分散の下界は $1/n$ である。$T$ の平均二乗誤差は
$$ E_\theta\bigl[(T-\theta)^2\bigr]=V_\theta[T]+\bigl(E_\theta[T]-\theta\bigr)^2=\frac1{4n}+\frac{\theta^2}4 $$
で、$\theta^2< 3/n$ なら $1/n$ より小さい。満たさない条件:$T$ が $\theta$ の不偏推定量であること($E_\theta[T]=\theta/2$)。成り立たない結論:平均二乗誤差が $1/(nI(\theta))$ 以上であること。なお $\psi(\theta)=\theta/2$ として thm-fi-cramer-rao を当てると下界は $(1/2)^2/n=1/(4n)=V_\theta[T]$ で、$T$ は等号を達成している。下界は、推定量の平均の関数 $\psi$ を固定したときの分散についての主張である。

関連項目

参考文献

[2]
Michael J. Evans; Jeffrey S. Rosenthal, Probability and Statistics: The Science of Uncertainty, 2nd ed., W. H. Freeman, 2010, §6.5(Definition 6.5.2・Theorem 6.5.1、p. 365、Corollary 6.5.1、p. 366)、§8.1.3(Theorem 8.1.6・Corollary 8.1.1、pp. 440–441、Example 8.1.6、p. 442)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する