点推定

同義語:point estimation

概要

点推定(point estimation)とは、データから統計モデルの未知の母数の値を 1 つの数で見積もる計算である。標本積率と理論の積率を等しいとおく積率法、尤度を最大にする最尤法、事前分布のもとで事後平均をとる Bayes 推定が代表的な方法で、よさは偏り、平均二乗誤差、一致性、漸近分散で比べる。推定値の誤差はデルタ法などから標準誤差 $\sqrt{v(\hat\theta)/n}$ として求め、閉じた式で書けない推定値は Newton 法などの反復で求める。実験データや故障データからの母数の見積もりに使う。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 統計学, 期待値, 分散, 最尤推定

部品 5 個の寿命(時間)が $120,80,200,50,150$ だった。寿命が率 $\lambda$ の指数分布に従うとして、故障率 $\lambda$ を 1 つの数で答えるとき、最尤法なら $5/600\approx0.00833$、不偏にするなら $4/600\approx0.00667$、$c/\sum_ix_i$ の形の推定量のうち平均二乗誤差が最小のものなら $3/600=0.005$ である。どれも同じデータから正しい手続きで出した値で、違うのは「何を目標にしたか」である。
点推定(point estimation)は、データから未知の母数の値を 1 つの数で見積もる計算である。計算で問われることは 3 つある。どの式を使うか。その値の誤差はどのくらいか。条件が満たされなかったらどうなるか。この記事は、積率法・最尤法・Bayes 推定を公式の表にまとめ、誤差の見積もりの道具であるデルタ法と積率法の漸近正規性を証明し、1 変数の方程式の解として与えられるガンマ分布の最尤推定について、解がただ 1 つあることと Newton 法が必ず収束する初期値を証明する。
個々の性質の理論は、それぞれの記事が持つ。

語持っている記事
不偏性、平均二乗誤差の分解、標本分散の $n-1$不偏推定量
十分統計量と因子分解十分統計量
条件付き期待値による推定量の改良Rao–Blackwellの定理
最尤推定量の一致性・漸近正規性最尤推定
推定量の分散の下界Fisher情報量
Bayes 推定量と事後平均Bayes統計

定義と使える条件

統計モデル とは、データ $X$ の分布の候補の族 $\{P_\theta\}_{\theta\in\Theta}$ である。$\theta$ を 母数 といい、$P_\theta$ での期待値・分散を $E_\theta$、$\mathrm{Var}_\theta$ と書く。多くの場合 $X=(X_1,\dots,X_n)$ は独立に同じ分布に従う標本で、$n$ を 標本の大きさ という。

点推定

$\tau\colon\Theta\to\mathbb R^l$ を母数の関数とする。データの可測関数 $\delta$ を $\tau(\theta)$ の 推定量、観測値 $x$ での値 $\delta(x)$ を 推定値 という。観測値から $\tau(\theta)$ の値を推定値という 1 点で見積もることを 点推定 という。

区間で答える方法は 信頼区間 と Bayes統計 の信用区間である。推定値には誤差がつきまとうので、点推定の答えは「推定値と標準誤差の組」で書くのが基本である。

推定量のよさの尺度

$l=1$ とし、$\delta_n$ を標本の大きさ $n$ の推定量とする。

  1. $b_\theta(\delta_n):=E_\theta[\delta_n]-\tau(\theta)$ を 偏り、$\mathrm{MSE}_\theta(\delta_n):=E_\theta[(\delta_n-\tau(\theta))^2]$ を 平均二乗誤差 という。
  2. すべての $\theta$ で $\delta_n$ が $\tau(\theta)$ に確率収束するとき 一致推定量、概収束するとき 強一致推定量 という。
  3. すべての $\theta$ で $\sqrt n(\delta_n-\tau(\theta))$ の分布が $N(0,v(\theta))$ に収束するとき、$\delta_n$ は 漸近正規 であるといい、$v(\theta)$ を 漸近分散 という。漸近分散 $v_1,v_2$ の 2 つの推定量について、$v_1/v_2$ を、推定量 2 の推定量 1 に対する 漸近相対効率 という。
  4. 推定量の標準偏差を推定した値を 標準誤差 という。漸近正規なら、$\sqrt{v(\hat\theta)/n}$ が標準誤差である($\hat\theta$ は $\theta$ の推定値)。

平均二乗誤差は、分散と偏りの 2 乗の和に分かれる(不偏推定量 の命題「平均二乗誤差の分解」)。漸近相対効率 $e$ は、推定量 1 で標本 $n$ 個が達する精度に、推定量 2 では $n/e$ 個ほど要るという目安である。
公式を使ってよい条件は次のとおりである。

  • (識別可能性) $\theta\ne\theta'$ なら $P_\theta\ne P_{\theta'}$。これがないと、無限のデータでも $\theta$ は決まらない。
  • (独立同分布) 積率法の定理と、尤度を積に分ける計算は、標本の独立同分布を使う。
  • (積率の有限性) 積率法には、使う次数の積率が有限であることが要る。漸近正規性にはその 2 倍の次数まで要る。
  • (なめらかさ) デルタ法には、推定対象が真の値で微分可能であることが要る。$\sqrt n$ の尺度の誤差として使うには、勾配が $0$ でないことも要る。
  • (尤度の正則性) 最尤推定量の漸近正規性には、分布の台が $\theta$ によらないことなどが要る(最尤推定 の注意「一般のモデルでの漸近正規性」)。

3 つの方法

積率法

$X_1,\dots,X_n$ を独立同分布の標本、$\Theta\subset\mathbb R^k$ とし、$m_j(\theta):=E_\theta[X_1^j]$($j=1,\dots,k$)が有限であるとする。標本積率 を $M_{n,j}:=\frac1n\sum_iX_i^j$ とおく。連立方程式 $m_j(\theta)=M_{n,j}$($j=1,\dots,k$)の解 $\tilde\theta_n$ を 積率法(method of moments)による推定量という。

最尤法は対数尤度 $\ell(\theta)=\sum_i\log f(x_i;\theta)$ を最大にする $\hat\theta$ をとる(最尤推定 の定義「尤度と最尤推定」)。Bayes 推定は $\theta$ に事前分布をおき、2 乗損失では事後平均をとる(Bayes統計 の定理「2 乗損失と事後平均」)。

積率法最尤法Bayes 推定(事後平均)
要るもの積率の式密度の式密度の式と事前分布
計算連立方程式。閉じた形になりやすい最適化。数値計算になることが多い積分。共役なら閉じた形
データの使い方標本積率だけ尤度を通して、十分統計量だけ尤度を通して、十分統計量だけ
大きな標本一致。効率は最尤法より悪いことがある正則なら一致で、漸近的に下界を達成する正則なら最尤法に近づく
小さな標本モデルの外の値が出ることがある偏りが出ることがある事前分布の影響が残るが、$0$ などの端を避ける
よく使う場面最尤法の初期値、手早い見積もり標準の方法標本が少ない、または事前の情報がある場合

「尤度を通して十分統計量だけ」は、十分統計量 の定理「因子分解定理(可算の場合)」と「密度の因子分解から十分性へ」で、尤度が $g(T(x),\theta)h(x)$ の形に分かれることによる。「正則なら最尤法に近づく」は、大きな標本で事後分布が事後最頻値のまわりの正規分布で近似されることによる(ER10 §7.3.1、p. 407。この記事では証明しない)。

公式の表

以下、標本 $x_1,\dots,x_n$ について $\bar x:=\frac1n\sum_ix_i$、$V:=\frac1n\sum_i(x_i-\bar x)^2$、$x_{(n)}:=\max_ix_i$ とおく。$V$ は $n$ で割る標本分散である。

分布(母数の範囲)積率法最尤法偏りなどの注意根拠
Bernoulli分布($0< p< 1$)$\bar x$$\bar x$不偏。分散 $\frac{p(1-p)}n$。$\bar x=0,1$ では開区間の中に最大点がない最尤推定
Poisson分布($\lambda>0$)$\bar x$$\bar x$不偏。分散 $\frac\lambda n$。$\bar x=0$ では同上最尤推定
指数分布(率 $\lambda>0$)$1/\bar x$$1/\bar x$$n\ge2$ で期待値 $\frac{n\lambda}{n-1}$。不偏にするには $\frac{n-1}{n\bar x}$ex-pe-table
幾何分布($P(X=k)=p(1-p)^{k-1}$、$k\ge1$)$1/\bar x$$1/\bar x$$\bar x=1$ で $\hat p=1$ex-pe-table
正規分布($\mu\in\mathbb R$、$\sigma^2>0$)$\bar x,\ V$$\bar x,\ V$$E[V]=\frac{n-1}n\sigma^2$最尤推定
一様分布 $[0,\theta]$$2\bar x$$x_{(n)}$$E[X_{(n)}]=\frac{n\theta}{n+1}$。$2\bar x< x_{(n)}$ もありうる最尤推定、ex-pe-counterexamples
ガンマ分布(形 $\alpha$、率 $\beta$)$\frac{\bar x^2}V,\ \frac{\bar x}V$$h(\hat\alpha)=s$ の解、$\hat\beta=\frac{\hat\alpha}{\bar x}$$V>0$ が要る。$h,s$ は prop-pe-gamma-mleex-pe-table、prop-pe-gamma-mle
ベータ分布($a,b>0$)$\bar xt,\ (1-\bar x)t$($t=\frac{\bar x(1-\bar x)}V-1$)数値計算で解くデータが $(0,1)$ にあり $V>0$ なら $t>0$ex-pe-table

事前分布が共役なときの事後平均は次のとおりである。$s:=\sum_ix_i$ とおき、ガンマ分布 は形 $a$、率 $b$ で表す。

観測の分布事前分布事後分布事後平均根拠
Bernoulli 分布$\mathrm{Beta}(a,b)$$\mathrm{Beta}(a+s,\,b+n-s)$$\frac{a+s}{a+b+n}$ベータ分布
Poisson分布ガンマ分布 $(a,b)$ガンマ分布 $(a+s,\,b+n)$$\frac{a+s}{b+n}$ex-pe-table
指数分布ガンマ分布 $(a,b)$ガンマ分布 $(a+n,\,b+s)$$\frac{a+n}{b+s}$ex-pe-table
$N(\mu,\sigma^2)$($\sigma^2$ は既知)$N(m,t^2)$正規分布$\frac{m/t^2+n\bar x/\sigma^2}{1/t^2+n/\sigma^2}$Bayes統計
表の行の導出

表の行のうち、ほかの記事の例に載っていないものの導出である。

指数分布・幾何分布の行を開く

指数分布の対数尤度は $n\log\lambda-\lambda n\bar x$ で、微分して $0$ とおくと $\hat\lambda=1/\bar x$ である。平均 $1/\lambda$ を標本平均と等しいとおいても同じである。$S=\sum_iX_i$ は形 $n$、率 $\lambda$ のガンマ分布に従うので、$n\ge2$ で $E[1/S]=\lambda/(n-1)$、$n\ge3$ で $E[1/S^2]=\lambda^2/((n-1)(n-2))$ である。幾何分布の対数尤度は $n\log p+n(\bar x-1)\log(1-p)$ で、$\bar x>1$ なら $\hat p=1/\bar x$ である。$\bar x=1$ では尤度 $p^n$ が $p=1$ で最大になる。平均は $1/p$ である。


ガンマ分布・ベータ分布の積率法の行を開く

ガンマ分布の平均は $\alpha/\beta$、分散は $\alpha/\beta^2$ である。$\bar x=\alpha/\beta$、$V=\alpha/\beta^2$ を解くと $\beta=\bar x/V$、$\alpha=\bar x^2/V$ である。ベータ分布の平均は $\frac a{a+b}$、分散は $\frac{ab}{(a+b)^2(a+b+1)}$ で、$u=\frac a{a+b}$ とおくと分散は $\frac{u(1-u)}{a+b+1}$ である。よって $a+b=\frac{\bar x(1-\bar x)}V-1=t$、$a=\bar xt$、$b=(1-\bar x)t$ である。データが $(0,1)$ にあれば $x_i^2< x_i$ から $V+\bar x^2=\frac1n\sum_ix_i^2<\bar x$、すなわち $V<\bar x(1-\bar x)$ なので、$V>0$ のとき $t>0$ である。


共役の行を開く

Poisson 分布:事前密度と尤度の積は $\lambda$ の関数として $\lambda^{a-1}e^{-b\lambda}\cdot\lambda^se^{-n\lambda}$ に比例するので、事後分布は形 $a+s$、率 $b+n$ のガンマ分布で、平均は $\frac{a+s}{b+n}$ である。指数分布:同じく $\lambda^{a-1}e^{-b\lambda}\cdot\lambda^ne^{-s\lambda}$ に比例するので、形 $a+n$、率 $b+s$ である。

主定理と証明

デルタ法

推定量の誤差は、計算しやすい統計量の誤差を、微分で写して求める。

デルタ法

$T_n$ を $\mathbb R^k$ に値をとる確率変数の列、$\theta_0\in\mathbb R^k$ とし、$\sqrt n(T_n-\theta_0)$ の分布が $N_k(0,W)$ に収束するとする。$\tau$ は $\theta_0$ の近傍を含む集合の上の $\mathbb R^l$ 値の可測関数で、$\theta_0$ で微分可能とし、その Jacobi 行列を $D$ とする($\tau$ の定義域の外での $\tau(T_n)$ の値は任意の可測な値でよい)。このとき
$$ \sqrt n\bigl(\tau(T_n)-\tau(\theta_0)\bigr)\ \text{の分布は}\ N_l(0,\,DWD^{\top})\ \text{に収束する。} $$

1 次近似の残りが確率 0 に収束することを示す

$Z_n:=\sqrt n(T_n-\theta_0)$、$Z\sim N_k(0,W)$ とする。$Z_n$ の分布の収束から、各成分は分布収束する。各成分に 確率変数の収束 の補題「分布収束する列の緊密性」を使うと、任意の $\varepsilon>0$ に $K>0$ があって、十分大きい $n$ で $P(\lvert Z_n\rvert>K)\le\varepsilon$ である。とくに任意の $\eta>0$ について、$\sqrt n\,\eta>K$ となる $n$ では $P(\lvert T_n-\theta_0\rvert\ge\eta)\le P(\lvert Z_n\rvert>K)\le\varepsilon$ なので、$T_n$ は $\theta_0$ に確率収束する。
$R_n:=\sqrt n(\tau(T_n)-\tau(\theta_0))-DZ_n$ とおく。$\varepsilon'>0$ と $\varepsilon>0$ を任意にとり、$\varepsilon$ に対する上の $K$ をとって、$\delta:=\varepsilon'/K$ とおく。微分可能性から $\eta>0$ があって、$\lvert h\rvert< \eta$ なら $\theta_0+h$ は定義域に入り、$\lvert\tau(\theta_0+h)-\tau(\theta_0)-Dh\rvert\le\delta\lvert h\rvert$ である。$h=T_n-\theta_0$ として $\sqrt n$ を掛けると、$\lvert T_n-\theta_0\rvert< \eta$ の上で $\lvert R_n\rvert\le\delta\lvert Z_n\rvert$ である。したがって
$$ P(\lvert R_n\rvert>\varepsilon')\le P(\lvert T_n-\theta_0\rvert\ge\eta)+P(\lvert Z_n\rvert>K) $$
であり、右辺の上極限は $\varepsilon$ 以下である。$\varepsilon$ は任意なので、$P(\lvert R_n\rvert>\varepsilon')\to0$ である。すなわち $R_n$ は $0$ に確率収束する。
$t\in\mathbb R^l$ とする。$\sqrt n\,t\cdot(\tau(T_n)-\tau(\theta_0))=(D^{\top}t)\cdot Z_n+t\cdot R_n$ である。第 1 項の分布は $(D^{\top}t)\cdot Z\sim N(0,t^{\top}DWD^{\top}t)$ に収束し、第 2 項は $0$ に確率収束するので、確率変数の収束 の定理「Slutskyの定理」により和の分布も同じ極限に収束する。すべての $t$ で 1 次結合の分布が収束するので、Cramér–Wold の方法(Dur19 Theorem 3.10.6、p. 200)によりベクトルの分布が $N_l(0,DWD^{\top})$ に収束する。$\square$

$\tau$ が実数値で $T_n$ が 1 次元なら、漸近分散は $\tau'(\theta_0)^2W$ である。$\tau'(\theta_0)=0$ のとき定理の結論は「極限は $0$」としか言っておらず、$\sqrt n$ の速さの誤差の大きさとしては使えない(ex-pe-counterexamples の「勾配」の項)。

積率法の一致性と漸近正規性

積率法の一致性と漸近正規性

$\Theta\subset\mathbb R^k$ を開集合、$\theta_0\in\Theta$、$X_1,X_2,\dots$ を $P_{\theta_0}$ に従う独立同分布の列とする。すべての $\theta\in\Theta$ で $E_\theta\lvert X_1\rvert^k< \infty$ であり、$m=(m_1,\dots,m_k)\colon\Theta\to\mathbb R^k$ は単射かつ $C^1$ 級で、$\theta_0$ での Jacobi 行列 $J$ は正則であるとする。$M_n=(M_{n,1},\dots,M_{n,k})$ とし、$M_n\in m(\Theta)$ のとき $\tilde\theta_n:=m^{-1}(M_n)$、それ以外では $\tilde\theta_n$ を $\Theta$ の固定した 1 点とする。

  1. 確率 $1$ で、十分大きいすべての $n$ について $M_n\in m(\Theta)$ であり、$\tilde\theta_n\to\theta_0$ である。
  2. さらに $E_{\theta_0}[X_1^{2k}]< \infty$ なら、$\Sigma:=(m_{i+j}-m_im_j)_{1\le i,j\le k}$(積率はすべて $\theta_0$ での値で、$m_{i+j}:=E_{\theta_0}[X_1^{i+j}]$)とおくとき、
    $$ \sqrt n(\tilde\theta_n-\theta_0)\ \text{の分布は}\ N_k\bigl(0,\,J^{-1}\Sigma J^{-\top}\bigr)\ \text{に収束する。} $$
大数の法則・中心極限定理・逆関数定理

逆関数定理により、$\theta_0$ の開近傍 $U\subset\Theta$ があって、$m$ は $U$ から $m(\theta_0)$ の開近傍 $B$ への $C^1$ 級の微分同相である。その逆写像を $g\colon B\to U$ とする。$m$ は $\Theta$ 全体で単射なので、$B$ の上で $m^{-1}=g$ である。$g$ は $m(\theta_0)$ で微分可能で、Jacobi 行列は $J^{-1}$ である。
1:大数の強法則 を各成分に使うと、確率 $1$ で $M_n\to m(\theta_0)$ である。よって確率 $1$ で十分大きい $n$ について $M_n\in B\subset m(\Theta)$、$\tilde\theta_n=g(M_n)$ であり、$g$ の連続性から $\tilde\theta_n\to g(m(\theta_0))=\theta_0$ である。
2:$\xi_i:=(X_i,X_i^2,\dots,X_i^k)$ は独立同分布で、平均 $m(\theta_0)$、共分散行列 $\Sigma$ をもつ。多次元の中心極限定理(Dur19 Theorem 3.10.7、p. 200)により、$\sqrt n(M_n-m(\theta_0))$ の分布は $N_k(0,\Sigma)$ に収束する。thm-pe-delta を、$T_n=M_n$、基点を $m(\theta_0)$、$\tau=g$、$D=J^{-1}$ として使うと、$\sqrt n(\tau(M_n)-\theta_0)$ の分布は $N_k(0,J^{-1}\Sigma J^{-\top})$ に収束する。1 により確率 $1$ で十分大きい $n$ では $\tau(M_n)=\tilde\theta_n$ なので、$\tilde\theta_n$ についても同じである。$\square$

$\tau(\theta)$ を推定するときは $\tau(\tilde\theta_n)$ とおけばよい。thm-pe-delta をもう一度使うと、$\tau$ が実数値で $\theta_0$ で微分可能なら、漸近分散は $\nabla\tau^{\top}J^{-1}\Sigma J^{-\top}\nabla\tau$ である。この形の推定量は 代入推定量 ともいう。

ガンマ分布の最尤推定

積率法と違い、ガンマ分布の形の母数の最尤推定値は方程式の解として与えられる。手順が正しい答えを出すことを、解の存在と一意性から Newton 法の収束まで示す。
$\psi:=\Gamma'/\Gamma$ を digamma 関数といい(Γ関数 の命題「対数微分の級数表示」)、$h(\alpha):=\log\alpha-\psi(\alpha)$($\alpha>0$)とおく。

関数 h の性質

$h$ は $(0,\infty)$ で狭義減少かつ狭義凸であり、$h(\alpha)>\frac1{2\alpha}$、$\lim_{\alpha\to0+}h(\alpha)=\infty$、$\lim_{\alpha\to\infty}h(\alpha)=0$ である。

級数と積分の比較

Γ関数 の命題「対数微分の級数表示」の級数は広義一様に項別微分できて、$\psi'(\alpha)=\sum_{k\ge0}(\alpha+k)^{-2}$、$\psi''(\alpha)=-2\sum_{k\ge0}(\alpha+k)^{-3}$ である。$t^{-2}$、$t^{-3}$ は狭義減少なので、和は積分より大きい。
$$ \psi'(\alpha)>\int_\alpha^\infty\frac{dt}{t^2}=\frac1\alpha,\qquad\sum_{k\ge0}\frac1{(\alpha+k)^3}>\int_\alpha^\infty\frac{dt}{t^3}=\frac1{2\alpha^2}. $$
よって $h'(\alpha)=\frac1\alpha-\psi'(\alpha)< 0$、$h''(\alpha)=-\frac1{\alpha^2}+2\sum_{k\ge0}(\alpha+k)^{-3}>0$ である。
$\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$ から、$\alpha>0$ で $\int_\alpha^{\alpha+1}\psi(t)\,dt=\log\Gamma(\alpha+1)-\log\Gamma(\alpha)=\log\alpha$ である。$\psi$ は増加なので、$\alpha>1$ で
$$ \log(\alpha-1)=\int_{\alpha-1}^\alpha\psi(t)\,dt\le\psi(\alpha)\le\int_\alpha^{\alpha+1}\psi(t)\,dt=\log\alpha $$
である。よって $0\le h(\alpha)\le\log\frac\alpha{\alpha-1}\to0$($\alpha\to\infty$)である。
$\varphi(\alpha):=h(\alpha)-\frac1{2\alpha}$ とおく。$\psi(\alpha+1)=\psi(\alpha)+\frac1\alpha$ を使うと
$$ \varphi(\alpha)-\varphi(\alpha+1)=\frac12\Bigl(\frac1\alpha+\frac1{\alpha+1}\Bigr)-\int_\alpha^{\alpha+1}\frac{dt}t>0 $$
である。最後の不等号は、狭義凸関数 $1/t$ の積分が台形の面積より小さいことによる。$\varphi(\alpha)\to0$($\alpha\to\infty$)なので、$\varphi(\alpha)=\sum_{k\ge0}\bigl(\varphi(\alpha+k)-\varphi(\alpha+k+1)\bigr)>0$ である。とくに $\alpha\to0+$ で $h(\alpha)\to\infty$ である。$\square$

ガンマ分布の最尤推定値の存在と一意性

$x_1,\dots,x_n>0$ はすべてが等しくはないとし、$s:=\log\bar x-\frac1n\sum_i\log x_i$ とおく。このとき $s>0$ であり、ガンマ分布(密度 $\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}$)の尤度は $(0,\infty)^2$ でただ 1 点 $(\hat\alpha,\hat\beta)$ で最大になる。$\hat\alpha$ は方程式 $h(\alpha)=s$ のただ 1 つの解で、$\hat\beta=\hat\alpha/\bar x$ である。

$\beta$ を消して 1 変数の方程式にする

$\log$ の狭義凹性(Jensenの不等式)から $s>0$ である。$\bar l:=\frac1n\sum_i\log x_i$ とおくと、対数尤度は
$$ \frac{\ell(\alpha,\beta)}n=\alpha\log\beta-\log\Gamma(\alpha)+(\alpha-1)\bar l-\beta\bar x $$
である。$\alpha$ を固定すると、これは $\beta$ の狭義凹関数で、$\beta=\alpha/\bar x$ でただ 1 つの最大をとる。代入した関数を $p(\alpha)$ とすると
$$ p(\alpha)=\alpha\log\alpha-\alpha\log\bar x-\log\Gamma(\alpha)+(\alpha-1)\bar l-\alpha,\qquad p'(\alpha)=\log\alpha-\psi(\alpha)-\log\bar x+\bar l=h(\alpha)-s $$
である。lem-pe-h により $h$ は $\infty$ から $0$ へ狭義に減少するので、$s>0$ なら $h(\alpha)=s$ の解 $\hat\alpha$ がただ 1 つあり、$p$ は $\alpha< \hat\alpha$ で増加、$\alpha>\hat\alpha$ で減少する。よって $(\hat\alpha,\hat\alpha/\bar x)$ が唯一の最大点である。$\square$

Newton 法の単調な収束

prop-pe-gamma-mle の状況で、$\alpha_0:=\frac1{2s}$、$\alpha_{j+1}:=\alpha_j-\frac{h(\alpha_j)-s}{h'(\alpha_j)}$ とおく。ここで $h'(\alpha)=\frac1\alpha-\psi'(\alpha)$ である。このとき $(\alpha_j)$ は狭義増加で $\hat\alpha$ に収束する。

凸関数の接線は根の手前で軸と交わる

$f:=h-s$ は狭義減少・狭義凸で、$f(\hat\alpha)=0$ である。lem-pe-h から $h(\alpha_0)>\frac1{2\alpha_0}=s$ なので $f(\alpha_0)>0$、すなわち $\alpha_0< \hat\alpha$ である。
$\alpha_j< \hat\alpha$ と仮定する。$f(\alpha_j)>0$、$f'(\alpha_j)< 0$ なので $\alpha_{j+1}>\alpha_j$ である。狭義凸性から、$\alpha_{j+1}\ne\alpha_j$ で $f$ のグラフは接線より上にあり、$f(\alpha_{j+1})>f(\alpha_j)+f'(\alpha_j)(\alpha_{j+1}-\alpha_j)=0$ である。よって $\alpha_{j+1}< \hat\alpha$ である。
列は上に有界な増加列なので極限 $\alpha_*\in(0,\hat\alpha]$ をもつ。漸化式で $j\to\infty$ とすると、$f,f'$ の連続性と $f'(\alpha_*)\ne0$ から $f(\alpha_*)=0$ であり、$\alpha_*=\hat\alpha$ である。$\square$

$\alpha_0$ を根より大きくとると、接線が $0$ より左で軸と交わり、反復が定義域の外へ出ることがある(ex-pe-gamma の末尾)。根の近くでの収束が 2 次であることは、Newton法 の定理「局所収束と2次収束」による($h$ はなめらかで $h'(\hat\alpha)\ne0$ である)。

リスクが一定の Bayes 推定量

事前分布に依存しない目標として、最悪の場合の平均二乗誤差を最小にする推定量を minimax 推定量 という。

リスクが一定の Bayes 推定量は minimax

事前分布 $\Pi$ に関する 2 乗損失の Bayes 推定量 $\delta^*$ があって、平均二乗誤差 $R(\theta,\delta^*)=\mathrm{MSE}_\theta(\delta^*)$ が $\theta$ によらない定数 $c$ であるとする。このとき、どの推定量 $\delta$ についても $\sup_\theta R(\theta,\delta)\ge c$ である。

上限は平均以上

Bayes リスクを $r(\delta):=\int R(\theta,\delta)\,\Pi(d\theta)$ とおくと、$\sup_\theta R(\theta,\delta)\ge r(\delta)\ge r(\delta^*)=c$ である。第 2 の不等号は Bayes 推定量の定義である(Bayes統計 の定義「Bayes 推定量」)。$\square$

計算の手順

  1. モデルを書く。 データの分布の族、母数の範囲、推定対象 $\tau(\theta)$ を決める。標本が独立同分布かどうかを確かめる。
  2. 積率法で初期値を作る。 def-pe-moments の連立方程式を解く。解がモデルの外なら、モデルか方法を見直す。
  3. 最尤法で仕上げる。 表にあれば閉じた形を使う。なければ、$\ell'(\theta)=0$ を手順 2 の値から Newton 法 $\theta_{j+1}=\theta_j-\ell''(\theta_j)^{-1}\ell'(\theta_j)$ で解く。$-\ell''$ を Fisher情報量 の $nI(\theta)$ で置き換えたものを Fisher のスコア法 という。
  4. 止める。 $\lvert\theta_{j+1}-\theta_j\rvert\le10^{-8}(1+\lvert\theta_j\rvert)$ と $\lvert\ell'(\theta_{j+1})\rvert\le10^{-8}n$ の両方が成り立ったら止める。反復の上限を $100$ 回とする。
  5. 失敗を検出する。 値が母数の範囲を出る、$\ell$ が減る、上限に達するときは、刻みを半分にするか、別の初期値から解き直す。尤度が多峰なら複数の初期値を比べる(ex-pe-counterexamples の「尤度が 1 山」の項)。
  6. 誤差を添える。 漸近分散 $v$ を thm-pe-moments か Fisher情報量 で求め、推定値を代入して標準誤差 $\sqrt{v(\hat\theta)/n}$ を書く。関数 $\tau(\hat\theta)$ なら thm-pe-delta を使う。
  7. 小さい標本では偏りを確かめる。 表の偏りの式で補正するか、平均二乗誤差で比べる。
    方法の選び方は次のとおりである。
    場合やること理由
    平均・分散だけが問題で、分布の形を仮定しない$\bar x$、$\frac{n}{n-1}V$積率が有限なら成り立つ(不偏推定量 の定理「$n-1$ で割る標本分散の不偏性」)
    分布の形が確かで標本が多い最尤法漸近的に効率がよい
    標本が少なく、観測回数 $0$ などの端が出る事後平均値が端に張りつかない
    不偏な推定量があり、十分統計量が分かる条件付き期待値で改良するRao–Blackwellの定理 の定理「Rao–Blackwell の定理(2 乗の誤差)」
    裾が重く平均がないかもしれない中央値など順序統計量を使うCauchy分布 の例「中央値による位置の推定」

例題

指数分布の故障率

導入の寿命 $120,80,200,50,150$($n=5$、$\sum_ix_i=600$)。
使う公式:表の指数分布の行、ex-pe-table の $E[1/S]$、$E[1/S^2]$。
答え:$c/S$ の形の推定量の相対的な平均二乗誤差は、次のとおりである。

推定量推定値偏り$/\lambda$$\mathrm{MSE}/\lambda^2$
最尤法 $5/S$$0.00833$$0.25$$0.5833$
不偏 $4/S$$0.00667$$0$$0.3333$
$3/S$$0.00500$$-0.25$$0.25$
途中の計算を開く

$n\ge3$ で $\mathrm{MSE}_\lambda(c/S)=\lambda^2\bigl(\frac{c^2}{(n-1)(n-2)}-\frac{2c}{n-1}+1\bigr)$ である。$c$ の 2 次関数として $c=n-2$ で最小になり、最小値は $\frac{\lambda^2}{n-1}$ である。$c=n$ では $\frac{(n+2)\lambda^2}{(n-1)(n-2)}$、$c=n-1$ では $\frac{\lambda^2}{n-2}$ である。$n=5$ を代入すると表の値になる。

平均寿命 $1/\lambda$ の推定値は $\bar x=120$ で、これは不偏である。$1/\bar x$ が故障率の不偏推定量でないのは、期待値が逆数と交換できないからである。

観測が 0 になる確率

Poisson 分布 $(\lambda=1)$ の標本 $n=20$ で $\tau(\lambda)=e^{-\lambda}\approx0.36788$ を推定する。3 つの推定量を比べる。
使う公式:thm-pe-delta($\tau'(\lambda)=-e^{-\lambda}$)、$S=\sum_iX_i$ が Poisson 分布 $(n\lambda)$ に従うこと。
答え:

推定量平均分散漸近分散 $/n$
代入 $e^{-\bar X}$$0.37704$$0.00693$$\lambda e^{-2\lambda}/n\approx0.00677$
$0$ の割合 $\frac1n\#\{i:X_i=0\}$$0.36788$$0.01163$$e^{-\lambda}(1-e^{-\lambda})/n\approx0.01163$
Rao–Blackwell 化 $(1-\frac1n)^{S}$$0.36788$$0.00694$$\lambda e^{-2\lambda}/n\approx0.00677$

$0$ の割合に対する代入推定量の漸近相対効率は $(e^\lambda-1)/\lambda\approx1.718$ である。分布の形を使える代入推定量は、同じ精度に要る標本がおよそ $1/1.718\approx0.58$ 倍で済む。

途中の計算を開く

Poisson 分布の確率母関数 $E[z^S]=e^{n\lambda(z-1)}$ で $z=e^{-1/n}$ とすると $E[e^{-\bar X}]=\exp\bigl(n\lambda(e^{-1/n}-1)\bigr)\approx0.37704$、$z=e^{-2/n}$ とすると $E[e^{-2\bar X}]=\exp\bigl(n\lambda(e^{-2/n}-1)\bigr)$ なので、分散は $0.00693$ である。$\bar X$ の漸近分散は $\lambda$ なので、デルタ法の漸近分散は $e^{-2\lambda}\lambda$ である。$0$ の割合は二項分布の割合である。$S$ を与えたとき $X_1$ は二項分布 $(S,1/n)$ に従うので $P(X_1=0\mid S)=(1-\frac1n)^S$ であり、これが $0$ の割合の条件付き期待値である。$z=1-\frac1n$ として平均は $e^{-\lambda}$、$z=(1-\frac1n)^2$ として分散は $e^{-2\lambda}(e^{\lambda/n}-1)\approx0.00694$ である。漸近分散は、$(1-\frac1n)^S=\exp(S\log(1-\frac1n))$ が $e^{-\bar X}$ と同じ 1 次の展開をもつことから、$\lambda e^{-2\lambda}$ である。

ガンマ分布の積率法と最尤法

データ $2.1,\,3.4,\,0.9,\,5.6,\,1.7,\,2.8,\,4.3,\,1.2,\,3.1,\,2.5$($n=10$)をガンマ分布に当てはめる。
使う公式:表のガンマ分布の行、prop-pe-gamma-newton。
答え:$\bar x=2.76$、$V=1.8484$、$s\approx0.132031$ である。

  • 積率法:$\tilde\alpha=\bar x^2/V\approx4.1212$、$\tilde\beta=\bar x/V\approx1.4932$。
  • 最尤法:$\hat\alpha\approx3.94594$、$\hat\beta\approx1.42969$。
    $\alpha_0=\frac1{2s}\approx3.78699$ からの Newton 法の値は次のとおりである(40 桁で計算した)。
    $j$$\alpha_j$$h(\alpha_j)-s$
    0$3.78698698758$$5.77\times10^{-3}$
    1$3.9392993714$$2.31\times10^{-4}$
    2$3.94593041747$$4.04\times10^{-7}$
    3$3.94594201995$$1.23\times10^{-12}$
    4$3.94594201999$$1.15\times10^{-23}$
    値は下から増えて $\boxed{\hat\alpha\approx3.94594}$ に収束する。一方、$\alpha_0=20$ から始めると、1 回目で $\alpha_1\approx-64.06$ となり定義域の外へ出る。
ガンマ分布の形の母数の漸近相対効率

積率法 $\tilde\alpha$ の漸近分散は $2\alpha(\alpha+1)$ である。最尤法の漸近分散は、Fisher 情報行列の逆行列の成分 $\frac{\alpha}{\alpha\psi'(\alpha)-1}$ である。
使う公式:thm-pe-moments、thm-pe-delta、Fisher情報量 の定理「多母数の Cramér–Rao の不等式」。
答え:

$\alpha$$0.5$$1$$2$$5$$20$
積率法$1.5$$4$$12$$60$$840$
最尤法$0.341$$1.551$$6.900$$46.90$$786.9$
最尤法に対する積率法の漸近相対効率$0.227$$0.388$$0.575$$0.782$$0.937$

ex-pe-gamma のデータの標準誤差は、積率法で $\sqrt{2\tilde\alpha(\tilde\alpha+1)/10}\approx2.05$、最尤法で $\sqrt{\hat\alpha/(\hat\alpha\psi'(\hat\alpha)-1)/10}\approx1.70$ である。$n=10$ は漸近の式には小さく、これらは大きさの目安である。

途中の計算を開く

$m_1=\alpha/\beta$、$m_2=\alpha(\alpha+1)/\beta^2$、$m_3=\alpha(\alpha+1)(\alpha+2)/\beta^3$、$m_4=\alpha(\alpha+1)(\alpha+2)(\alpha+3)/\beta^4$ である。$\alpha=g(m_1,m_2):=m_1^2/(m_2-m_1^2)$ の勾配は $\nabla g=\bigl(2m_1m_2/(m_2-m_1^2)^2,\ -m_1^2/(m_2-m_1^2)^2\bigr)$ である。$\Sigma=\begin{pmatrix}m_2-m_1^2&m_3-m_1m_2\\m_3-m_1m_2&m_4-m_2^2\end{pmatrix}$ について $\nabla g^{\top}\Sigma\nabla g$ を計算して整理すると $2\alpha(\alpha+1)$ になる。ガンマ分布の 1 回の観測の Fisher 情報行列は、$-\partial^2\log f$ の期待値から $\begin{pmatrix}\psi'(\alpha)&-1/\beta\\-1/\beta&\alpha/\beta^2\end{pmatrix}$ である。逆行列の $(1,1)$ 成分は $\frac{\alpha/\beta^2}{\alpha\psi'(\alpha)/\beta^2-1/\beta^2}=\frac{\alpha}{\alpha\psi'(\alpha)-1}$ である。最尤推定量の 2 母数での漸近正規性はこの記事では証明しない(最尤推定 の注意「一般のモデルでの漸近正規性」、ESL17 §8.2.2、pp. 265–266)。

表の確率:標本比率と Bayes 推定量

硬貨を $n=16$ 回投げて表が $s=12$ 回だった。標本比率と、事前分布 $\mathrm{Beta}(2,2)$ の事後平均を比べる。
使う公式:共役の表の Bernoulli 分布の行、prop-pe-minimax。
答え:標本比率は $12/16=0.75$、事後平均は $\frac{2+12}{4+16}=0.7$ である。平均二乗誤差は、標本比率が $\frac{p(1-p)}{16}$、事後平均が $p$ によらず $0.01$ である。$p(1-p)=0.16$、すなわち $p=0.2,0.8$ で両者は等しく、$0.2< p< 0.8$ では事後平均がよい。prop-pe-minimax により $(s+2)/20$ は minimax 推定量である。標本比率の最悪の値は $p=\frac12$ の $0.015625$ である。

途中の計算を開く

$\delta=\frac{s+a}{n+2a}$ の偏りは $\frac{a(1-2p)}{n+2a}$、分散は $\frac{np(1-p)}{(n+2a)^2}$ なので、$\mathrm{MSE}=\frac{np(1-p)+a^2(1-2p)^2}{(n+2a)^2}$ である。分子の $p$ の 2 次の項は $(4a^2-n)p^2$ であり、$a=\sqrt n/2$ で $p$ の 1 次の項 $(n-4a^2)p$ とともに消えて、$\mathrm{MSE}=\frac{n}{4(n+\sqrt n)^2}$ となる。$n=16$ では $a=2$、$\mathrm{MSE}=\frac{16}{4\cdot400}=0.01$ である。

図: 硬貨を 16 回投げたときの平均二乗誤差。標本比率は真の確率の 2 次関数、Bayes 推定量は一定 0.01 で、確率 0.2 と 0.8 で交わる 図: 硬貨を 16 回投げたときの平均二乗誤差。標本比率は真の確率の 2 次関数、Bayes 推定量は一定 0.01 で、確率 0.2 と 0.8 で交わる

使える条件と反例

外す条件反例成り立たなくなること
識別可能性$X_i\sim N(\theta_1+\theta_2,1)$$\theta_1+\theta_2$ 以外は決まらない。積率の方程式の解が 1 つでない
積率の有限性Cauchy分布 の位置 $\theta$$\bar X$ は $n$ によらず同じ Cauchy 分布に従い、一致しない
勾配が $0$ でないこと$X_i\sim N(\theta,1)$、$\tau(\theta)=\theta^2$、$\theta_0=0$$\sqrt n\,\bar X^2\to0$ で、誤差の大きさが $\sqrt n$ の尺度で測れない。$n\bar X^2$ はカイ二乗分布(自由度 $1$)
推定値がモデルの中にあること一様分布 $[0,\theta]$ の $x=(0.1,0.2,0.9)$$2\bar x=0.8$ で、観測された最大値 $0.9$ より小さい
尤度が 1 山であることCauchy 分布の位置、$x=(-2,2)$極大が $\pm\sqrt3$ の 2 つで、$\theta=0$ は極小。最尤推定値が 1 つに決まらない
尤度が有界であること$\frac12N(0,1)+\frac12N(\mu,\sigma^2)$$\mu=x_1$、$\sigma\to0$ で尤度が発散し、最尤推定値がない
分布の台が母数によらないこと一様分布 $[0,\theta]$ の最大値誤差が $1/n$ の尺度で、極限は正規分布でない(最尤推定 の例「反例:一様分布の右端の推定の速さ」)
標本の独立性$X_i=\theta+Z+\varepsilon_i$($Z,\varepsilon_i\sim N(0,1)$ は独立)$\mathrm{Var}(\bar X)=1+\frac1n$ で $0$ に近づかず、一致しない
データに散らばりがあることガンマ分布で $x_1=\dots=x_n$$s=0$、$V=0$ で、積率法は定義できず、尤度は $\alpha\to\infty$ で増え続ける
反例の確かめ

積率の有限性:Cauchy分布 の定理「標本平均は収束しない」と系「1 次結合と標本平均」。
勾配:$\bar X\sim N(0,1/n)$ なので $\sqrt n\,\bar X$ は標準正規分布に従い、$\sqrt n\,\bar X^2=(\sqrt n\,\bar X)^2/\sqrt n\to0$(確率収束)である。$n\bar X^2=(\sqrt n\,\bar X)^2$ は $n$ によらず自由度 $1$ のカイ二乗分布に従い、平均は $1$ である。
推定値がモデルの中にあること:$\bar x=0.4$ である。このデータで $\theta< 0.9$ はありえない。同じことは二項分布 $(N,p)$ の積率法でも起こる。$\tilde p=1-V/\bar x$ で、$x=(1,4,0,7)$ なら $\bar x=3$、$V=7.5$、$\tilde p=-1.5$ となる。
尤度が 1 山であること:$\ell(\theta)=-\log(1+(\theta+2)^2)-\log(1+(\theta-2)^2)$ を微分して整理すると
$$ \ell'(\theta)=\frac{-4\theta(\theta^2-3)}{(1+(\theta+2)^2)(1+(\theta-2)^2)} $$
である。$\ell'$ の符号は $\theta=-\sqrt3,0,\sqrt3$ で正から負、負から正、正から負に変わるので、$\pm\sqrt3$ が極大、$0$ が極小である。$\ell(0)=-2\log5\approx-3.219$、$\ell(\pm\sqrt3)=-\log16\approx-2.773$ である。
尤度が有界であること:標準正規分布の密度を $\phi$ とする。$\mu=x_j$ とおくと、$i=j$ の因子は $\frac12\phi(x_j)+\frac1{2\sigma\sqrt{2\pi}}$ で $\sigma\to0$ のとき発散し、$i\ne j$ の因子は $\frac12\phi(x_i)>0$ 以上である。$x=(0,1,2)$、$\mu=1$ では、対数尤度は $\sigma=1,10^{-2},10^{-4},10^{-8}$ で $-4.187,\ -2.225,\ 2.374,\ 11.584$ と増える。
データに散らばりがあること:すべて等しい値なら $s=0$ で、prf-pe-gamma-mle の $p'(\alpha)=h(\alpha)$ は正なので、$p$ は $\alpha$ について増え続け、最大点がない。

よくある誤り

誤り正しくはなぜ
不偏な推定量の関数も不偏とする$E[g(\delta)]\ne g(E[\delta])$ が普通$\bar X$ は $1/\lambda$ の不偏推定量だが $1/\bar X$ は $\lambda$ の不偏推定量でない(ex-pe-exponential)
不偏なら平均二乗誤差も最小とする比べるのは分散と偏りの 2 乗の和ex-pe-exponential の $3/S$ は偏りがあるが誤差は小さい
最尤法の解を $\ell'(\theta)=0$ だけで決める境界・極小・複数の極大を確かめる一様分布の最尤推定値は臨界点でない。Cauchy 分布の位置では極大が複数ある(ex-pe-counterexamples)
標準誤差を書かずに推定値だけ答える$\sqrt{v(\hat\theta)/n}$ を添えるex-pe-gamma-efficiency のように小さい標本では誤差が大きい
ガンマ分布の Newton 法を適当な初期値から回す$\alpha_0=\frac1{2s}$ から始めるprop-pe-gamma-newton。根の右からでは定義域を出ることがある
デルタ法を $\tau'(\theta_0)=0$ でも $\sqrt n$ の誤差として使う2 次の項まで見るex-pe-counterexamples
尺度の母数と率の母数を取り違える表のガンマ分布は率 $\beta$。尺度なら $1/\beta$平均が $\alpha/\beta$ か $\alpha\theta$ か

補足

積率法と最尤法は、$E_\theta[g(X,\theta)]=0$ となる関数 $g$ について、標本の平均の方程式 $\frac1n\sum_ig(x_i,\theta)=0$ を解くという形にまとめられる。積率法は $g_j(x,\theta)=x^j-m_j(\theta)$、最尤法は $g=\partial_\theta\log f$ の場合である。この形の推定量を 推定方程式 による推定量という。
一様分布の $2\bar x$ は十分統計量 $x_{(n)}$ の関数ではないので、条件付き期待値で $\frac{n+1}nx_{(n)}$ に改良できる(Rao–Blackwellの定理 の例「区間上の一様分布の右端」)。
高校数学の範囲の導入は 推定量のよさ にあり、一様分布の右端の 2 つの推定量と標本分散の $n-1$ を例を中心に扱う。
平均二乗誤差・標準誤差・一致性の教科書の記述は ER10 §6.3.1(pp. 321–325)、積率法は §6.4.1(pp. 349–351)、事後平均による推定は §7.2(p. 387)にある。

関連項目

参考文献

[2]
Michael J. Evans and Jeffrey S. Rosenthal, Probability and Statistics: The Science of Uncertainty, 2nd ed., W. H. Freeman, 2010, §6.3.1(Definition 6.3.1 平均二乗誤差 p. 322、標準誤差 p. 323、一致性 p. 325)、§6.4.1 Method of Moments(pp. 349–351)、§7.2(事後平均 p. 387)、§7.3.1(事後分布の漸近正規性 p. 407)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する