不偏推定量(unbiased estimator)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ で母数の関数 $\tau(\theta)$ を推定する推定量 $\delta(X)$ であって、すべての $\theta$ で期待値 $E_\theta[\delta(X)]$ が有限で $\tau(\theta)$ に等しいものをいう。独立同分布の標本で偏差の 2 乗和を $n-1$ で割った標本分散は、母分散が有限なら母分散の不偏推定量である。一方、不偏推定量が存在しない推定対象があり、ただ 1 つの不偏推定量が推定対象のとらない値をとることもあり、偏りを許したほうが平均二乗誤差の小さい推定量もある。
不偏推定量(unbiased estimator)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ で母数の関数 $\tau(\theta)$ を推定する推定量 $\delta(X)$ であって、真の母数 $\theta$ が何であっても期待値 $E_\theta[\delta(X)]$ が $\tau(\theta)$ に等しいものをいう。同じ実験を何度も繰り返したとき、推定値の平均が狙った値に一致する、という性質である。
標本 $X_1,\dots,X_n$ から母分散を推定するとき、偏差の 2 乗和を $n$ ではなく $n-1$ で割るのは、そうすると不偏推定量になるからである。不偏性は推定量のよさの基本的な目安だが、万能ではない。不偏推定量が 1 つも存在しない推定対象があり、不偏推定量がただ 1 つしかなくてもそれがひどい推定量であることがあり、少し偏りを許したほうが平均二乗誤差が小さくなることも多い。この記事では、定義と基本的な例のあと、これら 3 つの現象を証明つきで示す。高校数学の範囲の導入は 推定量のよさ にある。
| 結果 | 内容 |
|---|---|
| prop-unb-mse | 平均二乗誤差 = 分散 + 偏りの 2 乗 |
| thm-unb-sample-variance | 独立同分布の標本で、$n-1$ で割る標本分散は母分散の不偏推定量 |
| thm-unb-binomial | 硬貨投げ $n$ 回のモデルで不偏推定できるのは、$p$ の $n$ 次以下の多項式に限る |
| ex-unb-poisson-sign | ただ 1 つの不偏推定量が、推定対象のとらない値 $-1$ をとる例 |
| thm-unb-normal-variance | 正規分布の母分散は、$n+1$ で割ると平均二乗誤差が最小(不偏でない) |
統計モデルは、可測空間 $(\mathcal X,\mathcal A)$ とその上の確率測度の族 $\{P_\theta\}_{\theta\in\Theta}$ の組である。データ $X$ は $\mathcal X$ に値をとり、その分布はある未知の $\theta$ について $P_\theta$ である。$P_\theta$ のもとでの期待値・分散を $E_\theta$、$\mathrm{Var}_\theta$ と書く。
$\tau\colon\Theta\to\mathbb R$ を母数の関数とする。
不偏性は「すべての $\theta$ で」偏りが $0$ であることを要求する。特定の $\theta_0$ でだけ偏りが $0$ でもよいなら、定数の推定量 $\delta\equiv\tau(\theta_0)$ がそうなるが、これはデータを見ていない。$\theta$ は未知なので、意味があるのは $\theta$ によらずに成り立つ性質だけである。
$E_\theta[\delta(X)^2]< \infty$ なら $\mathrm{MSE}_\theta(\delta)=\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ である。とくに不偏推定量の平均二乗誤差は分散に等しい。
$m:=E_\theta[\delta(X)]$ とおくと $\delta(X)-\tau(\theta)=(\delta(X)-m)+b_\theta(\delta)$ である。2 乗して期待値をとると、交差項は $2b_\theta(\delta)\,E_\theta[\delta(X)-m]=0$ なので、$\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ が残る。$\square$
不偏推定量の全体は、和について閉じていないが「差をとると $0$ の不偏推定量になる」という形で構造をもつ。$\delta_1,\delta_2$ が $\tau$ の不偏推定量なら、$\delta_1-\delta_2$ はすべての $\theta$ で期待値 $0$ であり、$a+b=1$ を満たす実数 $a,b$ について $a\delta_1+b\delta_2$ も $\tau$ の不偏推定量である。また $\delta_k$ が $\tau_k$ の不偏推定量なら、$\sum_kc_k\delta_k$ は $\sum_kc_k\tau_k$ の不偏推定量である(期待値の線形性)。
以下 $X=(X_1,\dots,X_n)$ は互いに独立で、どれも同じ分布に従い、$\bar X:=\frac1n\sum_iX_i$ とする。
$n\ge2$ とし、各 $X_i$ の平均を $\mu$、分散を $\sigma^2< \infty$ とする。
$$
S^2:=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2
$$
とおくと、$E[\bar X]=\mu$、$E[S^2]=\sigma^2$ である。つまり $\bar X$ は平均の、$S^2$ は分散の不偏推定量である。
$E[\bar X]=\frac1n\sum_iE[X_i]=\mu$ である。$Y_i:=X_i-\mu$ とおくと $\bar Y=\bar X-\mu$、$X_i-\bar X=Y_i-\bar Y$ であり、
$$
\sum_i(Y_i-\bar Y)^2=\sum_iY_i^2-2\bar Y\sum_iY_i+n\bar Y^2=\sum_iY_i^2-n\bar Y^2
$$
である。$E[Y_i^2]=\sigma^2$ であり、独立性から $i\ne j$ なら $E[Y_iY_j]=E[Y_i]E[Y_j]=0$ なので $E[\bar Y^2]=\frac1{n^2}\sum_iE[Y_i^2]=\frac{\sigma^2}n$ である。よって $E\bigl[\sum_i(X_i-\bar X)^2\bigr]=n\sigma^2-\sigma^2=(n-1)\sigma^2$ であり、$n-1$ で割れば $\sigma^2$ になる。$\square$
$n$ で割った $\frac{n-1}nS^2$ の期待値は $\frac{n-1}n\sigma^2$ で、母分散を平均して小さめに見積もる。標本平均 $\bar X$ のまわりのずれは、真の平均 $\mu$ のまわりのずれより平均して小さい($\bar X$ はずれの 2 乗和を最小にする点だから)ので、その分を $n-1$ で割って補う。$p$ 個の説明変数と切片をもつ線形回帰で、誤差の分散を残差の 2 乗和を $N-p-1$($N$ は観測の数)で割って推定するのも、同じ理由で不偏にするためである(ESL17 §3.2、p. 47)。
どんな推定対象にも不偏推定量があるわけではない。硬貨投げのモデルでは、不偏推定できる推定対象が完全に決まる。
$X=(X_1,\dots,X_n)$ を独立な硬貨投げ($P_p(X_i=1)=p$、$0< p< 1$)とする。関数 $\tau\colon(0,1)\to\mathbb R$ が不偏推定可能であることは、$\tau$ が $p$ の $n$ 次以下の多項式であることと同値である。
不偏推定可能なら多項式. 推定量 $\delta\colon\{0,1\}^n\to\mathbb R$ について、$x$ の表の回数を $t(x)$ とすると
$$
E_p[\delta(X)]=\sum_{x\in\{0,1\}^n}\delta(x)\,p^{t(x)}(1-p)^{n-t(x)}
$$
であり、これは $2^n$ 個の $n$ 次以下の多項式の和なので、$p$ の $n$ 次以下の多項式である。$\delta$ が $\tau$ の不偏推定量なら、$\tau$ は $(0,1)$ の上でこの多項式に一致する。
多項式なら不偏推定可能. $T:=\sum_iX_i$ とし、$0\le k\le n$ について $\binom Tk$ を考える。$\binom Tk$ は表の出た回から $k$ 個を選ぶ選び方の数なので、添字の $k$ 元部分集合 $I$ を動かして
$$
\binom Tk=\sum_{\lvert I\rvert=k}\ \prod_{i\in I}X_i
$$
と書ける。独立性から $E_p\bigl[\prod_{i\in I}X_i\bigr]=p^k$ なので $E_p\bigl[\binom Tk\bigr]=\binom nkp^k$ であり、$\binom Tk/\binom nk$ は $p^k$ の不偏推定量である。$\tau(p)=\sum_{k=0}^na_kp^k$ なら、期待値の線形性から $\sum_ka_k\binom Tk/\binom nk$ が $\tau$ の不偏推定量である。$\square$
たとえば $\tau(p)=1/p$ や、成功と失敗の比 $\tau(p)=p/(1-p)$ には不偏推定量がない。どちらも $p\to0$ または $p\to1$ で発散するので、$[0,1]$ 上で有界な多項式と $(0,1)$ 上で一致しえないからである。不偏推定可能でないことは、推定できないことを意味しない。標本平均 $\bar X$ を代入した $\bar X/(1-\bar X)$($\bar X< 1$ のとき)は、偏りはあるが自然な推定量である。
$X$ を平均 $\lambda>0$ の Poisson 分布に従う 1 つの観測とし、推定対象を $\tau(\lambda)=e^{-2\lambda}=P_\lambda(X=0)^2$ とする。$\tau$ の不偏推定量はほとんど確実に $(-1)^X$ だけであり、その値は $\pm1$ である。
$\tau(\lambda)$ は $(0,1)$ の値をとるのに、この推定量は観測が奇数なら $-1$ と答える。推定値を $0$ で切り上げた $\max\bigl((-1)^X,0\bigr)=\mathbf 1\{X\ \text{が偶数}\}$ のほうが、$X$ が奇数のとき推定対象に必ず近く($\lvert0-\tau\rvert=\tau< 1+\tau=\lvert-1-\tau\rvert$)、偶数のときは同じなので、すべての $\lambda$ で平均二乗誤差が真に小さい。その推定量は不偏でない。
不偏であること.
$$
E_\lambda\bigl[(-1)^X\bigr]=\sum_{k\ge0}(-1)^ke^{-\lambda}\frac{\lambda^k}{k!}=e^{-\lambda}e^{-\lambda}=e^{-2\lambda}.
$$
ほかにないこと. $\delta\colon\{0,1,2,\dots\}\to\mathbb R$ が不偏推定量なら、すべての $\lambda>0$ で
$$
\sum_{k\ge0}\delta(k)\frac{\lambda^k}{k!}=e^{\lambda}E_\lambda[\delta(X)]=e^{-\lambda}=\sum_{k\ge0}(-1)^k\frac{\lambda^k}{k!}
$$
であり、左の級数は可積分性の仮定からすべての $\lambda>0$ で絶対収束する。よって差の冪級数 $\sum_k(\delta(k)-(-1)^k)\lambda^k/k!$ は収束半径が $\infty$ で、$\lambda>0$ のすべての点で $0$ になる。$\lambda=1/j$($j=1,2,\dots$)は $0$ に近づくので、係数はすべて $0$ であり(冪級数 の命題「中心に近づく点列の上で0になる冪級数」)、$\delta(k)=(-1)^k$ である。
平均二乗誤差. $E_\lambda[((-1)^X)^2]=1$ なので $\mathrm{MSE}_\lambda((-1)^X)=1-2\tau E_\lambda[(-1)^X]+\tau^2=1-\tau^2=1-e^{-4\lambda}$ であり、$\lambda$ が大きいとき $1$ に近い。$\square$
平均二乗誤差は分散と偏りの 2 乗の和なので(prop-unb-mse)、わずかな偏りと引き換えに分散を大きく減らせるなら、平均二乗誤差は下がる。正規分布の母分散の推定がその典型である。
$n\ge2$ とし、$X_1,\dots,X_n$ は互いに独立で、どれも 正規分布 $N(\mu,\sigma^2)$ に従うとする($\mu\in\mathbb R$、$\sigma>0$ はともに未知)。$V:=\sum_i(X_i-\bar X)^2$ とし、$c>0$ について推定量 $cV$ の $\sigma^2$ に対する平均二乗誤差を考えると、
$$
\mathrm{MSE}_{\mu,\sigma}(cV)=\sigma^4\bigl((n^2-1)c^2-2(n-1)c+1\bigr)
$$
である。これは $c=\frac1{n+1}$ で最小値 $\frac{2\sigma^4}{n+1}$ をとり、不偏推定量 $S^2=\frac V{n-1}$ の平均二乗誤差 $\frac{2\sigma^4}{n-1}$ より小さい。
t分布 の定理「Student の定理」の 2 により $V/\sigma^2$ は自由度 $n-1$ の カイ二乗分布 に従う。同記事の定理「積率母関数と積率」の 2 から、自由度 $\nu$ のカイ二乗分布に従う $W$ について $E[W]=\nu$、$E[W^2]=\nu(\nu+2)$ なので、$E[V]=(n-1)\sigma^2$、$E[V^2]=(n-1)(n+1)\sigma^4$ である。よって
$$
E\bigl[(cV-\sigma^2)^2\bigr]=c^2E[V^2]-2c\sigma^2E[V]+\sigma^4=\sigma^4\bigl((n^2-1)c^2-2(n-1)c+1\bigr)
$$
である。$c$ の 2 次関数として平方完成すると、頂点は $c=\frac{n-1}{n^2-1}=\frac1{n+1}$ で、そこでの値は $\sigma^4\bigl(1-\frac{n-1}{n+1}\bigr)=\frac{2\sigma^4}{n+1}$ である。$c=\frac1{n-1}$ を代入すると $\sigma^4\bigl(\frac{n+1}{n-1}-2+1\bigr)=\frac{2\sigma^4}{n-1}$ である。$\square$
$n=5$ なら、不偏な $S^2$ の平均二乗誤差は $0.5\sigma^4$、$n$ で割った最尤推定量 $V/5$ は $0.36\sigma^4$、$V/6$ は $0.333\ldots\sigma^4$ である。線形回帰でも、最小二乗推定量は 1 次式の不偏推定量の中で分散最小だが、偏りのある推定量のほうが平均二乗誤差の小さいことがありうる(ESL17 §3.2.2、(3.20)、pp. 51–52)。どれを使うかは目的による。不偏性は、多くの独立な推定値を平均して使う場面(平均すれば分散は減るが偏りは残る)で特に意味をもつ。
thm-unb-normal-variance の状況で $S:=\sqrt{S^2}$ とおく。$S$ は定数でないので $\mathrm{Var}(S)>0$ であり、
$$
\bigl(E[S]\bigr)^2=E[S^2]-\mathrm{Var}(S)< E[S^2]=\sigma^2
$$
となる。よって $E[S]< \sigma$ で、$S$ は $\sigma$ の不偏推定量でない。一般に、$\delta$ が $\tau$ の不偏推定量でも、1 次でない関数 $g$ について $g(\delta)$ が $g(\tau)$ の不偏推定量になるとは限らない。
不偏推定量の中で分散が最小のものを探すのが、古典的な点推定の問題である。
$\tau$ の不偏推定量 $\delta^*$ が、すべての $\theta$ で $E_\theta[(\delta^*)^2]< \infty$ を満たし、2 乗可積分な $\tau$ の不偏推定量 $\delta$ のどれについても、すべての $\theta$ で $\mathrm{Var}_\theta(\delta^*)\le\mathrm{Var}_\theta(\delta)$ を満たすとき、$\delta^*$ を $\tau$ の 一様最小分散不偏推定量(uniformly minimum variance unbiased estimator、UMVU 推定量)という。
「一様」は、1 つの推定量がすべての $\theta$ で同時に最小であることを指す。探し方の基本は次の 2 つである。
上の結果の仮定を 1 つずつ外すと、結論が成り立たなくなる。
| 外す仮定 | 反例 | 成り立たなくなること |
|---|---|---|
| すべての $\theta$ で期待値が $\tau(\theta)$(定義) | 定数 $\delta\equiv\tau(\theta_0)$ | $\theta_0$ でだけ偏りが $0$ で、不偏推定量でない |
| thm-unb-sample-variance の $n-1$ で割る | $n$ で割る $\frac{n-1}nS^2$ | 期待値が $\frac{n-1}n\sigma^2$ で、不偏でない |
| thm-unb-binomial の $\tau$ が $n$ 次以下の多項式 | $\tau(p)=p^{n+1}$ | 不偏推定量が存在しない |
| 推定対象が 1 次式の変換(期待値の線形性) | $S$ で $\sigma=\sqrt{\sigma^2}$ を推定 | $E[S]< \sigma$ で、不偏でない(ex-unb-sd) |
1 行目:$\Theta$ が 2 点以上を含み $\tau(\theta)\ne\tau(\theta_0)$ となる $\theta$ があれば、$E_\theta[\delta]=\tau(\theta_0)\ne\tau(\theta)$ である。
2 行目:thm-unb-sample-variance から $E\bigl[\frac{n-1}nS^2\bigr]=\frac{n-1}n\sigma^2$ であり、$\sigma^2>0$ なら $\sigma^2$ と異なる。
3 行目:$p^{n+1}$ が $n$ 次以下の多項式 $P$ と $(0,1)$ で一致すれば、多項式 $p^{n+1}-P(p)$ は無限個の零点をもつので恒等的に $0$ だが、$p^{n+1}$ の係数は $1$ なので矛盾する。thm-unb-binomial により不偏推定量はない。
4 行目:ex-unb-sd のとおり。$\square$
3 行目は、標本の大きさ $n$ を増やせば解消する。$n'\ge n+1$ 回投げれば $p^{n+1}$ は不偏推定可能になる。不偏推定可能かどうかは、推定対象だけでなくモデル(ここでは $n$)にもよる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する