不偏推定量

同義語:unbiased estimator

概要

不偏推定量(unbiased estimator)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ で母数の関数 $\tau(\theta)$ を推定する推定量 $\delta(X)$ であって、すべての $\theta$ で期待値 $E_\theta[\delta(X)]$ が有限で $\tau(\theta)$ に等しいものをいう。独立同分布の標本で偏差の 2 乗和を $n-1$ で割った標本分散は、母分散が有限なら母分散の不偏推定量である。一方、不偏推定量が存在しない推定対象があり、ただ 1 つの不偏推定量が推定対象のとらない値をとることもあり、偏りを許したほうが平均二乗誤差の小さい推定量もある。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 統計学, 期待値, 分散

不偏推定量(unbiased estimator)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ で母数の関数 $\tau(\theta)$ を推定する推定量 $\delta(X)$ であって、真の母数 $\theta$ が何であっても期待値 $E_\theta[\delta(X)]$ が $\tau(\theta)$ に等しいものをいう。同じ実験を何度も繰り返したとき、推定値の平均が狙った値に一致する、という性質である。
標本 $X_1,\dots,X_n$ から母分散を推定するとき、偏差の 2 乗和を $n$ ではなく $n-1$ で割るのは、そうすると不偏推定量になるからである。不偏性は推定量のよさの基本的な目安だが、万能ではない。不偏推定量が 1 つも存在しない推定対象があり、不偏推定量がただ 1 つしかなくてもそれがひどい推定量であることがあり、少し偏りを許したほうが平均二乗誤差が小さくなることも多い。この記事では、定義と基本的な例のあと、これら 3 つの現象を証明つきで示す。高校数学の範囲の導入は 推定量のよさ にある。

結果内容
prop-unb-mse平均二乗誤差 = 分散 + 偏りの 2 乗
thm-unb-sample-variance独立同分布の標本で、$n-1$ で割る標本分散は母分散の不偏推定量
thm-unb-binomial硬貨投げ $n$ 回のモデルで不偏推定できるのは、$p$ の $n$ 次以下の多項式に限る
ex-unb-poisson-signただ 1 つの不偏推定量が、推定対象のとらない値 $-1$ をとる例
thm-unb-normal-variance正規分布の母分散は、$n+1$ で割ると平均二乗誤差が最小(不偏でない)

定義

統計モデルは、可測空間 $(\mathcal X,\mathcal A)$ とその上の確率測度の族 $\{P_\theta\}_{\theta\in\Theta}$ の組である。データ $X$ は $\mathcal X$ に値をとり、その分布はある未知の $\theta$ について $P_\theta$ である。$P_\theta$ のもとでの期待値・分散を $E_\theta$、$\mathrm{Var}_\theta$ と書く。

推定量・不偏推定量・偏り・平均二乗誤差

$\tau\colon\Theta\to\mathbb R$ を母数の関数とする。

  1. 可測関数 $\delta\colon\mathcal X\to\mathbb R$ を 推定量 といい、$\tau(\theta)$ を推定する目的で使うとき $\tau$ を 推定対象 という。
  2. 推定量 $\delta$ がすべての $\theta\in\Theta$ で $E_\theta\lvert\delta(X)\rvert< \infty$ かつ
    $$ E_\theta[\delta(X)]=\tau(\theta) $$
    を満たすとき、$\delta$ を $\tau$ の 不偏推定量 という。$\tau$ に不偏推定量があるとき、$\tau$ は 不偏推定可能 であるという。
  3. $E_\theta\lvert\delta(X)\rvert< \infty$ のとき $b_\theta(\delta):=E_\theta[\delta(X)]-\tau(\theta)$ を $\theta$ での 偏り(bias)、$E_\theta[\delta(X)^2]< \infty$ のとき
    $$ \mathrm{MSE}_\theta(\delta):=E_\theta\bigl[(\delta(X)-\tau(\theta))^2\bigr] $$
    を 平均二乗誤差 という。

不偏性は「すべての $\theta$ で」偏りが $0$ であることを要求する。特定の $\theta_0$ でだけ偏りが $0$ でもよいなら、定数の推定量 $\delta\equiv\tau(\theta_0)$ がそうなるが、これはデータを見ていない。$\theta$ は未知なので、意味があるのは $\theta$ によらずに成り立つ性質だけである。

平均二乗誤差の分解

$E_\theta[\delta(X)^2]< \infty$ なら $\mathrm{MSE}_\theta(\delta)=\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ である。とくに不偏推定量の平均二乗誤差は分散に等しい。

平均のまわりのずれと偏りに分ける

$m:=E_\theta[\delta(X)]$ とおくと $\delta(X)-\tau(\theta)=(\delta(X)-m)+b_\theta(\delta)$ である。2 乗して期待値をとると、交差項は $2b_\theta(\delta)\,E_\theta[\delta(X)-m]=0$ なので、$\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ が残る。$\square$

不偏推定量の全体は、和について閉じていないが「差をとると $0$ の不偏推定量になる」という形で構造をもつ。$\delta_1,\delta_2$ が $\tau$ の不偏推定量なら、$\delta_1-\delta_2$ はすべての $\theta$ で期待値 $0$ であり、$a+b=1$ を満たす実数 $a,b$ について $a\delta_1+b\delta_2$ も $\tau$ の不偏推定量である。また $\delta_k$ が $\tau_k$ の不偏推定量なら、$\sum_kc_k\delta_k$ は $\sum_kc_k\tau_k$ の不偏推定量である(期待値の線形性)。

例

以下 $X=(X_1,\dots,X_n)$ は互いに独立で、どれも同じ分布に従い、$\bar X:=\frac1n\sum_iX_i$ とする。

$n-1$ で割る標本分散の不偏性

$n\ge2$ とし、各 $X_i$ の平均を $\mu$、分散を $\sigma^2< \infty$ とする。
$$ S^2:=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2 $$
とおくと、$E[\bar X]=\mu$、$E[S^2]=\sigma^2$ である。つまり $\bar X$ は平均の、$S^2$ は分散の不偏推定量である。

平均 $\mu$ のまわりのずれで書き直す

$E[\bar X]=\frac1n\sum_iE[X_i]=\mu$ である。$Y_i:=X_i-\mu$ とおくと $\bar Y=\bar X-\mu$、$X_i-\bar X=Y_i-\bar Y$ であり、
$$ \sum_i(Y_i-\bar Y)^2=\sum_iY_i^2-2\bar Y\sum_iY_i+n\bar Y^2=\sum_iY_i^2-n\bar Y^2 $$
である。$E[Y_i^2]=\sigma^2$ であり、独立性から $i\ne j$ なら $E[Y_iY_j]=E[Y_i]E[Y_j]=0$ なので $E[\bar Y^2]=\frac1{n^2}\sum_iE[Y_i^2]=\frac{\sigma^2}n$ である。よって $E\bigl[\sum_i(X_i-\bar X)^2\bigr]=n\sigma^2-\sigma^2=(n-1)\sigma^2$ であり、$n-1$ で割れば $\sigma^2$ になる。$\square$

$n$ で割った $\frac{n-1}nS^2$ の期待値は $\frac{n-1}n\sigma^2$ で、母分散を平均して小さめに見積もる。標本平均 $\bar X$ のまわりのずれは、真の平均 $\mu$ のまわりのずれより平均して小さい($\bar X$ はずれの 2 乗和を最小にする点だから)ので、その分を $n-1$ で割って補う。$p$ 個の説明変数と切片をもつ線形回帰で、誤差の分散を残差の 2 乗和を $N-p-1$($N$ は観測の数)で割って推定するのも、同じ理由で不偏にするためである(ESL17 §3.2、p. 47)。

いくつかの不偏推定量
  1. 硬貨投げ($P_p(X_i=1)=p$、$P_p(X_i=0)=1-p$)で、表の回数 $T:=\sum_iX_i$ について、$n\ge2$ なら $\dfrac{T(n-T)}{n(n-1)}$ は $\tau(p)=p(1-p)$ の不偏推定量である。実際 $E_p[T]=np$、$E_p[T^2]=np(1-p)+n^2p^2$ から $E_p[T(n-T)]=n^2p-np(1-p)-n^2p^2=n(n-1)p(1-p)$ である。これは thm-unb-sample-variance の $S^2$ を硬貨投げに当てたもの($X_i^2=X_i$ による)に等しい。
  2. 平均 $\lambda>0$ の Poisson分布 で、$\tau(\lambda)=P_\lambda(X_1=0)=e^{-\lambda}$ について、$\mathbf 1\{X_1=0\}$ は不偏推定量である。標本の 1 つしか使わないので粗いが、不偏推定量は 1 つ見つければ Rao–Blackwellの定理 で改良できる。
  3. 区間 $(0,\theta)$ 上の一様分布($\theta>0$ が母数)で、$E_\theta[X_i]=\theta/2$ なので $2\bar X$ は $\theta$ の不偏推定量である。最大値 $M:=\max_iX_i$ は $P_\theta(M\le m)=(m/\theta)^n$($0\le m\le\theta$)から $E_\theta[M]=\int_0^\theta(1-(m/\theta)^n)\,dm=\frac n{n+1}\theta$ を満たすので、$\frac{n+1}nM$ も $\theta$ の不偏推定量である。

不偏推定量が存在しない推定対象

どんな推定対象にも不偏推定量があるわけではない。硬貨投げのモデルでは、不偏推定できる推定対象が完全に決まる。

硬貨投げで不偏推定できる推定対象

$X=(X_1,\dots,X_n)$ を独立な硬貨投げ($P_p(X_i=1)=p$、$0< p< 1$)とする。関数 $\tau\colon(0,1)\to\mathbb R$ が不偏推定可能であることは、$\tau$ が $p$ の $n$ 次以下の多項式であることと同値である。

期待値は多項式、逆に $p^k$ は組の個数で作れる

不偏推定可能なら多項式. 推定量 $\delta\colon\{0,1\}^n\to\mathbb R$ について、$x$ の表の回数を $t(x)$ とすると
$$ E_p[\delta(X)]=\sum_{x\in\{0,1\}^n}\delta(x)\,p^{t(x)}(1-p)^{n-t(x)} $$
であり、これは $2^n$ 個の $n$ 次以下の多項式の和なので、$p$ の $n$ 次以下の多項式である。$\delta$ が $\tau$ の不偏推定量なら、$\tau$ は $(0,1)$ の上でこの多項式に一致する。
多項式なら不偏推定可能. $T:=\sum_iX_i$ とし、$0\le k\le n$ について $\binom Tk$ を考える。$\binom Tk$ は表の出た回から $k$ 個を選ぶ選び方の数なので、添字の $k$ 元部分集合 $I$ を動かして
$$ \binom Tk=\sum_{\lvert I\rvert=k}\ \prod_{i\in I}X_i $$
と書ける。独立性から $E_p\bigl[\prod_{i\in I}X_i\bigr]=p^k$ なので $E_p\bigl[\binom Tk\bigr]=\binom nkp^k$ であり、$\binom Tk/\binom nk$ は $p^k$ の不偏推定量である。$\tau(p)=\sum_{k=0}^na_kp^k$ なら、期待値の線形性から $\sum_ka_k\binom Tk/\binom nk$ が $\tau$ の不偏推定量である。$\square$

たとえば $\tau(p)=1/p$ や、成功と失敗の比 $\tau(p)=p/(1-p)$ には不偏推定量がない。どちらも $p\to0$ または $p\to1$ で発散するので、$[0,1]$ 上で有界な多項式と $(0,1)$ 上で一致しえないからである。不偏推定可能でないことは、推定できないことを意味しない。標本平均 $\bar X$ を代入した $\bar X/(1-\bar X)$($\bar X< 1$ のとき)は、偏りはあるが自然な推定量である。

不偏であることの代償

ただ 1 つの不偏推定量がひどい例

Poisson 分布の観測 1 つから $e^{-2\lambda}$ を推定する

$X$ を平均 $\lambda>0$ の Poisson 分布に従う 1 つの観測とし、推定対象を $\tau(\lambda)=e^{-2\lambda}=P_\lambda(X=0)^2$ とする。$\tau$ の不偏推定量はほとんど確実に $(-1)^X$ だけであり、その値は $\pm1$ である。

$\tau(\lambda)$ は $(0,1)$ の値をとるのに、この推定量は観測が奇数なら $-1$ と答える。推定値を $0$ で切り上げた $\max\bigl((-1)^X,0\bigr)=\mathbf 1\{X\ \text{が偶数}\}$ のほうが、$X$ が奇数のとき推定対象に必ず近く($\lvert0-\tau\rvert=\tau< 1+\tau=\lvert-1-\tau\rvert$)、偶数のときは同じなので、すべての $\lambda$ で平均二乗誤差が真に小さい。その推定量は不偏でない。

冪級数の係数の一意性

不偏であること.
$$ E_\lambda\bigl[(-1)^X\bigr]=\sum_{k\ge0}(-1)^ke^{-\lambda}\frac{\lambda^k}{k!}=e^{-\lambda}e^{-\lambda}=e^{-2\lambda}. $$
ほかにないこと. $\delta\colon\{0,1,2,\dots\}\to\mathbb R$ が不偏推定量なら、すべての $\lambda>0$ で
$$ \sum_{k\ge0}\delta(k)\frac{\lambda^k}{k!}=e^{\lambda}E_\lambda[\delta(X)]=e^{-\lambda}=\sum_{k\ge0}(-1)^k\frac{\lambda^k}{k!} $$
であり、左の級数は可積分性の仮定からすべての $\lambda>0$ で絶対収束する。よって差の冪級数 $\sum_k(\delta(k)-(-1)^k)\lambda^k/k!$ は収束半径が $\infty$ で、$\lambda>0$ のすべての点で $0$ になる。$\lambda=1/j$($j=1,2,\dots$)は $0$ に近づくので、係数はすべて $0$ であり(冪級数 の命題「中心に近づく点列の上で0になる冪級数」)、$\delta(k)=(-1)^k$ である。
平均二乗誤差. $E_\lambda[((-1)^X)^2]=1$ なので $\mathrm{MSE}_\lambda((-1)^X)=1-2\tau E_\lambda[(-1)^X]+\tau^2=1-\tau^2=1-e^{-4\lambda}$ であり、$\lambda$ が大きいとき $1$ に近い。$\square$

偏りを許すと平均二乗誤差が下がる例

平均二乗誤差は分散と偏りの 2 乗の和なので(prop-unb-mse)、わずかな偏りと引き換えに分散を大きく減らせるなら、平均二乗誤差は下がる。正規分布の母分散の推定がその典型である。

正規分布の母分散の推定量の比較

$n\ge2$ とし、$X_1,\dots,X_n$ は互いに独立で、どれも 正規分布 $N(\mu,\sigma^2)$ に従うとする($\mu\in\mathbb R$、$\sigma>0$ はともに未知)。$V:=\sum_i(X_i-\bar X)^2$ とし、$c>0$ について推定量 $cV$ の $\sigma^2$ に対する平均二乗誤差を考えると、
$$ \mathrm{MSE}_{\mu,\sigma}(cV)=\sigma^4\bigl((n^2-1)c^2-2(n-1)c+1\bigr) $$
である。これは $c=\frac1{n+1}$ で最小値 $\frac{2\sigma^4}{n+1}$ をとり、不偏推定量 $S^2=\frac V{n-1}$ の平均二乗誤差 $\frac{2\sigma^4}{n-1}$ より小さい。

カイ二乗分布の積率を使う

t分布 の定理「Student の定理」の 2 により $V/\sigma^2$ は自由度 $n-1$ の カイ二乗分布 に従う。同記事の定理「積率母関数と積率」の 2 から、自由度 $\nu$ のカイ二乗分布に従う $W$ について $E[W]=\nu$、$E[W^2]=\nu(\nu+2)$ なので、$E[V]=(n-1)\sigma^2$、$E[V^2]=(n-1)(n+1)\sigma^4$ である。よって
$$ E\bigl[(cV-\sigma^2)^2\bigr]=c^2E[V^2]-2c\sigma^2E[V]+\sigma^4=\sigma^4\bigl((n^2-1)c^2-2(n-1)c+1\bigr) $$
である。$c$ の 2 次関数として平方完成すると、頂点は $c=\frac{n-1}{n^2-1}=\frac1{n+1}$ で、そこでの値は $\sigma^4\bigl(1-\frac{n-1}{n+1}\bigr)=\frac{2\sigma^4}{n+1}$ である。$c=\frac1{n-1}$ を代入すると $\sigma^4\bigl(\frac{n+1}{n-1}-2+1\bigr)=\frac{2\sigma^4}{n-1}$ である。$\square$

$n=5$ なら、不偏な $S^2$ の平均二乗誤差は $0.5\sigma^4$、$n$ で割った最尤推定量 $V/5$ は $0.36\sigma^4$、$V/6$ は $0.333\ldots\sigma^4$ である。線形回帰でも、最小二乗推定量は 1 次式の不偏推定量の中で分散最小だが、偏りのある推定量のほうが平均二乗誤差の小さいことがありうる(ESL17 §3.2.2、(3.20)、pp. 51–52)。どれを使うかは目的による。不偏性は、多くの独立な推定値を平均して使う場面(平均すれば分散は減るが偏りは残る)で特に意味をもつ。

不偏性は変数の変換で保たれない

標本標準偏差は母標準偏差の不偏推定量でない

thm-unb-normal-variance の状況で $S:=\sqrt{S^2}$ とおく。$S$ は定数でないので $\mathrm{Var}(S)>0$ であり、
$$ \bigl(E[S]\bigr)^2=E[S^2]-\mathrm{Var}(S)< E[S^2]=\sigma^2 $$
となる。よって $E[S]< \sigma$ で、$S$ は $\sigma$ の不偏推定量でない。一般に、$\delta$ が $\tau$ の不偏推定量でも、1 次でない関数 $g$ について $g(\delta)$ が $g(\tau)$ の不偏推定量になるとは限らない。

分散が最小の不偏推定量

不偏推定量の中で分散が最小のものを探すのが、古典的な点推定の問題である。

一様最小分散不偏推定量

$\tau$ の不偏推定量 $\delta^*$ が、すべての $\theta$ で $E_\theta[(\delta^*)^2]< \infty$ を満たし、2 乗可積分な $\tau$ の不偏推定量 $\delta$ のどれについても、すべての $\theta$ で $\mathrm{Var}_\theta(\delta^*)\le\mathrm{Var}_\theta(\delta)$ を満たすとき、$\delta^*$ を $\tau$ の 一様最小分散不偏推定量(uniformly minimum variance unbiased estimator、UMVU 推定量)という。

「一様」は、1 つの推定量がすべての $\theta$ で同時に最小であることを指す。探し方の基本は次の 2 つである。

  • 十分統計量 $T$ があれば、2 乗可積分な不偏推定量を $T$ で条件付けると、不偏のまま分散は増えない(Rao–Blackwellの定理)。さらに $T$ が完備なら、そうして得たものが UMVU 推定量である(同記事の定理「Lehmann–Scheffé の定理」)。硬貨投げの $\bar X$ や ex-unb-examples の 1 の $T(n-T)/(n(n-1))$ がこうして UMVU 推定量になる。
  • 推定量を観測の 1 次式に限るなら、線形モデルの最小二乗推定量が分散最小である(Gauss–Markovの定理)。
    ex-unb-poisson-sign では不偏推定量がただ 1 つなので、それが UMVU 推定量である。UMVU 推定量であっても、平均二乗誤差で比べてよい推定量であるとは限らない。

反例:条件を外すと成り立たないこと

上の結果の仮定を 1 つずつ外すと、結論が成り立たなくなる。

外す仮定反例成り立たなくなること
すべての $\theta$ で期待値が $\tau(\theta)$(定義)定数 $\delta\equiv\tau(\theta_0)$$\theta_0$ でだけ偏りが $0$ で、不偏推定量でない
thm-unb-sample-variance の $n-1$ で割る$n$ で割る $\frac{n-1}nS^2$期待値が $\frac{n-1}n\sigma^2$ で、不偏でない
thm-unb-binomial の $\tau$ が $n$ 次以下の多項式$\tau(p)=p^{n+1}$不偏推定量が存在しない
推定対象が 1 次式の変換(期待値の線形性)$S$ で $\sigma=\sqrt{\sigma^2}$ を推定$E[S]< \sigma$ で、不偏でない(ex-unb-sd)
反例の確かめ

1 行目:$\Theta$ が 2 点以上を含み $\tau(\theta)\ne\tau(\theta_0)$ となる $\theta$ があれば、$E_\theta[\delta]=\tau(\theta_0)\ne\tau(\theta)$ である。
2 行目:thm-unb-sample-variance から $E\bigl[\frac{n-1}nS^2\bigr]=\frac{n-1}n\sigma^2$ であり、$\sigma^2>0$ なら $\sigma^2$ と異なる。
3 行目:$p^{n+1}$ が $n$ 次以下の多項式 $P$ と $(0,1)$ で一致すれば、多項式 $p^{n+1}-P(p)$ は無限個の零点をもつので恒等的に $0$ だが、$p^{n+1}$ の係数は $1$ なので矛盾する。thm-unb-binomial により不偏推定量はない。
4 行目:ex-unb-sd のとおり。$\square$

3 行目は、標本の大きさ $n$ を増やせば解消する。$n'\ge n+1$ 回投げれば $p^{n+1}$ は不偏推定可能になる。不偏推定可能かどうかは、推定対象だけでなくモデル(ここでは $n$)にもよる。

関連項目

参考文献

[1]
Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd ed., corrected 12th printing (2017), Springer, 2009, §3.2(誤差の分散の不偏推定、p. 47)、§3.2.2 The Gauss–Markov Theorem((3.18)〜(3.20)、平均二乗誤差の分散と偏りへの分解と偏りのある推定量、pp. 51–52)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する