Basuの定理(Basu's theorem)とは、有界完備な十分統計量と、分布が母数によらない補助統計量は、母数のどの値のもとでも独立である、という定理である。正規標本の標本平均と標本分散の独立性を 1 行で与えるほか、条件付き期待値や積率の計算を、同時分布を求めずに行う道具になる。完備性を外すと成り立たず、区間 $(\theta,\theta+1)$ 上の一様分布の最小値・最大値と範囲が反例である。
前提知識: 十分統計量, Rao–Blackwellの定理, 条件付き期待値
Basuの定理(Basu's theorem)とは、統計モデルで、有界完備な十分統計量 $T$ と補助統計量 $V$ は、母数のどの値のもとでも独立である、という定理である(Bas55)。補助統計量とは、分布が母数によらない統計量のことである。
典型的な使い方は、独立性の計算を省くことである。正規分布の標本 $X_1,\dots,X_n$ の標本平均 $\bar X$ と標本分散 $S^2=\frac1{n-1}\sum_i(X_i-\bar X)^2$ が独立であることは、$t$ 検定の基礎である。通常は直交変換で示すが、分散 $\sigma^2$ を固定すれば $\bar X$ は平均についての完備十分統計量で、$S^2$ の分布は平均によらないので、独立性は定理から 1 行で出る。
十分統計量は母数についての情報を全部もち、補助統計量は母数の情報をもたないので、両者が独立というのは自然に思える。しかしこの直観だけでは足りず、完備性を外すと成り立たない(ex-basu-counter)。この記事では定理を証明し、完備性を確かめる方法と、独立性を使う計算の手順を述べる。
| 結果 | 内容 |
|---|---|
| thm-basu-main | 有界完備な十分統計量と補助統計量は独立 |
| fml-basu-freeze | $T$ で条件付けるときは $T$ に値を代入して $V$ で平均すればよい |
| prop-basu-expfam | 自然母数が開集合を含む指数型分布族の自然統計量は完備 |
| prop-basu-converse | 十分統計量と独立な統計量は補助的(分布の絶対連続性のもとで) |
統計モデルを、可測空間 $(\mathcal X,\mathcal A)$ の上の確率測度の族 $\{P_\theta\}_{\theta\in\Theta}$ とする。統計量 $T\colon\mathcal X\to\mathcal T$ が 十分統計量 であるとは、有界可測な $\varphi$ のそれぞれについて、$\sigma(T)$-可測な関数 $Y_\varphi$ で、すべての $\theta$ で $E_\theta[\varphi\mid T]$ の版になるものがあることをいう(十分統計量 の定義「十分統計量(一般の場合)」)。
統計量 $V\colon\mathcal X\to\mathcal V$ の分布が $\theta$ によらないとき、すなわち可測集合 $B\subset\mathcal V$ について $P_\theta(V\in B)$ がすべての $\theta$ で等しいとき、$V$ を 補助統計量(ancillary statistic)という(ER10 Definition 9.1.1)。
統計量 $T$ が 有界完備(boundedly complete)であるとは、$\sigma(T)$-可測な有界関数 $Z$ がすべての $\theta$ で $E_\theta[Z]=0$ を満たすなら、すべての $\theta$ で $P_\theta(Z=0)=1$ となることをいう。有界の仮定を、すべての $\theta$ で $E_\theta\lvert Z\rvert< \infty$ に替えたものが 完備 である(Rao–Blackwellの定理 の定義「完備な統計量」、ER10 Definition 8.1.3)。
完備なら有界完備である。逆は成り立たない(rem-basu-bounded)。定理を使うには次の 3 つを確かめる。
$T$ を有界完備な十分統計量、$V$ を補助統計量とする。このとき、すべての $\theta\in\Theta$ について、$P_\theta$ のもとで $T$ と $V$ は独立である。
可測集合 $B\subset\mathcal V$ を固定する。$V$ は補助統計量なので、$p:=P_\theta(V\in B)$ は $\theta$ によらない。
$T$ は十分なので、$\varphi=\mathbf 1_{\{V\in B\}}$ に対し、$\sigma(T)$-可測な関数 $Y$ で、すべての $\theta$ で $E_\theta[\varphi\mid T]$ の版になるものがある。$Y$ を $Y^+\wedge1$ に取り替えてよい。条件付き期待値は各 $\theta$ でほとんど確実に $[0,1]$ に値をとるので、取り替えても版のままで、$Y$ は有界である。
$Z:=Y-p$ とおく。$Z$ は $\sigma(T)$-可測で有界であり、すべての $\theta$ で
$$
E_\theta[Z]=E_\theta\bigl[E_\theta[\varphi\mid T]\bigr]-p=P_\theta(V\in B)-p=0
$$
である。有界完備性から、すべての $\theta$ で $P_\theta(Y=p)=1$ である。
$\theta$ と、$\mathcal T$ の可測集合 $C$ を固定すると、$\{T\in C\}\in\sigma(T)$ なので
$$
P_\theta(T\in C,\ V\in B)=E_\theta[\mathbf 1_C(T)\,Y]=p\,P_\theta(T\in C)=P_\theta(V\in B)\,P_\theta(T\in C)
$$
である。$B,C$ は任意なので $T$ と $V$ は独立である。$\square$
証明が使うのは、$\theta$ によらない版 $Y$ が 1 つとれること(十分性)と、平均が一定の $T$ の有界関数は定数であること(有界完備性)の 2 点である。
$T$ を有界完備な十分統計量とする。実数値の $V$ が $T$ の関数で補助統計量なら、$V$ はほとんど確実に定数である(各 $\theta$ で同じ定数)。
thm-basu-main により $V$ は $T$ と独立なので、$T$ の関数である $V$ 自身とも独立である。よって $P_\theta(V\le v)=P_\theta(V\le v)^2$ で、分布関数は $0$ か $1$ の値だけをとるので、$V$ はほとんど確実に定数である。$V$ の分布は $\theta$ によらないので、定数も $\theta$ によらない。$\square$
逆向きの主張は次のとおりである。
$T$ を十分統計量とし、$\sigma(T)$ の上で $P_\theta$($\theta\in\Theta$)が互いに絶対連続であるとする。$V$ がすべての $\theta$ で $T$ と独立なら、$V$ は補助統計量である。
$B$ を固定し、$Y$ を $\mathbf 1_{\{V\in B\}}$ の $\theta$ によらない版とする。独立性から、各 $\theta$ で $Y=P_\theta(V\in B)$ が $P_\theta$-ほとんど確実に成り立つ。$\{Y=c\}\in\sigma(T)$ で $P_\theta,P_{\theta'}$ は $\sigma(T)$ の上で同じ零集合をもつので、$c=P_\theta(V\in B)$ とすると $P_{\theta'}(Y=c)=1$ である。よって $P_{\theta'}(V\in B)=c$ である。$\square$
絶対連続性は外せない(ex-basu-counter の 5 行目)。
以下 $T,V$ は thm-basu-main の統計量とする。$E[\,\cdot\,]$ は $V$ の分布($\theta$ によらない)についての期待値である。
| 公式 | 使える条件 | 根拠 |
|---|---|---|
| $E_\theta[f(V)g(T)]=E[f(V)]\,E_\theta[g(T)]$ | $f(V),g(T)$ が可積分 | thm-basu-main |
| $E[V^k]=E_\theta[(VT)^k]/E_\theta[T^k]$ | $V,T$ は実数値で $E_\theta\lvert VT\rvert^k< \infty$、$E_\theta[T^k]\ne0$($E_\theta\lvert T\rvert^k$ が有限) | 1 行目 |
| $\mathrm{Cov}_\theta(T+aV,\ T)=\mathrm{Var}_\theta(T)$ | $T,V$ が実数値で 2 乗可積分 | 1 行目 |
| $E_\theta[\phi(V,T)\mid T=t]=E[\phi(V,t)]$ | $\phi(V,T)$ が可積分 | fml-basu-freeze |
$\phi$ を可測で、$\phi(V,T)$ が $P_\theta$ のもとで可積分とする。$\Phi(t):=E[\phi(V,t)]$ とおくと $E_\theta[\phi(V,T)\mid T]=\Phi(T)$ である。
独立性から $(V,T)$ の同時分布は積測度である。可測集合 $C$ について、Fubini の定理により $E_\theta[\phi(V,T);T\in C]=\int_C E[\phi(V,t)]\,P_\theta(T\in dt)=E_\theta[\Phi(T);T\in C]$ である。$\square$
$\Phi$ の式に $\theta$ が現れないので、$\Phi(T)$ は推定量として計算できる。Rao–Blackwellの定理 の Rao–Blackwell 化を、条件付き分布を求めずに計算できる(ex-basu-umvu)。
指数型分布族 の定義のとおり、基準の測度 $\nu_h$ と自然統計量 $T\colon\mathcal X\to\mathbb{R}^k$ により、$\eta\in\Theta\subset\mathbb{R}^k$ に対して密度 $h(x)e^{\eta\cdot T(x)-A(\eta)}$ をもつ族を考える。
$\Theta$ が $\mathbb{R}^k$ の空でない開集合を含むなら、$T$ は完備である。
$Z$ を def-basu-complete の関数とする。$Z$ は $\sigma(T)$-可測なので $Z=g(T)$ と書ける。$\mu$ を $\nu_h$ の $T$ による像とする。すべての $\eta\in\Theta$ で $\int\lvert g\rvert e^{\eta\cdot t}d\mu< \infty$、$\int ge^{\eta\cdot t}d\mu=0$ である。
$\eta_0$ と $\delta>0$ を、$\{\eta\mid\max_j\lvert\eta_j-\eta_{0,j}\rvert< \delta\}\subset\Theta$ となるようにとる。$z\in\mathbb{C}^k$、$\max_j\lvert\operatorname{Re}z_j\rvert< \delta$ で
$$
F(z):=\int g(t)\,e^{(\eta_0+z)\cdot t}\,\mu(dt)
$$
は絶対収束する。$\lvert e^{(\eta_0+z)\cdot t}\rvert=e^{(\eta_0+\operatorname{Re}z)\cdot t}$ だからである。Fubini の定理と Morera の定理により、$F$ は各変数について帯状領域で正則である。
$z$ が実のとき $F(z)=0$ である。$z_2,\dots,z_k$ を実に固定すると、一致の定理から $F$ は $z_1$ の帯状領域全体で $0$ である。次に $z_1$ を帯状領域の点に固定して $z_2$ について同じ議論をする。これを繰り返すと、$\xi\in\mathbb{R}^k$ について $F(i\xi)=0$ である。
$F(i\xi)$ は有限な符号付き測度 $g(t)e^{\eta_0\cdot t}\mu(dt)$ の Fourier 変換なので、Fourier 変換の単射性からこの測度は $0$ である($g$ の正の部分と負の部分をそれぞれ $g^+,g^-$ とすると、$g^\pm(t)e^{\eta_0\cdot t}\mu(dt)$ の Fourier 変換が等しく、$\xi=0$ で全質量も等しい。全質量が $0$ なら両方 $0$ で、正なら全質量で割った 2 つの確率測度の特性関数が一致する。特性関数は分布を決める:$k=1$ は 特性関数(確率論) の系「特性関数は分布を決める」、$k\ge2$ は同じ記事の節「補足」にあり、この記事では証明しない)。よって $g=0$ が $\mu$-ほとんどいたるところ成り立つ。$T$ の $P_\eta$ のもとでの分布は $\mu$ に絶対連続なので、すべての $\eta$ で $P_\eta(Z=0)=1$ である。$\square$
$Y=(Y_1,\dots,Y_n)$ の分布を固定する。
1 は $X=Y+\theta\mathbf 1$ に $V$ の不変性を $c=\theta$ で当てる。2 は $X=\theta Y$ に不変性を $c=\theta$ で当てる。右辺 $V(Y)$ の分布は $Y$ の分布だけで決まり、$\theta$ を含まない。$\square$
差 $X_i-X_j$、$S^2$、範囲 $\max_iX_i-\min_iX_i$ は 1 の例で、比 $X_i/X_j$、$X_i/\sum_jX_j$ は 2 の例である。
$X_1,\dots,X_n$($n\ge2$)を独立な $N(m,\sigma^2)$ とする。答え:すべての $(m,\sigma^2)$ で $\bar X$ と $S^2$ は独立である。$m=1$、$\sigma=2$、$n=5$ なら $E[\bar X^2S^2]=(m^2+\sigma^2/n)\sigma^2=7.2$ である。
使う公式:prop-basu-expfam、lem-basu-invariant の 1、公式の表の 1 行目。
$\sigma$ を固定し $m\in\mathbb{R}$ だけを動かすモデルを考える。密度は $\exp((m/\sigma^2)\sum_ix_i-nm^2/(2\sigma^2))\prod_ig_\sigma(x_i)$ の形で、$g_\sigma$ は $N(0,\sigma^2)$ の密度である。よって自然母数 $m/\sigma^2$ は $\mathbb{R}$ 全体を動き、$\sum_iX_i$(したがって $\bar X$)は完備十分である。$S^2$ は平行移動で不変なので補助統計量である。この $\sigma$ のモデルで定理を当てれば、その $\sigma$ と任意の $m$ で独立である。$\sigma$ は任意だった。$E[\bar X^2]=m^2+\sigma^2/n=1.8$、$E[S^2]=\sigma^2=4$ で積は $7.2$ である(不偏推定量 の定理「$n-1$ で割る標本分散の不偏性」)。
$X_1,\dots,X_n$ を独立で、形状 $\alpha$(既知)、率 $\lambda>0$ の ガンマ分布 とする。$T=\sum_iX_i$、$V=X_1/T$ とする。答え:$T$ と $V$ は独立で、$E[V^2]=E[X_1^2]/E[T^2]=\frac{\alpha(\alpha+1)}{n\alpha(n\alpha+1)}$ である。$\alpha=2$、$n=3$ なら $\frac17\approx0.142857$ である。
使う公式:prop-basu-expfam($\eta=-\lambda$)、lem-basu-invariant の 2($X_i=\lambda^{-1}Y_i$)、公式の表の 2 行目($VT=X_1$)。$T$ は形状 $n\alpha$ のガンマ分布に従う。
$X_1,\dots,X_n$($n\ge2$)を独立で $(0,\theta)$ 上の一様分布とする。$T=\max_iX_i$、$V=\min_iX_i/T$ とする。答え:$T$ と $V$ は独立で、$E[V]=E[\min_iX_i]/E[T]=\frac1n$ である。$n=5$ なら $0.2$ である。
$T$ の十分性は 十分統計量 の例「正規分布・指数分布・区間上の一様分布」の 4 である。$T$ の密度は $nt^{n-1}\theta^{-n}$($0< t< \theta$)で、すべての $\theta$ で $E_\theta\lvert g(T)\rvert< \infty$、$E_\theta[g(T)]=0$ なら $\int_0^\theta g(t)t^{n-1}dt=0$(すべての $\theta$)である。Lebesgue の微分定理から $g=0$ がほとんどいたるところ成り立つ。$V$ は尺度で不変である。$E[\min_iX_i]=\theta/(n+1)$、$E[T]=n\theta/(n+1)$ である。
$X_i=\theta+E_i$($E_i$ は率 $1$ の独立な指数分布、$\theta\in\mathbb{R}$)とする。$T=\min_iX_i$、$V=\sum_i(X_i-T)$ とする。答え:$T$ と $V$ は独立である。$\bar X=T+V/n$ なので $\mathrm{Cov}_\theta(\bar X,T)=\mathrm{Var}_\theta(T)=1/n^2$ で、$n=4$ なら $0.0625$ である。
密度 $e^{n\theta}\mathbf 1\{\min_ix_i>\theta\}\,e^{-\sum_ix_i}$ から $T$ は十分である(十分統計量 の定理の $Q$ には $Q=\sum_{k\in\mathbb{Z}}\frac13 2^{-\lvert k\rvert}P_k$ をとる)。$T-\theta$ は率 $n$ の指数分布で、$E_\theta[g(T)]=0$ は $\int_\theta^\infty g(t)e^{-nt}dt=0$(すべての $\theta$)を意味するので、$g=0$ がほとんどいたるところ成り立つ。$V$ は平行移動で不変である。
$X_1,\dots,X_n$($n\ge2$)を独立な $N(m,\sigma^2)$($\sigma$ は既知)とし、$\tau(m)=P_m(X_1\le c)$ を推定する。答え:UMVU 推定量は $\Phi\bigl((c-\bar X)/(\sigma\sqrt{1-1/n})\bigr)$ である($\Phi$ は標準正規分布の分布関数)。$n=4$、$\sigma=1$、$c=0$、$\bar x=0.5$ なら $\Phi(-0.57735)\approx0.28185$ である。
使う公式:fml-basu-freeze、Rao–Blackwellの定理 の定理「Lehmann–Scheffé の定理」。
$\mathbf 1\{X_1\le c\}$ は不偏で有界である。$V:=X_1-\bar X$ は平行移動で不変で、$N(0,\sigma^2(1-1/n))$ に従う。$\phi(v,t)=\mathbf 1\{v+t\le c\}$ として fml-basu-freeze を当てると、$E_m[\mathbf 1\{X_1\le c\}\mid\bar X=t]=P(V\le c-t)$ である。
$Z_1,Z_2$ を独立な $N(0,\sigma^2)$ とする。$U:=Z_1^2+Z_2^2$ は完備十分で($\eta=-1/(2\sigma^2)$)、$W:=Z_1Z_2/U$ は尺度で不変なので、$U$ と $W$ は独立である。$\sigma=1$ で $U$ は平均 $2$ の指数分布に従うので、$Z_1Z_2=UW$ は指数分布の変数と独立な変数の積である。Goldie–Steutel の法則を負の値もとる $W$ へ拡張したもの(DG07 Lemma 1 とその注意、p. 949)を $Z_1Z_2=(U/2)(2W)$ に当てると($U/2$ は率 $1$ の指数分布に従う)、$Z_1Z_2$ の分布は 無限分解可能分布 である(DG07 Theorem 3 の証明、p. 950)。確かめ:$E[U^2]=8$、$W=\frac12\sin2\Theta$($\Theta$ は一様な偏角)から $E[W^2]=\frac18$ で、積は $1=E[Z_1^2Z_2^2]$ である。
図: 左は正規分布 N(0,1) の 5 個の標本 2000 組について標本平均を横軸、標本分散を縦軸に描いた散布図で、標本平均の値によって標本分散の広がりは変わらない。右は区間 (θ,θ+1) 上の一様分布の 5 個の標本 2000 組について最小値と最大値の中点を横軸、範囲を縦軸に描いた散布図で、点は三角形の中に集まり、範囲が 1 に近いと中点の幅が狭くなる。
図の左は定理が成り立つ場合、右は完備性がない場合である。右の範囲は補助統計量だが、十分統計量 $(\min_iX_i,\max_iX_i)$ の関数なので独立でない。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $T$ が十分 | $N(\theta,1)$ の 2 標本、$T=X_1$、$V=X_1-X_2$ | $T$ は完備、$V$ は補助的だが $\mathrm{Cov}_\theta(T,V)=1$ |
| $T$ が有界完備 | $(\theta,\theta+1)$ 上の一様分布の $n\ge2$ 標本、$T=(\min_iX_i,\max_iX_i)$、$V=\max_iX_i-\min_iX_i$ | $T$ は十分、$V$ は補助的だが $V$ は $T$ の非定数の関数で独立でない |
| prop-basu-expfam の開集合(母数の範囲が曲線) | $N(\theta,\theta^2)$($\theta>0$)の $n\ge2$ 標本、$T=(\bar X,S^2)$、$V=\bar X/S$ | $T$ は十分、$V$ は補助的だが $V$ は $T$ の非定数の関数で独立でない。$T$ は完備でない |
| $V$ が補助的 | $N(\theta,1)$、$T=V=\bar X$ | $T$ は完備十分だが、$\bar X$ は定数でなく自分自身と独立でない |
| prop-basu-converse の絶対連続性 | $X=(T,V)$、$T=\theta\in\{0,1\}$(確定)、$V\sim N(\theta,1)$ | $T$ は十分で $V$ は $T$ と独立だが、$V$ の分布は $\theta$ による |
1 行目:$T=X_1$ の完備性は prop-basu-expfam を $X_1$ だけのモデルに当てればよい($Z$ は $\sigma(X_1)$-可測で、$E_\theta[Z]$ は $X_1$ の分布だけで決まる)。$T$ が十分でないのは、$X_1$ を与えたときの $X_2$ の分布 $N(\theta,1)$ が $\theta$ による版しかもたないからである。$\mathrm{Cov}_\theta(X_1,X_1-X_2)=1$ である。
2 行目:密度は $\mathbf 1\{\theta<\min_ix_i\}\mathbf 1\{\max_ix_i<\theta+1\}$ なので因子分解できる($Q$ には有理数 $q$ の $P_q$ を正の重みで混ぜたものをとる。$\max_ix_i-\min_ix_i< 1$ なら $x\in(q,q+1)^n$ となる有理数 $q$ がある)。$V$ は平行移動で不変で、定数でない。cor-basu-function から $T$ は有界完備でない。実際 $E_\theta[V]=(n-1)/(n+1)$ なので $Z:=(V-\frac{n-1}{n+1})$ は有界で平均 $0$、$0$ でない。
3 行目:$\theta$ を動かしても $(\eta_1,\eta_2)=(1/\theta,-1/(2\theta^2))$ は曲線の上にあり開集合を含まない。$X_i=\theta(1+Y_i)$($Y_i$ は標準正規)なので $V$ は $\theta$ によらない。$V$ は $T$ の非定数の関数である。平均 $0$ の非零の関数の例は $\frac n{n+1}\bar X^2-S^2$ である($E_\theta[\bar X^2]=\theta^2(n+1)/n$、$E_\theta[S^2]=\theta^2$)。
4 行目:$\bar X$ は正規分布に従い定数でないので、自分自身と独立でない。その分布は $\theta$ による。
5 行目:$T$ を与えると $V$ の条件付き分布は $N(T,1)$ で、$\theta$ によらない版 $Y_\varphi(T)$ がとれるので $T$ は十分である。各 $\theta$ で $T$ は定数なので $V$ と独立である。$\sigma(T)$ の上で $P_0,P_1$ は互いに特異である。$\square$
$\{-1,0,1,2,\dots\}$ の上で $P_\theta(X=-1)=\theta$、$P_\theta(X=k)=(1-\theta)^2\theta^k$($k\ge0$、$0< \theta< 1$)とする。$E_\theta[g(X)]=0$ を $\theta$ の冪級数で展開すると $g(k)=-kg(-1)$ を得る。$g$ が有界なら $g=0$ なので $X$ は有界完備で、$g(x)=x$ は可積分で平均 $0$ なので完備でない。thm-basu-main の仮定は有界完備で足りる。
| 誤り | 正しくは | なぜ |
|---|---|---|
| 十分統計量と補助統計量はいつも独立である | 有界完備でなければ成り立たない | ex-basu-counter の 2 行目 |
| $S^2$ は正規モデルの補助統計量である | $\sigma$ を固定したモデルでだけ補助的。$(m,\sigma^2)$ のモデルでは分布が $\sigma$ による | ex-basu-normal は $\sigma$ ごとに定理を当てる |
| 完備な統計量と補助統計量は独立である | 十分性が要る | ex-basu-counter の 1 行目 |
| $T$ と独立な統計量はいつも補助的である | $\sigma(T)$ の上の絶対連続性が要る | prop-basu-converse |
| 指数型分布族なら自然統計量は完備である | 自然母数の範囲が開集合を含むことが要る | ex-basu-counter の 3 行目 |
| $E[V]=E[VT]/E[T]$ は積なのでいつも使える | 独立性(または無相関)が要る | 公式の表の 1 行目 |
定理は Bas55 Theorem 2(p. 378)による。完備性を使わない近似の形もあり、一般の統計量 $T,U$ について、同時分布と周辺分布の積の全変動距離を、条件付き密度の分散で上から評価できる(DG07 Theorem 1、p. 946)。thm-basu-main の状況ではこの分散が $0$ になる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する