十分統計量

同義語:sufficient statistic

概要

十分統計量(sufficient statistic)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ で観測したデータ $X$ の関数 $T(X)$ であって、$T(X)$ の値を与えたときの $X$ の条件付き分布が母数 $\theta$ によらないものをいう。$\theta$ についての推論には $T(X)$ だけで足りることを表す。標本空間が可算なら、$T$ が十分であることは確率関数が $g_\theta(T(x))\,h(x)$ と因子分解できることと同値である(因子分解定理)。独立な硬貨投げの表の回数や、区間 $(0,\theta)$ 上の一様分布の標本の最大値が例である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 統計学, 条件付き確率, 条件付き期待値

十分統計量(sufficient statistic)とは、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ のもとで観測したデータ $X$ の関数 $T(X)$ であって、$T(X)$ の値を与えたときの $X$ の条件付き分布が母数 $\theta$ によらないものをいう。$T(X)$ の値を知ったあとで $X$ の残りの部分を見ても、それは $\theta$ と関係のない乱数を見るのと同じなので、$\theta$ についての推論には $T(X)$ だけで足りる。
硬貨を $n$ 回投げて表の出る確率 $p$ を推論するとき、記録 $X=(X_1,\dots,X_n)\in\{0,1\}^n$ の全体を残さなくても、表の回数 $X_1+\dots+X_n$ だけを残せば足りる。表の回数が $t$ だと分かったあとの並び方は、$p$ がいくつであっても $\binom nt$ 通りが同じ確率で起こるからである。Fisher は、推定する母数の値について、同じ標本から計算できるほかのどの統計量も情報を付け加えないような統計量を、十分性の基準を満たす統計量とよんだ(Fis22 p. 310、§4 pp. 316–317)。
この記事では、まず標本空間が可算の場合に十分統計量を定義し、確率関数の形から十分統計量を見分ける 因子分解定理 を証明する。次に条件付き期待値を使って一般の場合の定義を述べ、密度をもつモデルで因子分解から十分性を導く。最後に、データを最も粗く要約する 最小十分統計量 を述べる。十分統計量を使って推定量を改良する定理は Rao–Blackwellの定理 で扱う。

結果内容
thm-suf-factorization可算の場合、十分であることと確率関数が $g_\theta(T(x))\,h(x)$ と分解できることは同値
prop-suf-equivalent可算の場合、条件付き分布による定義と条件付き期待値による定義は一致する
thm-suf-density密度が $g_\theta(T(x))\,h(x)$ と分解でき、族を可算個の混合が支配するなら十分
prop-suf-minimal可算で確率関数が正の場合、尤度比が $\theta$ によらない 2 点で値が等しい十分統計量は最小

設定

統計モデル とは、可測空間 $(\mathcal X,\mathcal A)$ とその上の確率測度の族 $\{P_\theta\}_{\theta\in\Theta}$ の組である。$\mathcal X$ を標本空間、$\theta$ を母数という。データ $X$ は $\mathcal X$ に値をとり、その分布はある未知の $\theta$ について $P_\theta$ である。以下では標本空間そのものを確率空間 $(\mathcal X,\mathcal A,P_\theta)$ とみて、$X$ を恒等写像とする。$P_\theta$ による確率と期待値を $P_\theta$、$E_\theta$ と書く。
統計量 とは、可測空間 $(\mathcal T,\mathcal B)$ への可測写像 $T\colon\mathcal X\to\mathcal T$ のことである。$T$ の式に $\theta$ は現れないので、データから $T(X)$ が計算できる。$T$ が生成する σ-代数を $\sigma(T):=\{T^{-1}(B)\mid B\in\mathcal B\}$ と書く。

可算の場合

この節では、$\mathcal X$ と $\mathcal T$ は可算集合で、$\mathcal A$、$\mathcal B$ はすべての部分集合の族とする。$f_\theta(x):=P_\theta(\{x\})$ を確率関数とよび、$q_\theta(t):=P_\theta(T=t)$ とおく。

十分統計量(可算の場合)

統計量 $T\colon\mathcal X\to\mathcal T$ が 十分統計量 であるとは、$\theta$ によらない関数 $w\colon\mathcal X\to[0,1]$ があって、すべての $\theta\in\Theta$ と $x\in\mathcal X$ について
$$ f_\theta(x)=w(x)\,q_\theta\bigl(T(x)\bigr) $$
が成り立つことをいう。

$q_\theta(t)>0$ なら、$T(x)=t$ を満たす $x$ について $P_\theta(X=x\mid T=t)=f_\theta(x)/q_\theta(t)=w(x)$ である。つまり定義の条件は「$T$ の値を与えたときの $X$ の条件付き分布が $\theta$ によらない」ことを、$q_\theta(t)=0$ の場合も含めて 1 つの式で書いたものである。

因子分解定理

因子分解定理(可算の場合)

統計量 $T\colon\mathcal X\to\mathcal T$ について、次の 2 つは同値である。

  1. $T$ は十分統計量である。
  2. 関数 $g_\theta\colon\mathcal T\to[0,\infty)$($\theta\in\Theta$)と、$\theta$ によらない関数 $h\colon\mathcal X\to[0,\infty)$ があって、すべての $\theta$ と $x$ について $f_\theta(x)=g_\theta(T(x))\,h(x)$ が成り立つ。
1 から 2 は定義そのもの、2 から 1 は $T$ の値ごとに正規化する

1 ⇒ 2. $g_\theta:=q_\theta$、$h:=w$ とおけばよい。
2 ⇒ 1. $t\in\mathcal T$ について $H(t):=\sum_{y\colon T(y)=t}h(y)\in[0,\infty]$ とおく。$T(y)=t$ を満たす $y$ について 2 の式を足すと、$g_\theta(t)$ が共通にくくり出せて
$$ q_\theta(t)=g_\theta(t)\,H(t)\qquad(0\cdot\infty:=0) $$
となる。左辺は $1$ 以下なので、$g_\theta(t)>0$ となる $\theta$ が 1 つでもあれば $H(t)< \infty$ である。そこで
$$ w(x):=\begin{cases}h(x)/H(T(x)) & (0< H(T(x))< \infty),\\ 0 & (\text{それ以外})\end{cases} $$
と定める。$h(x)\le H(T(x))$ なので $0\le w\le1$ であり、$w$ は $\theta$ によらない。$\theta$ と $x$ を固定し、$t:=T(x)$ とおいて $f_\theta(x)=w(x)q_\theta(t)$ を確かめる。

  • $0< H(t)< \infty$ のとき:$w(x)q_\theta(t)=\dfrac{h(x)}{H(t)}\,g_\theta(t)H(t)=g_\theta(t)h(x)=f_\theta(x)$。
  • $H(t)=0$ のとき:$h(x)\le H(t)=0$ なので $f_\theta(x)=0$ であり、右辺も $w(x)=0$ より $0$。
  • $H(t)=\infty$ のとき:上の注意から $g_\theta(t)=0$ なので $f_\theta(x)=0$ であり、右辺も $w(x)=0$ より $0$。
    よって $T$ は十分統計量である。$\square$

因子分解の形は一意ではない。$g_\theta$ に正の定数を掛けて $h$ をその定数で割っても、同じ $f_\theta$ を与える。大事なのは、$\theta$ と $x$ が両方現れる因子が、$x$ を $T(x)$ を通してだけ含むことである。

独立同分布の標本でよく使う十分統計量

以下 $X=(X_1,\dots,X_n)$ は互いに独立で、どれも同じ分布に従うとする。

  1. 硬貨投げ:$P_p(X_i=1)=p$、$P_p(X_i=0)=1-p$($0< p< 1$)なら、$x\in\{0,1\}^n$ について $f_p(x)=p^{t}(1-p)^{n-t}$($t=x_1+\dots+x_n$)である。$g_p(t)=p^t(1-p)^{n-t}$、$h=1$ として、表の回数 $T=X_1+\dots+X_n$ は十分統計量である。
  2. 個数のデータ:各 $X_i$ が平均 $\lambda>0$ の Poisson分布 に従うなら、$f_\lambda(x)=e^{-n\lambda}\lambda^{x_1+\dots+x_n}/(x_1!\cdots x_n!)$ なので、和 $T=X_1+\dots+X_n$ は十分統計量である。
  3. 通し番号の最大値:各 $X_i$ が $\{1,2,\dots,N\}$ 上の一様な分布に従い、$N\in\{1,2,\dots\}$ が母数なら、$x\in\{1,2,\dots\}^n$ について
    $$ f_N(x)=N^{-n}\,\mathbf 1\{\max_i x_i\le N\} $$
    である。$g_N(m)=N^{-n}\mathbf 1\{m\le N\}$、$h=1$ として、最大値 $M=\max_iX_i$ は十分統計量である。番号の振られた品物を無作為に $n$ 回観察して(同じ品物を重ねて見ることも許す)総数 $N$ を推定するとき、どの番号を見たかのうち意味をもつのは最大の番号だけである。
  4. 並べ替えた標本:各 $X_i$ が実数の可算集合に値をとり、その確率関数が $r_\theta$ なら $f_\theta(x)=\prod_ir_\theta(x_i)$ は $x_1,\dots,x_n$ の並べ方によらない。$x$ を小さい順に並べ替えた組を $S(x)$ とし、$g_\theta(s):=\prod_ir_\theta(s_i)$、$h=1$ とおけば $f_\theta=g_\theta\circ S\cdot h$ なので、$S$ は十分統計量である。独立同分布の標本では、観測の順番は母数について何も教えない。

十分統計量の関数

十分統計量を値として決める統計量

$T\colon\mathcal X\to\mathcal T$ を十分統計量とし、$U\colon\mathcal X\to\mathcal U$($\mathcal U$ は可算集合)を統計量とする。関数 $\Phi\colon\mathcal U\to\mathcal T$ があって $T=\Phi\circ U$ なら、$U$ も十分統計量である。とくに、全単射 $\Phi$ による $T$ の書き換え(たとえば表の回数 $T$ から標本平均 $T/n$ へ)も十分統計量である。

thm-suf-factorization により $f_\theta(x)=g_\theta(T(x))h(x)=(g_\theta\circ\Phi)(U(x))\,h(x)$ と書ける。$g_\theta\circ\Phi\colon\mathcal U\to[0,\infty)$ なので、同じ定理により $U$ は十分統計量である。$\square$

$U$ のほうが情報を多く残している($U$ の値から $T$ の値が分かる)ので、十分統計量より細かい統計量はやはり十分である。データ $X$ そのもの(恒等写像)は、つねに十分統計量である。知りたいのは逆向き、つまり十分なまま、どこまで粗く要約できるかである。

一般の場合

標本空間が可算でないとき、$P_\theta(T=t)$ はふつう $0$ なので、可算の場合の定義はそのままでは使えない。そこで条件付き確率の代わりに 条件付き期待値 を使う。$E_\theta[\varphi\mid T]$ は確率空間 $(\mathcal X,\mathcal A,P_\theta)$ での σ-代数 $\sigma(T)$ に関する条件付き期待値を表す。

十分統計量(一般の場合)

統計量 $T\colon\mathcal X\to\mathcal T$ が 十分統計量 であるとは、有界な $\mathcal A$-可測関数 $\varphi\colon\mathcal X\to\mathbb R$ のそれぞれについて、$\sigma(T)$-可測な関数 $Y_\varphi\colon\mathcal X\to\mathbb R$ があって、すべての $\theta\in\Theta$ について $Y_\varphi$ が $E_\theta[\varphi\mid T]$ の版になることをいう。

$Y_\varphi$ を $\varphi$ に対する $\theta$ によらない版 とよぶ。条件付き期待値の版はもともと $\theta$ ごとに選ぶものだが、十分統計量ではそれを 1 つの関数で一斉に選べる。$\varphi=\mathbf 1_A$($A\in\mathcal A$)とすれば、$Y_{\mathbf 1_A}$ は「$T$ の値を与えたときに $X\in A$ となる確率」を $\theta$ によらずに与える。$Y_\varphi$ は $\sigma(T)$-可測なので、$T(x)=T(x')$ なら $Y_\varphi(x)=Y_\varphi(x')$ である($Y_\varphi(x)\ne Y_\varphi(x')$ なら、$\sigma(T)$ に属する集合 $\{Y_\varphi=Y_\varphi(x)\}$ が $x$ を含み $x'$ を含まないが、$\sigma(T)$ の集合は $T^{-1}(B)$ の形なので、$T$ の値が等しい 2 点を分けられない)。つまり $Y_\varphi$ の値は $T$ の値だけで決まり、データから計算できる。

可算の場合の 2 つの定義の一致

def-suf-discrete の状況($\mathcal X$、$\mathcal T$ が可算)で、$T$ が def-suf-discrete の意味で十分であることと、def-suf-general の意味で十分であることは同値である。

版を $T$ の値ごとの加重平均で書く

要点:可算の場合の $w$ で重みを付けた平均が $\theta$ によらない版になり、逆に一点の指示関数の版から $w$ が得られる。

詳細

可算の場合、$\sigma(T)$ は $T^{-1}(B)$($B\subset\mathcal T$)の全体であり、$T$ の値ごとの集合 $\{T=t\}$ の上で定数な関数はすべて $\sigma(T)$-可測である。

可算の定義 ⇒ 一般の定義.有界な $\varphi$ について、$\sum_{y\colon T(y)=T(x)}w(y)\le1$ のとき $Y_\varphi(x):=\sum_{y\colon T(y)=T(x)}w(y)\varphi(y)$、それ以外のとき $Y_\varphi(x):=0$ とおく。$Y_\varphi$ は各 $\{T=t\}$ の上で定数なので $\sigma(T)$-可測であり、$\lvert Y_\varphi\rvert\le\sup\lvert\varphi\rvert$ である。$\theta$ を固定する。$q_\theta(t)>0$ なら、$T(y)=t$ について $f_\theta(y)=w(y)q_\theta(t)$ を足して $\sum_{y\colon T(y)=t}w(y)=1$ を得る。$q_\theta(t)=0$ なら、$T(y)=t$ を満たす $y$ で $f_\theta(y)=0$ である。よって $B\subset\mathcal T$ について $E_\theta[Y_\varphi;T\in B]=\sum_{t\in B,\,q_\theta(t)>0}q_\theta(t)\sum_{y\colon T(y)=t}w(y)\varphi(y)=\sum_{y\colon T(y)\in B}f_\theta(y)\varphi(y)=E_\theta[\varphi;T\in B]$ であり、$Y_\varphi$ は $E_\theta[\varphi\mid T]$ の版である。

一般の定義 ⇒ 可算の定義.$x\in\mathcal X$ について $\varphi=\mathbf 1_{\{x\}}$ の $\theta$ によらない版 $Y$ をとり、$t:=T(x)$ とおく。$q_\theta(t)>0$ となる $\theta$ について、版の条件を集合 $\{T=t\}$ に当てると $Y(x)\,q_\theta(t)=E_\theta[Y;T=t]=E_\theta[\mathbf 1_{\{x\}};T=t]=f_\theta(x)$ なので、$Y(x)=f_\theta(x)/q_\theta(t)\in[0,1]$ である。そのような $\theta$ が存在すれば $w(x):=Y(x)$、存在しなければ $w(x):=0$ と定める。$q_\theta(t)>0$ なら $f_\theta(x)=w(x)q_\theta(t)$ はいま示したとおりであり、$q_\theta(t)=0$ なら $f_\theta(x)\le q_\theta(t)=0$ なので両辺とも $0$ である。$\square$

密度をもつモデル

$\mu$ を $(\mathcal X,\mathcal A)$ 上の σ-有限な測度とし、各 $P_\theta$ が $\mu$ に関する密度 $f_\theta$ をもつとする(Radon–Nikodymの定理 の定義「密度」)。2 つの確率測度 $P,Q$ について、$Q(A)=0$ なら $P(A)=0$ となることを $P\ll Q$ と書く。

密度の因子分解から十分性へ

可測関数 $g_\theta\colon\mathcal T\to[0,\infty)$($\theta\in\Theta$)と、$\theta$ によらない可測関数 $h\colon\mathcal X\to[0,\infty)$ があって、すべての $\theta$ について $\mu$-ほとんどいたるところ
$$ f_\theta(x)=g_\theta\bigl(T(x)\bigr)\,h(x) $$
が成り立つとする。さらに、母数の可算個の値 $\theta_1,\theta_2,\dots$ と、和が $1$ の正の数 $c_1,c_2,\dots$ があって、$Q:=\sum_ic_iP_{\theta_i}$ について、すべての $\theta$ で $P_\theta\ll Q$ が成り立つとする。このとき $T$ は十分統計量であり、有界な $\varphi$ について $E_Q[\varphi\mid T]$ の版が $\theta$ によらない版になる。

族 $\{P_\theta\}$ が $Q$ に「支配される」という仮定は、族の中の可算個を混ぜた分布が、どの $P_\theta$ でも起こりうる事象をすべて起こりうる事象として含む、ということである。具体的なモデルでは $Q$ は次の例のように簡単に作れる。

$Q$ に関する $P_\theta$ の密度が $T$ だけの関数になる

段 1:$Q$ の密度. $G:=\sum_ic_ig_{\theta_i}\colon\mathcal T\to[0,\infty]$ とおく。単調収束定理(Lebesgue積分 の定理「単調収束定理」)により、$A\in\mathcal A$ について
$$ Q(A)=\sum_ic_i\int_Ag_{\theta_i}(T)\,h\,d\mu=\int_AG(T)\,h\,d\mu $$
である。$N_0:=\{G(T)=0\}$、$N_\infty:=\{G(T)=\infty\}$ とおく。$Q(N_0)=0$ なので仮定 $P_\theta\ll Q$ から $P_\theta(N_0)=0$ である。また $\int G(T)h\,d\mu=1< \infty$ なので、$N_\infty$ の上では $\mu$-ほとんどいたるところ $h=0$ であり、$P_\theta(N_\infty)=\int_{N_\infty}g_\theta(T)h\,d\mu=0$ である。
段 2:$P_\theta$ の $Q$ に関する密度. $\mathcal T$ 上の関数 $\ell_\theta$ を、$0< G(t)< \infty$ のとき $\ell_\theta(t):=g_\theta(t)/G(t)$、それ以外のとき $\ell_\theta(t):=0$ と定め、$L_\theta:=\ell_\theta\circ T$ とおく。$\ell_\theta$ は可測なので $L_\theta$ は $\sigma(T)$-可測であり、$A\in\mathcal A$ について
$$ \int_AL_\theta\,dQ=\int_{A\setminus(N_0\cup N_\infty)}\frac{g_\theta(T)}{G(T)}\,G(T)\,h\,d\mu=P_\theta\bigl(A\setminus(N_0\cup N_\infty)\bigr)=P_\theta(A) $$
である。よって $L_\theta$ は $P_\theta$ の $Q$ に関する密度であり、非負可測関数 $F$ について $E_\theta[F]=E_Q[F\,L_\theta]$ が成り立つ(指示関数から単関数、単調な極限へと広げる)。
段 3:$\theta$ によらない版. 有界な $\varphi$ について $Y:=E_Q[\varphi\mid T]$ の版を 1 つとる。条件付き期待値の単調性から $Q$-ほとんど確実に $\lvert Y\rvert\le\sup\lvert\varphi\rvert$ であり、$Q$ の零集合は $P_\theta$ の零集合なので、$Y$ は $P_\theta$ について可積分である。$A\in\sigma(T)$ とし、$Z:=L_\theta\mathbf 1_A$ とおく。$Z$ は $\sigma(T)$-可測な非負関数で $E_Q[Z]\le E_Q[L_\theta]=1$ であり、$Z\varphi$ は $Q$ について可積分である。条件付き期待値 の定理「条件付き期待値の基本性質」の 6(既知のものをくくり出す)と 3 により
$$ E_Q[Z\varphi]=E_Q\bigl[E_Q[Z\varphi\mid T]\bigr]=E_Q[Z\,Y] $$
である。段 2 の式を $\varphi^\pm$ と $Y^\pm$ に当てて差をとると、
$$ E_\theta[Y;A]=E_Q[Y\,L_\theta\mathbf 1_A]=E_Q[\varphi\,L_\theta\mathbf 1_A]=E_\theta[\varphi;A] $$
を得る。$Y$ は $\sigma(T)$-可測なので、$E_\theta[\varphi\mid T]$ の版である。$Y$ は $Q$ だけから決めたので $\theta$ によらない。$\square$

正規分布・指数分布・区間上の一様分布

$X=(X_1,\dots,X_n)$ を $\mathbb R^n$ に値をとる確率ベクトルとし、$\mu$ を $\mathbb R^n$ の Lebesgue 測度とする。各 $X_i$ は互いに独立で同じ分布に従う。

  1. 分散 $\sigma_0^2$ が既知の 正規分布 $N(m,\sigma_0^2)$($m\in\mathbb R$ が母数):$\bar x:=\frac1n\sum_ix_i$ とおくと、$\sum_i(x_i-m)^2=\sum_i(x_i-\bar x)^2+n(\bar x-m)^2$ なので
    $$ f_m(x)=\exp\Bigl(-\frac{n(\bar x-m)^2}{2\sigma_0^2}\Bigr)\cdot(2\pi\sigma_0^2)^{-n/2}\exp\Bigl(-\frac{\sum_i(x_i-\bar x)^2}{2\sigma_0^2}\Bigr) $$
    であり、$T(x)=\bar x$ で分解できる。$g_m>0$ なので、$Q:=P_0$ について $P_m\ll Q$ である(どちらの密度も至るところ正)。よって標本平均 $\bar X$ は十分統計量である。
  2. 平均と分散がともに未知の正規分布 $N(m,\sigma^2)$:同じ式から $T(x)=\bigl(\bar x,\sum_i(x_i-\bar x)^2\bigr)$ で分解でき、$Q:=P_{(0,1)}$ がとれる。$T(X)$ は十分統計量である。
  3. 率 $\lambda>0$ の 指数分布(密度 $\lambda e^{-\lambda s}\mathbf 1\{s\ge0\}$):$f_\lambda(x)=\lambda^ne^{-\lambda\sum_ix_i}\cdot\mathbf 1\{\min_ix_i\ge0\}$ なので $T(x)=\sum_ix_i$ で分解でき、$Q:=P_1$ がとれる。
  4. 区間 $(0,\theta)$ 上の 一様分布($\theta>0$ が母数):$f_\theta(x)=\theta^{-n}\mathbf 1\{\max_ix_i< \theta\}\cdot\mathbf 1\{\min_ix_i>0\}$ なので、最大値 $T(x)=\max_ix_i$ で分解できる。台が $\theta$ とともに動くので、1 つの $P_{\theta_0}$ ではすべての $P_\theta$ を支配できない($\theta>\theta_0$ なら $P_\theta((\theta_0,\theta)^n)>0=P_{\theta_0}((\theta_0,\theta)^n)$)。そこで $Q:=\sum_{k\ge1}2^{-k}P_k$ とおく。整数 $k\ge\theta$ をとると $P_\theta(A)\le(k/\theta)^nP_k(A)$ なので $P_\theta\ll Q$ である。よって最大値 $M=\max_iX_i$ は十分統計量である。

最小十分統計量

この節では再び $\mathcal X$、$\mathcal T$ は可算とする。十分統計量は 1 つではない。データ $X$ そのものも十分であり、prop-suf-coarser によって十分統計量より細かい統計量はどれも十分である。データを最も粗く、つまり最も小さく要約する十分統計量を考える。

最小十分統計量(可算の場合)

十分統計量 $T$ が 最小十分統計量(minimal sufficient statistic)であるとは、どの十分統計量 $U$ についても、$U(x)=U(y)$ なら $T(x)=T(y)$ が成り立つことをいう。

言い換えると、最小十分統計量の値は、ほかのどの十分統計量の値からも決まる。

尤度比による判定

すべての $\theta$ と $x$ で $f_\theta(x)>0$ とする。十分統計量 $T$ が次を満たすなら、$T$ は最小十分統計量である:$x,y\in\mathcal X$ について比 $f_\theta(x)/f_\theta(y)$ が $\theta$ によらないなら、$T(x)=T(y)$ である。

$U$ を十分統計量とし、$U(x)=U(y)=:u$ とする。def-suf-discrete の関数を $w_U$ とすると $f_\theta(x)=w_U(x)P_\theta(U=u)$、$f_\theta(y)=w_U(y)P_\theta(U=u)$ である。$f_\theta(y)>0$ なので $w_U(y)>0$、$P_\theta(U=u)>0$ であり、
$$ \frac{f_\theta(x)}{f_\theta(y)}=\frac{w_U(x)}{w_U(y)} $$
は $\theta$ によらない。仮定から $T(x)=T(y)$ である。$\square$

表の回数は最小、記録の全体は最小でない

ex-suf-iid の 1 の硬貨投げで、$x,y\in\{0,1\}^n$ の表の回数を $t,s$ とすると
$$ \frac{f_p(x)}{f_p(y)}=\Bigl(\frac p{1-p}\Bigr)^{t-s} $$
であり、$p/(1-p)$ は $(0,\infty)$ のすべての値をとるので、この比が $p$ によらないのは $t=s$ のときに限る。よって表の回数 $T$ は最小十分統計量である。一方 $n\ge2$ なら、記録の全体 $X$ は十分統計量だが最小ではない。実際 $x=(1,0,\dots,0)$、$y=(0,1,0,\dots,0)$ は十分統計量 $T$ の値が等しいのに、$X$ の値は異なる。

反例:条件を外すと成り立たないこと

ex-suf-iid の 1 では、同じ分布に従う $X_1,\dots,X_n$ の全部の和が十分統計量になった。次の表の 1 行目と 2 行目は「同じ分布に従う」「全部の和をとる」の一方だけを外し、3 行目は十分のまま $T$ を細かくして最小性だけを外す。どれも $n=2$ の硬貨投げのモデルで、$X_1,X_2$ は互いに独立とする。

外す条件反例成り立たなくなること
$X_1,X_2$ が同じ分布に従う$P_p(X_1=1)=p$、$P_p(X_2=1)=1-p$、$T=X_1+X_2$$T=1$ のときの $X$ の条件付き分布が $p$ に依存し、$T$ は十分でない
$T$ が全部の和である同じ分布の場合に $T=X_1$$X_1$ の値を与えたときの $X_2$ の分布が $p$ に依存し、$T$ は十分でない
(最小性)十分統計量 $U$ の値から $T$ の値が決まる同じ分布の場合に $T=X$(記録の全体)$T$ は十分だが最小十分統計量でない(ex-suf-minimal)
反例の確かめ

1 行目:$P_p(X=(1,0))=p\cdot p=p^2$、$P_p(X=(0,1))=(1-p)(1-p)=(1-p)^2$ なので
$$ P_p\bigl(X=(1,0)\bigm|T=1\bigr)=\frac{p^2}{p^2+(1-p)^2} $$
であり、$p=\frac12$ で $\frac12$、$p=\frac14$ で $\frac1{10}$ となって $p$ に依存する。def-suf-discrete の $w$ が存在すれば、$q_p(1)>0$ なのでこの値は $w((1,0))$ に等しく $p$ によらないはずであり、矛盾する。
2 行目:$P_p(X_1=x_1)>0$ であり、$P_p(X=x\mid X_1=x_1)=P_p(X_2=x_2)=p^{x_2}(1-p)^{1-x_2}$ は $p$ に依存する。同じ理由で $T=X_1$ は十分でない。$\square$

1 行目のモデルは $X_2$ を $1-X_2$ に取り替えれば同じ分布の硬貨投げに戻り、そのときの十分統計量は $X_1+(1-X_2)$ である。十分統計量はモデルとともに決まるものであり、同じデータでもモデルが違えば違う統計量が十分になる。

推定との関係

十分統計量の値を与えたときの条件付き期待値は $\theta$ によらないので、どの推定量もそれで平均し直すと、データから計算できる推定量になる。Rao–Blackwellの定理 は、こうして作った推定量の平均二乗誤差がもとの推定量の平均二乗誤差を超えないことを述べ、不偏推定量 のうち分散が最小のものを探す問題を、十分統計量の関数の中で探す問題に帰着させる。最尤推定 でも、確率関数が $g_\theta(T(x))h(x)$ と分解できて $h(x)>0$ なら、$\theta\mapsto f_\theta(x)$ を最大にする $\theta$ の集合は $T(x)$ だけから決まる。

関連項目

参考文献

[1]
R. A. Fisher, On the Mathematical Foundations of Theoretical Statistics, Philosophical Transactions of the Royal Society of London, Series A, 1922, 冒頭の用語の定義の一覧(Sufficiency の項、p. 310)、§4 Criteria of Estimation(十分性の基準と、条件付き分布が母数を含まないという言い換え、pp. 316–317)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する