経験分布(empirical distribution)とは、データ $x_1,\dots,x_n$ の各点に確率 $\frac1n$ ずつを置いた確率分布 $\mu_n=\frac1n\sum_i\delta_{x_i}$ であり、実数値のデータではその分布関数を経験分布関数という。標本平均・標本分散・標本の分位点は経験分布の平均・分散・分位点であり、経験分布は順序統計量と互いに他を決め、離散分布の尤度を最大にする。分布 $\mu$ の独立同分布の標本では $n\mu_n(B)$ は二項分布 $\mathrm{Bin}(n,\mu(B))$ に従い、確率 $1$ で $\mu_n(B)\to\mu(B)$ となり、実数値なら経験分布は確率 $1$ で真の分布に弱収束する。
経験分布(empirical distribution)とは、データ $x_1,\dots,x_n$ の各点に確率 $\frac1n$ ずつを置いた確率分布である。同じ値が $m$ 回現れれば、その点の確率は $\frac mn$ になる。データを確率変数 $X_1,\dots,X_n$ とみると、経験分布は標本ごとに変わる確率測度(経験測度)であり、実数値なら、その分布関数を 経験分布関数 という。
統計学で使う量の多くは、経験分布の平均・分散・分位点として書ける。標本平均は経験分布の平均、標本の中央値は経験分布の中央値である。データが独立同分布なら、経験分布は標本を大きくすると真の分布に近づく。そのため「真の分布の量を、経験分布の同じ量で推定する」という考え方(plug-in の原理)が成り立つ。
この記事では、経験分布の定義と順序統計量との対応(prop-ed-order)、経験分布が最尤推定になること(prop-ed-mle)、独立同分布の標本の経験分布の正確な分布(thm-ed-binomial)、真の分布への収束(thm-ed-convergence)を示す。一様収束の強さと収束の速さは、Glivenko–Cantelliの定理・経験過程 で扱う。
$(E,\mathcal{E})$ を可測空間とし、$x\in E$ に重さ $1$ を置いた確率測度を $\delta_x$ と書く(Dirac測度)。
$x_1,\dots,x_n\in E$ について、$(E,\mathcal{E})$ 上の確率測度
$$
\mu_n:=\frac1n\sum_{i=1}^n\delta_{x_i},\qquad\mu_n(B)=\frac{\#\{i\le n\mid x_i\in B\}}{n}\quad(B\in\mathcal{E})
$$
を $x_1,\dots,x_n$ の 経験分布 という。$E=\mathbb{R}$ のとき、その分布関数
$$
F_n(x):=\mu_n((-\infty,x])=\frac{\#\{i\le n\mid x_i\le x\}}{n}
$$
を 経験分布関数 という。確率変数 $X_1,\dots,X_n$ に対しては、各 $\omega$ で $X_1(\omega),\dots,X_n(\omega)$ の経験分布をとったもの $\mu_n^\omega$ を考え、これも経験分布(経験測度)という。
可測関数 $g\colon E\to\mathbb{R}$ について
$$
\int_Eg\,d\mu_n=\frac1n\sum_{i=1}^ng(x_i)
$$
である($g=1_B$ で定義そのもので、線形性による)。確率変数の場合、$\mu_n(B)$ と $\int g\,d\mu_n$ は確率変数である。$F_n$ はデータの点で跳ぶ右連続な階段関数で、同じ値が $m$ 個あればそこで $\frac mn$ 跳ぶ。
$x_1,\dots,x_n\in\mathbb{R}$ を小さい順に並べたものを $x_{(1)}\le\cdots\le x_{(n)}$ とする。
1:$nF_n(x)$ は $x$ 以下のデータの個数である。$x\ge x_{(k)}$ なら $x_{(1)},\dots,x_{(k)}$ の $k$ 個が $x$ 以下なので $nF_n(x)\ge k$ である。$x< x_{(k)}$ なら、$x$ 以下のデータは $x_{(k)},\dots,x_{(n)}$ を含まないので高々 $k-1$ 個である。
2:$nF_n(x)$ は整数なので、$F_n(x)\ge p$ と $nF_n(x)\ge\lceil np\rceil$ は同値である。$0< p\le1$ なので $k:=\lceil np\rceil$ は $1$ 以上 $n$ 以下であり、1 により $\{x\mid F_n(x)\ge p\}=[x_{(k)},\infty)$ である。その最小値は $x_{(k)}$ である。
3:$\mu_n=\frac1n\sum_k\delta_{x_{(k)}}$ なので、並べた組は $\mu_n$ を決める。逆に $\mu_n$ は $F_n$ を決め、2 により $x_{(k)}=Q_n(\frac kn)$ である。並べ替えは並べた組を変えない。$\square$
並べた組は 順序統計量 であり、2 の $Q_n(\frac12)=x_{(\lceil n/2\rceil)}$ は標本の中央値の 1 つの定め方である(偶数個のとき中央の 2 つの平均をとる定め方もある)。分位点関数の一般の定義と性質は 分位点 にある。
データ $2,3,3,7$ の経験分布は $\mu_4=\frac14\delta_2+\frac12\delta_3+\frac14\delta_7$ で、経験分布関数は
$$
F_4(x)=\begin{cases}0&(x< 2)\\ \frac14&(2\le x< 3)\\ \frac34&(3\le x< 7)\\ 1&(x\ge7)\end{cases}
$$
である。$\mu_4$ の平均は $\int x\,\mu_4(dx)=\frac{2+3+3+7}4=\frac{15}4$ で、標本平均に等しい。$\mu_4$ の分散は
$$
\int\Bigl(x-\frac{15}4\Bigr)^2\mu_4(dx)=\frac14\Bigl(\frac{49}{16}+\frac9{16}+\frac9{16}+\frac{169}{16}\Bigr)=\frac{59}{16}
$$
である。中央値は prop-ed-order の 2 により $Q_4(\frac12)=x_{(2)}=3$ である。
一般に、データの関数として定義される多くの統計量は、経験分布の関数 $T(\mu_n)$ として書ける。$T(\nu)$ を「分布 $\nu$ の平均」とすれば $T(\mu_n)$ は標本平均、「分布 $\nu$ の分散」とすれば $T(\mu_n)=\frac1n\sum_i(x_i-\overline{x})^2$ である。データが分散 $\sigma^2$ の独立同分布の標本なら、後者の期待値は $\frac{n-1}n\sigma^2$ で、$n-1$ で割った不偏分散との違いは 独立同分布 の命題「不偏分散」にある。標本から作った経験分布から重複を許して標本をとり直し、統計量のばらつきを見積もる方法が ブートストラップ法 である。
経験分布は、データだけから分布を推定する方法の中で、次の意味で最もデータに合う。
$(E,\mathcal{E})$ の 1 点集合はすべて可測とし、$x_1,\dots,x_n\in E$ とする。$(E,\mathcal{E})$ 上の確率測度 $\nu$ について
$$
\Lambda(\nu):=\prod_{i=1}^n\nu(\{x_i\})
$$
とおくと、$\Lambda(\nu)\le\Lambda(\mu_n)$ であり、等号は $\nu=\mu_n$ のときに限る。
データの相異なる値を $y_1,\dots,y_k$、$y_j$ の現れる回数を $m_j$ とし、$q_j:=\frac{m_j}n=\mu_n(\{y_j\})$、$p_j:=\nu(\{y_j\})$ とおく。$\Lambda(\nu)=\prod_jp_j^{m_j}$、$\Lambda(\mu_n)=\prod_jq_j^{m_j}>0$ で、$\sum_jp_j\le1$、$\sum_jq_j=1$ である。
ある $p_j$ が $0$ なら $\Lambda(\nu)=0< \Lambda(\mu_n)$ である。すべて正なら、$\log$ が凹なので Jensenの不等式(重み $q_j$ の平均)により
$$
\frac1n\log\frac{\Lambda(\nu)}{\Lambda(\mu_n)}=\sum_jq_j\log\frac{p_j}{q_j}\le\log\Bigl(\sum_jq_j\frac{p_j}{q_j}\Bigr)=\log\sum_jp_j\le0
$$
である。等号が成り立てば、$\log$ は狭義に凹なので $\frac{p_j}{q_j}$ は $j$ によらない定数で、$\sum_jp_j=1$ からその定数は $1$、つまり $p_j=q_j$ である。このとき $\nu$ はデータの値の上に全確率 $1$ を置くので、$B\in\mathcal{E}$ について $\nu(B)=\sum_{y_j\in B}p_j=\mu_n(B)$ である。逆に $\nu=\mu_n$ なら等号である。$\square$
$\Lambda$ は、分布 $\nu$ のもとでデータがちょうどその値をとる確率(離散分布の尤度)である。連続な分布ではどの 1 点も確率 $0$ なので $\Lambda(\nu)=0$ となり、比べる相手にならない。尤度の一般論は 最尤推定 にある。
以下、$X_1,X_2,\dots$ を $(E,\mathcal{E})$ に値をとる分布 $\mu$ の独立同分布の確率変数とし、$\mu_n$ を $X_1,\dots,X_n$ の経験分布とする。期待値を $\mathbb{E}$、分散を $V$、共分散を $\operatorname{Cov}$ と書く。
1:$1_B(X_1),\dots,1_B(X_n)$ は独立で、どれも確率 $\mu(B)$ で $1$、残りで $0$ をとる(独立同分布 の命題「関数と組」の 1)。その和 $n\mu_n(B)$ は 二項分布 $\mathrm{Bin}(n,\mu(B))$ に従い、平均は $n\mu(B)$、分散は $n\mu(B)(1-\mu(B))$ である。$n$ で割ればよい。
2:各 $X_i$ がどの $B_j$ に入るかを表す番号 $J_i$ を考える。$J_1,\dots,J_n$ は独立で、$\mathbb{P}(J_i=j)=\mu(B_j)$ である。$B_j$ に入る個数が $m_j$ である番号の列 $(j_1,\dots,j_n)$ は $\frac{n!}{m_1!\cdots m_k!}$ 通りあり、どれも確率 $\prod_j\mu(B_j)^{m_j}$ である。
3:$Y_i:=1_A(X_i)$、$Z_i:=1_B(X_i)$ とおく。$i\ne j$ なら $Y_i$ と $Z_j$ は独立なので共分散は $0$ であり、$\operatorname{Cov}(Y_i,Z_i)=\mathbb{E}[1_{A\cap B}(X_i)]-\mu(A)\mu(B)=\mu(A\cap B)-\mu(A)\mu(B)$ である。共分散の双線形性から
$$
\operatorname{Cov}(\mu_n(A),\mu_n(B))=\frac1{n^2}\sum_{i,j}\operatorname{Cov}(Y_i,Z_j)=\frac1{n^2}\cdot n\bigl(\mu(A\cap B)-\mu(A)\mu(B)\bigr)
$$
である。$A=(-\infty,x]$、$B=(-\infty,y]$ なら $A\cap B=(-\infty,\min\{x,y\}]$ である。$\square$
1 から $\mu_n(B)$ は $\mu(B)$ の不偏推定量で、その標準偏差は $\frac1{2\sqrt n}$ 以下である。3 の共分散 $F(\min\{x,y\})-F(x)F(y)$ は、$F$ を一様分布の分布関数にとると $\min\{x,y\}-xy$ になり、これは Brown 橋の共分散である。$\sqrt n(F_n-F)$ が Brown 橋を $F$ で変数変換した過程に分布収束することは 経験過程 と Donskerの定理 で扱う。
1:$g(X_1),g(X_2),\dots$ は独立同分布で、平均 $\int g\,d\mu$ が有限なので、強大数の法則 により $\int g\,d\mu_n=\frac1n\sum_{i\le n}g(X_i)\to\int g\,d\mu$ が確率 $1$ で成り立つ。$g=1_B$ とすれば前半である。
2:各有理数 $q$ について、1 により確率 $1$ で $F_n(q)\to F(q)$ である。有理数は可算個なので、$\Omega_0:=\bigcap_{q\in\mathbb{Q}}\{F_n(q)\to F(q)\}$ の確率は $1$ である。$\Omega_0$ の上で、$x$ を $F$ の連続点とし、有理数 $q< x< q'$ をとる。$F_n$ は単調なので $F_n(q)\le F_n(x)\le F_n(q')$ であり、$n\to\infty$ として
$$
F(q)\le\liminf_nF_n(x)\le\limsup_nF_n(x)\le F(q')
$$
である。$q\uparrow x$ とすると $F(q)\to F(x-)=F(x)$($x$ は連続点)、$q'\downarrow x$ とすると $F$ の右連続性から $F(q')\to F(x)$ なので、$F_n(x)\to F(x)$ である。$\mathbb{R}$ 上の確率測度の弱収束は、分布関数が極限の分布関数の連続点で収束することと同値なので(Portmanteau定理 の系「分布関数による言い換え」)、後半を得る。$\square$
Dur19 §3.2(p. 116)は、分布関数が連続点で収束することを弱収束の定義にしている。Dur19 Example 2.4.8 と Theorem 2.4.9(p. 79)は経験分布関数を定義し、確率 $1$ で $\sup_x\lvert F_n(x)-F(x)\rvert\to0$(Glivenko–Cantelli の定理)を示している。これは 2 を、不連続点も含めて一様な収束に強めたものである(Glivenko–Cantelliの定理)。経験分布が真の分布から大きく離れる確率が指数的に小さいことは Sanovの定理、経験分布関数と仮説の分布関数の距離を使う検定は Kolmogorov–Smirnov検定 にある。
| 外す仮定・強める結論 | 例 | 成り立たない結論 |
|---|---|---|
| 同分布(独立性は残す) | $X_i:=1$($4^k\le i< 2\cdot4^k$、$k=0,1,\dots$)、それ以外の $i$ で $X_i:=0$(定数なので独立) | $\mu_n(\{1\})$ は収束しない |
| 独立性(同分布は残す) | $X_1$ は $0,1$ を確率 $\frac12$ ずつとり、$X_i:=X_1$ | $\mu_n(\{1\})\to\mu(\{1\})=\frac12$ |
| $g\in L^1(\mu)$(thm-ed-convergence の 1) | $\mu$ は標準 Cauchy 分布、$g(x)=x$ | $\int g\,d\mu_n$ は確率 $1$ で収束する |
| 弱収束を、すべての集合での一様な収束に強める | $\mu$ は $[0,1]$ 上の一様分布 | $\sup_{B\in\mathcal{E}}\lvert\mu_n(B)-\mu(B)\rvert\to0$ |
1 行目:$N_k:=2\cdot4^k-1$ のとき、$1$ の個数は $\sum_{j=0}^k4^j=\frac{4^{k+1}-1}3$ なので $\mu_{N_k}(\{1\})\to\frac23$ である。$M_k:=4^{k+1}-1$ のとき $1$ の個数は同じなので $\mu_{M_k}(\{1\})\to\frac13$ である。定数の確率変数は互いに独立だが、同じ分布ではない。
2 行目:すべての $n$ で $\mu_n=\delta_{X_1}$ なので $\mu_n(\{1\})=X_1$ は $0$ か $1$ で、$\frac12$ に近づかない。
3 行目:標準 Cauchy 分布では $\int\lvert x\rvert\,\mu(dx)=\infty$ なので $g\notin L^1(\mu)$ である。$\int g\,d\mu_n$ は標本平均 $\frac1n\sum_{i\le n}X_i$ であり、$\mathbb{E}\lvert X_1\rvert=\infty$ の独立同分布では、確率 $1$ で $\lvert X_n\rvert\ge n$ が無限回起こるので、標本平均は有限の値に収束しない(Dur19 Theorem 2.3.8、p. 70)。実際、標本平均が収束すれば $\frac{X_n}n=\overline{X}_n-\frac{n-1}n\overline{X}_{n-1}\to0$ となって矛盾する。
4 行目:各 $\omega$ で、有限集合 $B:=\{X_1(\omega),\dots,X_n(\omega)\}$ は Borel 集合で、$\mu_n(B)=1$、$\mu(B)=0$ である。よってすべての $n$ で上限は $1$ である。一方 2 により、確率 $1$ で $\mu_n$ は $\mu$ に弱収束する。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する