経験分布

同義語:empirical distribution経験測度empirical measure経験分布関数empirical distribution function

概要

経験分布(empirical distribution)とは、データ $x_1,\dots,x_n$ の各点に確率 $\frac1n$ ずつを置いた確率分布 $\mu_n=\frac1n\sum_i\delta_{x_i}$ であり、実数値のデータではその分布関数を経験分布関数という。標本平均・標本分散・標本の分位点は経験分布の平均・分散・分位点であり、経験分布は順序統計量と互いに他を決め、離散分布の尤度を最大にする。分布 $\mu$ の独立同分布の標本では $n\mu_n(B)$ は二項分布 $\mathrm{Bin}(n,\mu(B))$ に従い、確率 $1$ で $\mu_n(B)\to\mu(B)$ となり、実数値なら経験分布は確率 $1$ で真の分布に弱収束する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率分布, 独立同分布, Dirac測度

経験分布(empirical distribution)とは、データ $x_1,\dots,x_n$ の各点に確率 $\frac1n$ ずつを置いた確率分布である。同じ値が $m$ 回現れれば、その点の確率は $\frac mn$ になる。データを確率変数 $X_1,\dots,X_n$ とみると、経験分布は標本ごとに変わる確率測度(経験測度)であり、実数値なら、その分布関数を 経験分布関数 という。
統計学で使う量の多くは、経験分布の平均・分散・分位点として書ける。標本平均は経験分布の平均、標本の中央値は経験分布の中央値である。データが独立同分布なら、経験分布は標本を大きくすると真の分布に近づく。そのため「真の分布の量を、経験分布の同じ量で推定する」という考え方(plug-in の原理)が成り立つ。
この記事では、経験分布の定義と順序統計量との対応(prop-ed-order)、経験分布が最尤推定になること(prop-ed-mle)、独立同分布の標本の経験分布の正確な分布(thm-ed-binomial)、真の分布への収束(thm-ed-convergence)を示す。一様収束の強さと収束の速さは、Glivenko–Cantelliの定理・経験過程 で扱う。

定義

$(E,\mathcal{E})$ を可測空間とし、$x\in E$ に重さ $1$ を置いた確率測度を $\delta_x$ と書く(Dirac測度)。

経験分布と経験分布関数

$x_1,\dots,x_n\in E$ について、$(E,\mathcal{E})$ 上の確率測度
$$ \mu_n:=\frac1n\sum_{i=1}^n\delta_{x_i},\qquad\mu_n(B)=\frac{\#\{i\le n\mid x_i\in B\}}{n}\quad(B\in\mathcal{E}) $$
を $x_1,\dots,x_n$ の 経験分布 という。$E=\mathbb{R}$ のとき、その分布関数
$$ F_n(x):=\mu_n((-\infty,x])=\frac{\#\{i\le n\mid x_i\le x\}}{n} $$
を 経験分布関数 という。確率変数 $X_1,\dots,X_n$ に対しては、各 $\omega$ で $X_1(\omega),\dots,X_n(\omega)$ の経験分布をとったもの $\mu_n^\omega$ を考え、これも経験分布(経験測度)という。

可測関数 $g\colon E\to\mathbb{R}$ について
$$ \int_Eg\,d\mu_n=\frac1n\sum_{i=1}^ng(x_i) $$
である($g=1_B$ で定義そのもので、線形性による)。確率変数の場合、$\mu_n(B)$ と $\int g\,d\mu_n$ は確率変数である。$F_n$ はデータの点で跳ぶ右連続な階段関数で、同じ値が $m$ 個あればそこで $\frac mn$ 跳ぶ。

経験分布と順序統計量

$x_1,\dots,x_n\in\mathbb{R}$ を小さい順に並べたものを $x_{(1)}\le\cdots\le x_{(n)}$ とする。

  1. $k=1,\dots,n$ と $x\in\mathbb{R}$ について、$F_n(x)\ge\frac kn$ と $x\ge x_{(k)}$ は同値である。
  2. 経験分布の分位点関数 $Q_n(p):=\min\{x\mid F_n(x)\ge p\}$($0< p\le1$)は $Q_n(p)=x_{(\lceil np\rceil)}$ である。
  3. 経験分布 $\mu_n$ と、並べた組 $(x_{(1)},\dots,x_{(n)})$ は互いに他を決める。とくに $\mu_n$ はデータの並べ替えで変わらない。
数えて比べる

1:$nF_n(x)$ は $x$ 以下のデータの個数である。$x\ge x_{(k)}$ なら $x_{(1)},\dots,x_{(k)}$ の $k$ 個が $x$ 以下なので $nF_n(x)\ge k$ である。$x< x_{(k)}$ なら、$x$ 以下のデータは $x_{(k)},\dots,x_{(n)}$ を含まないので高々 $k-1$ 個である。
2:$nF_n(x)$ は整数なので、$F_n(x)\ge p$ と $nF_n(x)\ge\lceil np\rceil$ は同値である。$0< p\le1$ なので $k:=\lceil np\rceil$ は $1$ 以上 $n$ 以下であり、1 により $\{x\mid F_n(x)\ge p\}=[x_{(k)},\infty)$ である。その最小値は $x_{(k)}$ である。
3:$\mu_n=\frac1n\sum_k\delta_{x_{(k)}}$ なので、並べた組は $\mu_n$ を決める。逆に $\mu_n$ は $F_n$ を決め、2 により $x_{(k)}=Q_n(\frac kn)$ である。並べ替えは並べた組を変えない。$\square$

並べた組は 順序統計量 であり、2 の $Q_n(\frac12)=x_{(\lceil n/2\rceil)}$ は標本の中央値の 1 つの定め方である(偶数個のとき中央の 2 つの平均をとる定め方もある)。分位点関数の一般の定義と性質は 分位点 にある。

統計量は経験分布の量

4 個のデータの経験分布

データ $2,3,3,7$ の経験分布は $\mu_4=\frac14\delta_2+\frac12\delta_3+\frac14\delta_7$ で、経験分布関数は
$$ F_4(x)=\begin{cases}0&(x< 2)\\ \frac14&(2\le x< 3)\\ \frac34&(3\le x< 7)\\ 1&(x\ge7)\end{cases} $$
である。$\mu_4$ の平均は $\int x\,\mu_4(dx)=\frac{2+3+3+7}4=\frac{15}4$ で、標本平均に等しい。$\mu_4$ の分散は
$$ \int\Bigl(x-\frac{15}4\Bigr)^2\mu_4(dx)=\frac14\Bigl(\frac{49}{16}+\frac9{16}+\frac9{16}+\frac{169}{16}\Bigr)=\frac{59}{16} $$
である。中央値は prop-ed-order の 2 により $Q_4(\frac12)=x_{(2)}=3$ である。

一般に、データの関数として定義される多くの統計量は、経験分布の関数 $T(\mu_n)$ として書ける。$T(\nu)$ を「分布 $\nu$ の平均」とすれば $T(\mu_n)$ は標本平均、「分布 $\nu$ の分散」とすれば $T(\mu_n)=\frac1n\sum_i(x_i-\overline{x})^2$ である。データが分散 $\sigma^2$ の独立同分布の標本なら、後者の期待値は $\frac{n-1}n\sigma^2$ で、$n-1$ で割った不偏分散との違いは 独立同分布 の命題「不偏分散」にある。標本から作った経験分布から重複を許して標本をとり直し、統計量のばらつきを見積もる方法が ブートストラップ法 である。
経験分布は、データだけから分布を推定する方法の中で、次の意味で最もデータに合う。

経験分布は最尤推定

$(E,\mathcal{E})$ の 1 点集合はすべて可測とし、$x_1,\dots,x_n\in E$ とする。$(E,\mathcal{E})$ 上の確率測度 $\nu$ について
$$ \Lambda(\nu):=\prod_{i=1}^n\nu(\{x_i\}) $$
とおくと、$\Lambda(\nu)\le\Lambda(\mu_n)$ であり、等号は $\nu=\mu_n$ のときに限る。

対数の凹性

データの相異なる値を $y_1,\dots,y_k$、$y_j$ の現れる回数を $m_j$ とし、$q_j:=\frac{m_j}n=\mu_n(\{y_j\})$、$p_j:=\nu(\{y_j\})$ とおく。$\Lambda(\nu)=\prod_jp_j^{m_j}$、$\Lambda(\mu_n)=\prod_jq_j^{m_j}>0$ で、$\sum_jp_j\le1$、$\sum_jq_j=1$ である。
ある $p_j$ が $0$ なら $\Lambda(\nu)=0< \Lambda(\mu_n)$ である。すべて正なら、$\log$ が凹なので Jensenの不等式(重み $q_j$ の平均)により
$$ \frac1n\log\frac{\Lambda(\nu)}{\Lambda(\mu_n)}=\sum_jq_j\log\frac{p_j}{q_j}\le\log\Bigl(\sum_jq_j\frac{p_j}{q_j}\Bigr)=\log\sum_jp_j\le0 $$
である。等号が成り立てば、$\log$ は狭義に凹なので $\frac{p_j}{q_j}$ は $j$ によらない定数で、$\sum_jp_j=1$ からその定数は $1$、つまり $p_j=q_j$ である。このとき $\nu$ はデータの値の上に全確率 $1$ を置くので、$B\in\mathcal{E}$ について $\nu(B)=\sum_{y_j\in B}p_j=\mu_n(B)$ である。逆に $\nu=\mu_n$ なら等号である。$\square$

$\Lambda$ は、分布 $\nu$ のもとでデータがちょうどその値をとる確率(離散分布の尤度)である。連続な分布ではどの 1 点も確率 $0$ なので $\Lambda(\nu)=0$ となり、比べる相手にならない。尤度の一般論は 最尤推定 にある。

独立同分布の標本の経験分布

以下、$X_1,X_2,\dots$ を $(E,\mathcal{E})$ に値をとる分布 $\mu$ の独立同分布の確率変数とし、$\mu_n$ を $X_1,\dots,X_n$ の経験分布とする。期待値を $\mathbb{E}$、分散を $V$、共分散を $\operatorname{Cov}$ と書く。

経験分布の正確な分布
  1. $B\in\mathcal{E}$ について、$n\mu_n(B)$ は二項分布 $\mathrm{Bin}(n,\mu(B))$ に従う。とくに $\mathbb{E}[\mu_n(B)]=\mu(B)$、$V[\mu_n(B)]=\frac{\mu(B)(1-\mu(B))}n$ である。
  2. $E$ の可測な分割 $B_1,\dots,B_k$ について、$(n\mu_n(B_1),\dots,n\mu_n(B_k))$ は多項分布に従う:$m_1+\cdots+m_k=n$ となる非負整数について
    $$ \mathbb{P}\bigl(n\mu_n(B_j)=m_j\ (j=1,\dots,k)\bigr)=\frac{n!}{m_1!\cdots m_k!}\prod_{j=1}^k\mu(B_j)^{m_j}. $$
  3. $A,B\in\mathcal{E}$ について $\operatorname{Cov}(\mu_n(A),\mu_n(B))=\frac{\mu(A\cap B)-\mu(A)\mu(B)}n$ である。とくに $E=\mathbb{R}$、$F$ を $\mu$ の分布関数とすると、$\operatorname{Cov}(F_n(x),F_n(y))=\frac{F(\min\{x,y\})-F(x)F(y)}n$ である。
各データが集合に入るかどうかの数え上げ

1:$1_B(X_1),\dots,1_B(X_n)$ は独立で、どれも確率 $\mu(B)$ で $1$、残りで $0$ をとる(独立同分布 の命題「関数と組」の 1)。その和 $n\mu_n(B)$ は 二項分布 $\mathrm{Bin}(n,\mu(B))$ に従い、平均は $n\mu(B)$、分散は $n\mu(B)(1-\mu(B))$ である。$n$ で割ればよい。
2:各 $X_i$ がどの $B_j$ に入るかを表す番号 $J_i$ を考える。$J_1,\dots,J_n$ は独立で、$\mathbb{P}(J_i=j)=\mu(B_j)$ である。$B_j$ に入る個数が $m_j$ である番号の列 $(j_1,\dots,j_n)$ は $\frac{n!}{m_1!\cdots m_k!}$ 通りあり、どれも確率 $\prod_j\mu(B_j)^{m_j}$ である。
3:$Y_i:=1_A(X_i)$、$Z_i:=1_B(X_i)$ とおく。$i\ne j$ なら $Y_i$ と $Z_j$ は独立なので共分散は $0$ であり、$\operatorname{Cov}(Y_i,Z_i)=\mathbb{E}[1_{A\cap B}(X_i)]-\mu(A)\mu(B)=\mu(A\cap B)-\mu(A)\mu(B)$ である。共分散の双線形性から
$$ \operatorname{Cov}(\mu_n(A),\mu_n(B))=\frac1{n^2}\sum_{i,j}\operatorname{Cov}(Y_i,Z_j)=\frac1{n^2}\cdot n\bigl(\mu(A\cap B)-\mu(A)\mu(B)\bigr) $$
である。$A=(-\infty,x]$、$B=(-\infty,y]$ なら $A\cap B=(-\infty,\min\{x,y\}]$ である。$\square$

1 から $\mu_n(B)$ は $\mu(B)$ の不偏推定量で、その標準偏差は $\frac1{2\sqrt n}$ 以下である。3 の共分散 $F(\min\{x,y\})-F(x)F(y)$ は、$F$ を一様分布の分布関数にとると $\min\{x,y\}-xy$ になり、これは Brown 橋の共分散である。$\sqrt n(F_n-F)$ が Brown 橋を $F$ で変数変換した過程に分布収束することは 経験過程 と Donskerの定理 で扱う。

真の分布への収束

経験分布の収束
  1. $B\in\mathcal{E}$ について、確率 $1$ で $\mu_n(B)\to\mu(B)$ である。$g\in L^1(\mu)$ について、確率 $1$ で $\int g\,d\mu_n\to\int g\,d\mu$ である。
  2. $E=\mathbb{R}$ とし、$F$ を $\mu$ の分布関数とする。確率 $1$ の事象 $\Omega_0$ があって、$\Omega_0$ の上では、$F$ のすべての連続点 $x$ で同時に $F_n(x)\to F(x)$ が成り立つ。すなわち、確率 $1$ で経験分布 $\mu_n$ は $\mu$ に弱収束する。
大数の強法則を可算個の点に使う

1:$g(X_1),g(X_2),\dots$ は独立同分布で、平均 $\int g\,d\mu$ が有限なので、強大数の法則 により $\int g\,d\mu_n=\frac1n\sum_{i\le n}g(X_i)\to\int g\,d\mu$ が確率 $1$ で成り立つ。$g=1_B$ とすれば前半である。
2:各有理数 $q$ について、1 により確率 $1$ で $F_n(q)\to F(q)$ である。有理数は可算個なので、$\Omega_0:=\bigcap_{q\in\mathbb{Q}}\{F_n(q)\to F(q)\}$ の確率は $1$ である。$\Omega_0$ の上で、$x$ を $F$ の連続点とし、有理数 $q< x< q'$ をとる。$F_n$ は単調なので $F_n(q)\le F_n(x)\le F_n(q')$ であり、$n\to\infty$ として
$$ F(q)\le\liminf_nF_n(x)\le\limsup_nF_n(x)\le F(q') $$
である。$q\uparrow x$ とすると $F(q)\to F(x-)=F(x)$($x$ は連続点)、$q'\downarrow x$ とすると $F$ の右連続性から $F(q')\to F(x)$ なので、$F_n(x)\to F(x)$ である。$\mathbb{R}$ 上の確率測度の弱収束は、分布関数が極限の分布関数の連続点で収束することと同値なので(Portmanteau定理 の系「分布関数による言い換え」)、後半を得る。$\square$

Dur19 §3.2(p. 116)は、分布関数が連続点で収束することを弱収束の定義にしている。Dur19 Example 2.4.8 と Theorem 2.4.9(p. 79)は経験分布関数を定義し、確率 $1$ で $\sup_x\lvert F_n(x)-F(x)\rvert\to0$(Glivenko–Cantelli の定理)を示している。これは 2 を、不連続点も含めて一様な収束に強めたものである(Glivenko–Cantelliの定理)。経験分布が真の分布から大きく離れる確率が指数的に小さいことは Sanovの定理、経験分布関数と仮説の分布関数の距離を使う検定は Kolmogorov–Smirnov検定 にある。

反例

外す仮定・強める結論例成り立たない結論
同分布(独立性は残す)$X_i:=1$($4^k\le i< 2\cdot4^k$、$k=0,1,\dots$)、それ以外の $i$ で $X_i:=0$(定数なので独立)$\mu_n(\{1\})$ は収束しない
独立性(同分布は残す)$X_1$ は $0,1$ を確率 $\frac12$ ずつとり、$X_i:=X_1$$\mu_n(\{1\})\to\mu(\{1\})=\frac12$
$g\in L^1(\mu)$(thm-ed-convergence の 1)$\mu$ は標準 Cauchy 分布、$g(x)=x$$\int g\,d\mu_n$ は確率 $1$ で収束する
弱収束を、すべての集合での一様な収束に強める$\mu$ は $[0,1]$ 上の一様分布$\sup_{B\in\mathcal{E}}\lvert\mu_n(B)-\mu(B)\rvert\to0$
反例の確かめ

1 行目:$N_k:=2\cdot4^k-1$ のとき、$1$ の個数は $\sum_{j=0}^k4^j=\frac{4^{k+1}-1}3$ なので $\mu_{N_k}(\{1\})\to\frac23$ である。$M_k:=4^{k+1}-1$ のとき $1$ の個数は同じなので $\mu_{M_k}(\{1\})\to\frac13$ である。定数の確率変数は互いに独立だが、同じ分布ではない。
2 行目:すべての $n$ で $\mu_n=\delta_{X_1}$ なので $\mu_n(\{1\})=X_1$ は $0$ か $1$ で、$\frac12$ に近づかない。
3 行目:標準 Cauchy 分布では $\int\lvert x\rvert\,\mu(dx)=\infty$ なので $g\notin L^1(\mu)$ である。$\int g\,d\mu_n$ は標本平均 $\frac1n\sum_{i\le n}X_i$ であり、$\mathbb{E}\lvert X_1\rvert=\infty$ の独立同分布では、確率 $1$ で $\lvert X_n\rvert\ge n$ が無限回起こるので、標本平均は有限の値に収束しない(Dur19 Theorem 2.3.8、p. 70)。実際、標本平均が収束すれば $\frac{X_n}n=\overline{X}_n-\frac{n-1}n\overline{X}_{n-1}\to0$ となって矛盾する。
4 行目:各 $\omega$ で、有限集合 $B:=\{X_1(\omega),\dots,X_n(\omega)\}$ は Borel 集合で、$\mu_n(B)=1$、$\mu(B)=0$ である。よってすべての $n$ で上限は $1$ である。一方 2 により、確率 $1$ で $\mu_n$ は $\mu$ に弱収束する。

関連項目

参考文献

[1]
Rick Durrett, Probability: Theory and Examples, Cambridge University Press, 2019, Theorem 2.3.8(p. 70)、Example 2.4.8・Theorem 2.4.9(p. 79)、§3.2 の弱収束の定義(p. 116)。頁は著者公開版(2019-01-11)による

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する