de Finettiの定理(de Finetti's theorem)とは、$\{0,1\}$ に値をとる確率変数の無限列 $X_1,X_2,\dots$ が交換可能(有限個の添字をどう並べ替えても同時分布が変わらない)ならば、$[0,1]$ 上の確率測度 $\mu$ がただ 1 つあって、列が「$\theta$ を $\mu$ に従って選び、確率 $\theta$ の硬貨を独立に投げ続ける」列の分布と一致するという定理である。$\theta$ は表の割合 $S_n/n$ の確率 $1$ の極限として列から読み取れる。有限の長さ $n$ の交換可能な列でも、先頭 $k$ 個の分布はこの形の混合と全変動距離で $k(k-1)/(2n)$ 以内にある。
前提知識: 独立性(確率論), Bernoulli分布, 条件付き期待値
確率 $\theta$ で表が出る硬貨を投げ続けると、結果の列は独立で同じ分布に従う。では $\theta$ そのものがわからず、まず $\theta$ が何らかの分布に従って選ばれ、選ばれた $\theta$ の硬貨を投げ続けるとしたらどうか。得られる列はもはや独立ではない(はじめの何回かで表が多ければ、$\theta$ が大きいと推測でき、次も表が出やすいと予想できる)が、結果の 並び順 を入れ替えても確率は変わらない。この性質を 交換可能性 という。
de Finettiの定理(de Finetti's theorem)はこの逆を主張する。$\{0,1\}$ に値をとる確率変数の 無限 列が交換可能なら、それは必ず「まず $\theta$ を分布 $\mu$ に従って選び、次に確率 $\theta$ の硬貨を独立に投げ続ける」列であり、$\mu$ はただ 1 つに決まる。さらに $\theta$ は、表の割合 $S_n/n$ の極限として列そのものから読み取れる。
順序を入れ替えても確率が変わらない、という受け入れやすい対称性だけから「独立同分布の混合」という強い構造が出るので、この定理は統計学の基礎づけの議論でも重視されている(Dur19 p. 255 の注意)。未知の確率 $\theta$ に分布(事前分布)を置くベイズ統計のモデルは、交換可能性から自然に現れる。Pólyaの壺 から取り出す玉の色の列はその典型例で、定理から、取り出した赤の割合がベータ分布に従う確率変数に収束することが出る。
この記事では $\{0,1\}$ 値の場合を、「戻さない抽出」と「戻す抽出」の比較だけを使って証明する。有限の長さの交換可能な列についての定量的な評価も同時に得られる。
確率空間 $(\Omega,\mathcal F,P)$ を固定する。$\{0,1\}$ の元の有限列 $e=(e_1,\dots,e_k)$ について、$\lvert e\rvert:=e_1+\dots+e_k$($1$ の個数)と書く。また事象 $\{X_1=e_1,\dots,X_k=e_k\}$ を $\{X_{1..k}=e\}$ と略記する。
$\{0,1\}$ に値をとる $(X_1,\dots,X_n)$ が交換可能であることと、$P(X_1=e_1,\dots,X_n=e_n)$ が $e\in\{0,1\}^n$ について $\lvert e\rvert$ だけで決まることは同値である。
$X:=(X_1,\dots,X_n)$ とおく。交換可能とし、$\lvert e\rvert=\lvert e'\rvert$ とする。$1$ の個数が同じなので、$e'_{\pi(i)}=e_i$($i=1,\dots,n$)となる置換 $\pi$ がある。このとき $\{(X_{\pi(1)},\dots,X_{\pi(n)})=e\}=\{X=e'\}$ なので、交換可能性から $P(X=e')=P(X=e)$ である。逆に確率が $\lvert e\rvert$ だけで決まるなら、置換で $\lvert e\rvert$ は変わらないので、$(X_{\pi(1)},\dots,X_{\pi(n)})$ と $X$ はどの $e$ にも同じ確率を与える。$\square$
$\{0,1\}$ に値をとる無限列 $X_1,X_2,\dots$ が 独立同分布な Bernoulli 列の混合 であるとは、$[0,1]$ 上の確率測度 $\mu$ があって、すべての $k\ge1$ と $e\in\{0,1\}^k$ について
$$
P(X_1=e_1,\dots,X_k=e_k)=\int_{[0,1]}\theta^{\lvert e\rvert}(1-\theta)^{k-\lvert e\rvert}\,\mu(d\theta)
$$
となることをいう。$\mu$ を 混合測度 という(ベイズ統計の言葉では事前分布)。
右辺は $\lvert e\rvert$ だけで決まるので、prop-dft-count により混合は交換可能である。$\Theta$ を $\mu$ に従う確率変数とし、$\Theta$ が与えられたとき $X_i$ が条件付きで独立に $\mathrm{Ber}(\Theta)$ に従うようにすれば、この形の列が作れる。このとき $i\ne j$ について $\mathrm{Cov}(X_i,X_j)=V[\Theta]\ge0$ である(Bernoulli分布 の命題「混合はまた Bernoulli 分布」)。
証明の鍵は、交換可能な列の先頭 $k$ 個が「$n$ 個の玉の入った壺からの戻さない抽出」になり、$n$ が大きければそれが「戻す抽出」、すなわち独立な硬貨投げとほとんど同じになることである。
整数 $0\le m\le n$、$1\le k\le n$、$e\in\{0,1\}^k$、$s:=\lvert e\rvert$ について、下降階乗 $(x)_j:=x(x-1)\cdots(x-j+1)$($(x)_0:=1$)を使って
$$
H_{n,k}(e\mid m):=\frac{(m)_s\,(n-m)_{k-s}}{(n)_k}
$$
とおく。これは赤 $m$ 個・白 $n-m$ 個の壺から $k$ 個を戻さずに順に取り出すとき、色の並びが $e$($1$ を赤とみる)になる確率である。
$(X_1,\dots,X_n)$ が $\{0,1\}$ 値で交換可能、$S_n:=X_1+\dots+X_n$、$1\le k\le n$、$e\in\{0,1\}^k$ とする。$\{0,\dots,n\}$ 上の関数 $g$ について
$$
E\bigl[\mathbf 1_{\{X_1=e_1,\dots,X_k=e_k\}}\,g(S_n)\bigr]=E\bigl[H_{n,k}(e\mid S_n)\,g(S_n)\bigr]
$$
である。
prop-dft-count により、$S_n=m$ となる $\binom nm$ 通りの並び $x\in\{0,1\}^n$ はどれも同じ確率 $p_m$ をもつ。そのうち先頭 $k$ 個が $e$ であるものは $\binom{n-k}{m-s}$ 通り(範囲外なら $0$)なので、$E[\mathbf 1_{\{X_{1..k}=e\}}g(S_n)]=\sum_m\binom{n-k}{m-s}p_m\,g(m)$、$P(S_n=m)=\binom nm p_m$ である。
$$
\binom{n-k}{m-s}\Big/\binom nm=\frac{m!}{(m-s)!}\cdot\frac{(n-m)!}{(n-m-k+s)!}\cdot\frac{(n-k)!}{n!}=H_{n,k}(e\mid m)
$$
($m< s$ や $n-m< k-s$ では両辺とも $0$)から主張が従う。$\square$
$0\le m\le n$、$p:=m/n$、$1\le k\le n$ について
$$
\sum_{e\in\{0,1\}^k}\Bigl\lvert H_{n,k}(e\mid m)-p^{\lvert e\rvert}(1-p)^{k-\lvert e\rvert}\Bigr\rvert\le\frac{k(k-1)}n
$$
である。
要点:番号 $1,\dots,n$ を戻しながら $k$ 回引き、番号が重ならなかった場合はそのまま戻さない抽出にも使う。2 つの抽出が違うのは番号が重なったときだけで、その確率は $\binom k2/n$ 以下である。
$x\in\{0,1\}^n$ を $\lvert x\rvert=m$ の並びとする($m$ 個の赤玉の位置)。$I_1,\dots,I_k$ を $\{1,\dots,n\}$ 上の一様分布に独立に従う確率変数とし、$D:=\{I_1,\dots,I_k\text{ が相異なる}\}$ とおく。$D$ の上では $J:=I$、$D^c$ の上では $J$ を $I$ と独立に、相異なる $k$ 個の番号の並び全体の上の一様分布から選ぶ。$D$ の上の $I$ の条件付き分布はその一様分布なので、$J$ も一様分布に従う。
$U:=(x_{I_1},\dots,x_{I_k})$ の成分は独立に $P(x_{I_r}=1)=m/n=p$ なので $P(U=e)=p^{\lvert e\rvert}(1-p)^{k-\lvert e\rvert}$ であり、$V:=(x_{J_1},\dots,x_{J_k})$ は戻さない抽出なので $P(V=e)=H_{n,k}(e\mid m)$ である。$D$ の上で $U=V$ なので
$$\sum_e\lvert P(U=e)-P(V=e)\rvert\le\sum_e\bigl(P(U=e,D^c)+P(V=e,D^c)\bigr)=2P(D^c)\le2\sum_{r< r'}P(I_r=I_{r'})=2\binom k2\frac1n=\frac{k(k-1)}n$$
である。$\square$
2 つの補題を合わせると、有限の長さの交換可能な列について次が成り立つ。
$(X_1,\dots,X_n)$ を $\{0,1\}$ 値の交換可能な組とし、$\mu_n$ を $S_n/n$ の分布とする。$1\le k\le n$ について
$$
\sum_{e\in\{0,1\}^k}\Bigl\lvert P(X_1=e_1,\dots,X_k=e_k)-\int\theta^{\lvert e\rvert}(1-\theta)^{k-\lvert e\rvert}\,\mu_n(d\theta)\Bigr\rvert\le\frac{k(k-1)}n
$$
である。すなわち、先頭 $k$ 個の分布は、混合測度 $\mu_n$ の独立同分布な Bernoulli 列の混合と、全変動距離で $\frac{k(k-1)}{2n}$ 以内にある。
lem-dft-urn を $g\equiv1$ で使うと $P(X_{1..k}=e)=E[H_{n,k}(e\mid S_n)]$ であり、$\int\theta^{\lvert e\rvert}(1-\theta)^{k-\lvert e\rvert}\mu_n(d\theta)=E[(S_n/n)^{\lvert e\rvert}(1-S_n/n)^{k-\lvert e\rvert}]$ である。差の絶対値を期待値の中に入れ、$e$ について和をとってから lem-dft-coupling を $m=S_n$ で使えばよい。$\square$
$k$ を固定して $n\to\infty$ とすると右辺は $0$ に近づく。有限の交換可能な列を戻さない抽出として見て収束の速さを評価する方法は、P. Diaconis と D. Freedman による(Dur19 p. 255 の注意)。
$X_1,X_2,\dots$ を $\{0,1\}$ に値をとる交換可能な無限列とし、$S_n:=X_1+\dots+X_n$ とおく。
要点:交換可能性から $E[X_iX_j]$ は $i\ne j$ によらないので、$S_n/n$ は $L^2$ で Cauchy 列になる。その極限 $\Theta$ について、lem-dft-urn と lem-dft-coupling で $n\to\infty$ とすると $E[\mathbf 1_{\{X_{1..k}=e\}}\Theta^r]=E[\Theta^{\lvert e\rvert+r}(1-\Theta)^{k-\lvert e\rvert}]$ が出て、多項式から一般の関数に広げると 2 と 3 になる。確率 1 の収束は、混合の表示と 強大数の法則 から従う。
段 1($L^2$ 収束)。$c_1:=P(X_1=1)$、$c_2:=P(X_1=X_2=1)$ とおく。交換可能性から $E[X_i]=c_1$、$i\ne j$ なら $E[X_iX_j]=c_2$ で、$X_i^2=X_i$ である。$m\le n$ について $E[S_nS_m]=mc_1+(nm-m)c_2$ なので
$$E\Bigl[\Bigl(\frac{S_n}n-\frac{S_m}m\Bigr)^2\Bigr]=\Bigl(\frac{c_1}m+c_2-\frac{c_2}m\Bigr)-\Bigl(\frac{c_1}n+c_2-\frac{c_2}n\Bigr)=(c_1-c_2)\Bigl(\frac1m-\frac1n\Bigr)\to0$$
である。よって $S_n/n$ は $L^2$ で収束する。部分列が確率 $1$ で収束するので、その極限(極限のない確率 $0$ の事象の上では $0$)を $\Theta$ とすると、$\Theta\in[0,1]$ で $E\lvert S_n/n-\Theta\rvert\to0$ である。
段 2(多項式で試す)。$k$、$e$、$s:=\lvert e\rvert$、整数 $r\ge0$ を固定する。$n\ge k$ で lem-dft-urn を $g(m)=(m/n)^r$ に使い、lem-dft-coupling を当てると
$$\Bigl\lvert E\bigl[\mathbf 1_{\{X_{1..k}=e\}}(S_n/n)^r\bigr]-E\bigl[(S_n/n)^{s+r}(1-S_n/n)^{k-s}\bigr]\Bigr\rvert\le\frac{k(k-1)}n$$
である。多項式 $q$ は $[0,1]$ で Lipschitz 連続(定数 $L_q$)なので $\lvert E[Yq(S_n/n)]-E[Yq(\Theta)]\rvert\le L_qE\lvert S_n/n-\Theta\rvert\to0$($\lvert Y\rvert\le1$)である。$n\to\infty$ として $E[\mathbf 1_{\{X_{1..k}=e\}}\Theta^r]=E[\Theta^{s+r}(1-\Theta)^{k-s}]$ を得る。
段 3(一般の関数へ)。$[0,1]$ の Borel 集合 $A$ に $\nu_1(A):=P(X_{1..k}=e,\ \Theta\in A)$、$\nu_2(A):=E[\Theta^s(1-\Theta)^{k-s};\Theta\in A]$ を対応させる。どちらも有限測度で、段 2 により多項式の積分が一致する。Weierstrassの近似定理 により連続関数は多項式で一様に近似できるので、連続関数の積分も一致する。閉集合 $F$ については $\max(0,1-j\operatorname{dist}(\cdot,F))\downarrow\mathbf 1_F$ なので $\nu_1(F)=\nu_2(F)$ であり、閉集合は共通部分で閉じていて Borel 集合族を生成するので、Dynkinのπ-λ定理 により $\nu_1=\nu_2$ である。これは 2 の等式にほかならない。$A=[0,1]$ とすると 3 の混合の表示を得る。
段 4(一意性)。$\mu'$ も 3 の性質をもてば、$e=(1,\dots,1)$ として $\int\theta^k\mu'(d\theta)=P(X_1=\dots=X_k=1)=\int\theta^k\mu(d\theta)$ がすべての $k\ge0$ で成り立つ。段 3 と同じ議論で $\mu'=\mu$ である。
段 5(確率 1 の収束)。$\Omega':=[0,1]\times\{0,1\}^{\mathbb N}$ の上の確率測度 $Q'(A\times C):=\int_A\beta_\theta(C)\,\mu(d\theta)$ を考える。ここで $\beta_\theta$ は $\mathrm{Ber}(\theta)$ の無限直積で、$\theta\mapsto\beta_\theta(C)$ は筒集合 $C$ では多項式、一般の $C$ では単調族の議論で可測である。段 3 により $(\Theta,X)$ の分布は集合 $A\times\{x_{1..k}=e\}$ の上で $Q'$ と一致し、これらは共通部分で閉じていて積 σ-代数を生成するので、両者は等しい。$G:=\{(\theta,x)\mid(x_1+\dots+x_n)/n\to\theta\}$ は可測で、各 $\theta$ で 強大数の法則 により $\beta_\theta(G_\theta)=1$($G_\theta$ は切り口)である。よって $P(S_n/n\to\Theta)=Q'(G)=\int\beta_\theta(G_\theta)\,\mu(d\theta)=1$ である。$\square$
値が $\{0,1\}$ とは限らない交換可能な列 $X_1,X_2,\dots$ では、$\Theta$ の代わりに、有限個の添字の入れ替えで変わらない事象の全体 $\mathcal E$(交換可能 σ-代数)を条件にとる。de Finetti の定理の一般形は「$\mathcal E$ が与えられたとき $X_1,X_2,\dots$ は条件付きで独立同分布」である(Dur19 Theorem 4.7.9、p. 253。証明は後ろ向きのマルチンゲールの収束定理(同 Theorem 4.7.3、p. 250)による。この記事では証明しない)。値の空間によっては、これを独立同分布な列の分布の混合として表せないことがある(同 p. 254 の注意)。$X_i$ がはじめから独立同分布なら $\mathcal E$ の事象の確率は $0$ か $1$ である(Hewitt–Savage の 0-1 法則、同 Theorem 2.5.4、p. 82)。Kolmogorovの0-1法則 の末尾事象はどれも $\mathcal E$ に属するので、これは Kolmogorov の 0-1 法則を独立同分布の場合に強めたものである。
赤 $a$ 個・白 $b$ 個($a,b$ は正の整数)の壺から 1 個取り出し、その色の玉を 1 個加えて戻すことを繰り返し、$n$ 回目が赤なら $X_n:=1$ とする。Pólyaの壺 の定理「並びの確率は赤の回数だけで決まる」により、$k$ 回のうち赤が $s$ 回の並びの確率は $\frac{a^{\overline s}\,b^{\overline{k-s}}}{(a+b)^{\overline k}}$($x^{\overline j}:=x(x+1)\cdots(x+j-1)$)で、同記事のベータ積分の計算によりこれは
$$
\int_0^1\theta^s(1-\theta)^{k-s}\,\frac{\theta^{a-1}(1-\theta)^{b-1}}{B(a,b)}\,d\theta
$$
に等しい($B(a,b)$ はベータ関数)。よって $(X_n)$ は交換可能で、混合測度は Beta分布 $\mathrm{Beta}(a,b)$ である。thm-dft-main の 1 により、取り出した赤の割合 $S_n/n$、したがって壺の中の赤の割合 $(a+S_n)/(a+b+n)$ も、確率 $1$ で $\mathrm{Beta}(a,b)$ に従う確率変数に収束する。$a=b=1$ なら極限は $[0,1]$ の一様分布に従う。
混合測度が $[0,1]$ の一様分布なら、最初の $n$ 回で表が $s$ 回出たときに次が表である条件付き確率は
$$
\frac{\int_0^1\theta^{s+1}(1-\theta)^{n-s}\,d\theta}{\int_0^1\theta^s(1-\theta)^{n-s}\,d\theta}=\frac{(s+1)!\,(n-s)!}{(n+2)!}\cdot\frac{(n+1)!}{s!\,(n-s)!}=\frac{s+1}{n+2}
$$
である(1/6公式とベータ積分 の定理「ベータ積分の公式」)。これは $a=b=1$ の Pólya の壺で、赤が $s$ 回出た後に赤の玉が $s+1$ 個、全体が $n+2$ 個であることと一致する。
各行は thm-dft-main の仮定を 1 つだけ外す。どの行の列も、混合の形には書けない。
| 外す仮定 | 例 | 成り立たなくなること |
|---|---|---|
| 列が無限に続くこと | $(X_1,X_2)$ が $(1,0)$ と $(0,1)$ を確率 $\frac12$ ずつとる | 交換可能だが、$\int\theta^2\,d\mu=\int(1-\theta)^2\,d\mu=0$ を満たす $\mu$ はない |
| 同上(戻さない抽出) | 赤 $m$ 個・白 $N-m$ 個($0< m< N$)の壺から全部を戻さずに取り出す長さ $N$ の列 | 交換可能だが $\mathrm{Cov}(X_1,X_2)=-\frac{p(1-p)}{N-1}< 0$($p:=m/N$)で、混合の共分散 $V[\Theta]\ge0$ と合わない |
| 交換可能性 | $X_1\sim\mathrm{Ber}(\frac12)$、$X_{n+1}:=1-X_n$($0,1$ が交互に並ぶ) | 無限列で、時刻をずらしても分布は変わらないが、$P(X_1=X_2=1)=P(X_1=X_2=0)=0$ を満たす $\mu$ はない |
1 行目:$P(X_1=X_2=1)=\int\theta^2\,d\mu$ が $0$ なら $\mu(\{0\})=1$、$P(X_1=X_2=0)=\int(1-\theta)^2\,d\mu$ が $0$ なら $\mu(\{1\})=1$ で、両立しない。長さ 2 の組を先頭にもつ交換可能な無限列は存在しない(あれば thm-dft-main の 3 に反する)。
2 行目:取り出す順は $N$ 個の玉の一様な並べ替えなので交換可能である。$P(X_1=1)=p$、$P(X_1=X_2=1)=\frac{m(m-1)}{N(N-1)}$ から $\mathrm{Cov}(X_1,X_2)=\frac{m(m-N)}{N^2(N-1)}=-\frac{p(1-p)}{N-1}$ である。混合なら $\mathrm{Cov}=\int\theta^2d\mu-(\int\theta\,d\mu)^2\ge0$ である。
3 行目:$P(X_1=1,X_2=0,X_3=1)=\frac12$、$P(X_1=1,X_2=1,X_3=0)=0$ なので交換可能でない。$X_1=X_2$ は起こらないので、1 行目と同じ理由で混合にならない。
2 行目の列は、長さ $N$ の範囲では thm-dft-finite の評価を満たしている($k=2$ なら誤差の和は $2/N$ 以下)。誤差を $0$ にできないのは、列を無限に延ばせないからである。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する