Prokhorovの定理(Prokhorov's theorem)とは、距離空間の上の確率測度の族について、緊密性と弱収束に関する相対コンパクト性を結びつける定理である。族が緊密、すなわち任意の $\varepsilon>0$ に対し 1 つのコンパクト集合の外の確率がすべての測度で $\varepsilon$ 以下なら、族の任意の列は確率測度に弱収束する部分列をもつ。空間が完備可分(Polish空間)なら逆も成り立つ。確率が無限遠へ逃げないことを示して部分列をとり、極限を特性関数などで特定するという、分布収束の証明の基本の型を、連続関数の空間のような分布関数のない空間へ広げる。
前提知識: 特性関数(確率論), 確率変数の収束, Polish空間, Riesz–Markov–角谷の表現定理
Prokhorovの定理(Prokhorov's theorem)は、距離空間の上の確率測度の族について、弱収束に関する部分列の取り出しを、確率の集中の条件で言い換える定理である。確率測度の族 $\Pi$ が 緊密(tight、タイト)であるとは、どんな $\varepsilon>0$ に対しても 1 つのコンパクト集合 $K$ があって、すべての $\mu\in\Pi$ が $K$ の外に $\varepsilon$ 以下の確率しかおかないことをいう。定理の主張は次の 2 つである。
$(S,d)$ を距離空間とし、$\mathcal{B}(S)$ を Borel 集合族、$\mathcal{P}(S)$ を $(S,\mathcal{B}(S))$ の上の確率測度の全体とする。$C_b(S)$ は $S$ の上の有界な実数値連続関数の空間である。
$\mu_n,\mu\in\mathcal{P}(S)$ について、すべての $f\in C_b(S)$ で
$$
\int_Sf\,d\mu_n\to\int_Sf\,d\mu
$$
となるとき、$\mu_n$ は $\mu$ に 弱収束 するといい、$\mu_n\Rightarrow\mu$ と書く。
$S=\mathbb{R}$ のとき、これは 特性関数(確率論) の分布関数による定義と同値である(確率変数の収束 の定理「分布収束の特徴づけ」の 1 ⇔ 2)。
$\Pi\subset\mathcal{P}(S)$ が 緊密(tight)であるとは、任意の $\varepsilon>0$ に対して $S$ のコンパクト集合 $K$ があり、すべての $\mu\in\Pi$ について $\mu(S\setminus K)\le\varepsilon$ となることをいう。一様緊密(uniformly tight)ともいう。
$\Pi\subset\mathcal{P}(S)$ が 相対コンパクト であるとは、$\Pi$ の任意の列 $(\mu_n)$ が、ある $\mu\in\mathcal{P}(S)$ に弱収束する部分列をもつことをいう。極限 $\mu$ は $\Pi$ に属さなくてよい。
$(S,d)$ を距離空間、$\Pi\subset\mathcal{P}(S)$ とする。
1 に $S$ の完備性も可分性も要らない。2 では、$S$ に完備距離が入ることが本質である(ex-pk-counterexamples の 2 行目)。緊密性と相対コンパクト性は $S$ の位相だけで決まる性質なので、thm-pk-main の 2 は Polish 空間について、完備距離を 1 つ選んで適用すればよい。$S=\mathbb{R}$ と $\mathbb{R}^d$ の 1 の場合は、分布関数の選出で示せる(Dur19 Theorem 3.2.13, p. 122、Theorem 3.10.3, p. 199)。
直感としては、$S$ がコンパクトなら $\mathcal{P}(S)$ は $C(S)$ の双対の単位球の中にあり、Banach–Alaogluの定理 の型の議論で部分列がとれる。$S$ がコンパクトでないと、極限の汎関数の質量が無限遠へ逃げて確率測度でなくなることがある。緊密性は、この質量の逃げを $S$ の中のコンパクト集合の上で一様に防ぐ条件である。
$S$ の上の有限な Borel 測度 $\rho,\rho'$ がすべての $f\in C_b(S)$ で $\int f\,d\rho=\int f\,d\rho'$ をみたすなら、$\rho=\rho'$ である。
$F\ne\emptyset$ を閉集合とし、$f_j(x):=\max\{0,1-j\,d(x,F)\}$ とおく。$f_j\in C_b(S)$ で、$F$ が閉なので $f_j\downarrow1_F$ である。優収束定理 により $\rho(F)=\rho'(F)$ である。$f=1$ から全質量も等しい。閉集合の全体は交わりで閉じていて $\mathcal{B}(S)$ を生成するので、Dynkinのπ-λ定理 により $\rho=\rho'$ である。$\square$
$\mu_n\Rightarrow\mu$ で $G\subset S$ が開集合なら、$\mu(G)\le\liminf_n\mu_n(G)$ である。
$G=S$ なら両辺は $1$ である。$G\ne S$ なら $f_j(x):=\min\{1,j\,d(x,S\setminus G)\}$ とおくと、$f_j\in C_b(S)$、$0\le f_j\le1_G$ で、$S\setminus G$ が閉なので $f_j\uparrow1_G$ である。各 $j$ で
$$
\int f_j\,d\mu=\lim_n\int f_j\,d\mu_n\le\liminf_n\mu_n(G)
$$
であり、$j\to\infty$ として単調収束定理を使う。$\square$
lem-pk-open は Portmanteau 定理(MP10 Theorem 12.6, p. 347)の一部である。
$K$ をコンパクト距離空間、$\rho_n$ を $K$ の上の有限な Borel 測度で $\sup_n\rho_n(K)<\infty$ をみたすものとする。部分列 $(\rho_{n_j})$ と $K$ の上の有限な Borel 測度 $\rho$ があって、すべての $g\in C(K)$ で $\int g\,d\rho_{n_j}\to\int g\,d\rho$ となる。
要点:$C(K)$ は可分なので対角線論法で部分列をとり、極限の正値線形汎関数に Riesz の定理を当てる。
$K=\emptyset$ なら自明なので $K\ne\emptyset$ とする。$K$ の可算稠密集合 $\{x_i\}$ をとると、$1$ と $d(\cdot,x_i)$ が生成する有理係数の多項式の全体は可算で、Stone–Weierstrassの定理 により $C(K)$ で稠密である。これを $\{g_i\}$ と書く。$C:=\sup_n\rho_n(K)$ とする。各 $i$ で $(\int g_i\,d\rho_n)_n$ は有界なので、対角線論法により部分列 $(\rho_{n_j})$ で、すべての $i$ について $\int g_i\,d\rho_{n_j}$ が収束するものがとれる。$g\in C(K)$ と $i$ について $\lvert\int g\,d\rho_{n}-\int g_i\,d\rho_{n}\rvert\le C\|g-g_i\|_\infty$ なので、$(\int g\,d\rho_{n_j})_j$ は Cauchy 列であり、極限 $L(g)$ が定まる。$L$ は $C(K)$ の上の線形汎関数で、$g\ge0$ なら $L(g)\ge0$ である。Riesz–Markov–角谷の表現定理 により、有限な Borel 測度 $\rho$ で $L(g)=\int g\,d\rho$ となるものがある。$\square$
thm-pk-main の 1 を証明する。証明の形は、コンパクト集合の増大列の上で測度の極限をとり、それらを貼り合わせることである。
$(\mu_n)$ を $\Pi$ の列とする。緊密性から、$m\ge1$ についてコンパクト集合 $K_m$ で $\sup_{\mu\in\Pi}\mu(S\setminus K_m)\le2^{-m}$ となるものがとれる。$K_1\cup\dots\cup K_m$ に取り替えて $K_1\subset K_2\subset\cdots$ としてよい。
段 1(各 $K_m$ の上の極限). $m=1,2,\dots$ と順に lem-pk-compact を制限 $\mu_n|_{K_m}$ に当てて、対角線論法で部分列をとる。添字を付け替えると、各 $m$ について $K_m$ の上の有限な Borel 測度 $\nu_m$ があって
$$
\int_{K_m}g\,d\mu_n\to\int_{K_m}g\,d\nu_m\qquad(g\in C(K_m))
$$
となる。$\nu_m(A):=\nu_m(A\cap K_m)$ により $\nu_m$ を $\mathcal{B}(S)$ の上の測度と見る。$g=1$ とすると $\nu_m(S)=\lim_n\mu_n(K_m)$ なので
$$
1-2^{-m}\le\nu_m(S)\le1
$$
である。
段 2(単調性). $\nu_m\le\nu_{m+1}$ を示す。$K:=K_{m+1}$ とし、$0\le g\in C(K)$ とすると、$\int_{K_m}g\,d\mu_n\le\int_Kg\,d\mu_n$ の極限から $\int g\,d\nu_m\le\int g\,d\nu_{m+1}$ である。よって $\Lambda(g):=\int g\,d\nu_{m+1}-\int g\,d\nu_m$ は $C(K)$ の上の正値線形汎関数で、Riesz–Markov–角谷の表現定理 により有限な Borel 測度 $\rho$ で $\Lambda(g)=\int g\,d\rho$ となるものがある。lem-pk-unique を $K$ に当てると $\nu_{m+1}=\nu_m+\rho$ なので、すべての Borel 集合で $\nu_m\le\nu_{m+1}$ である。
段 3(極限の測度). $\nu(A):=\lim_m\nu_m(A)$ とおく。互いに素な $A_i$ について、単調収束定理(数え上げ測度の上の)から
$$
\nu\Bigl(\bigcup_iA_i\Bigr)=\sup_m\sum_i\nu_m(A_i)=\sum_i\sup_m\nu_m(A_i)=\sum_i\nu(A_i)
$$
なので $\nu$ は測度で、$\nu(S)=1$ である。さらに $\nu-\nu_m$ は測度で、全質量は $2^{-m}$ 以下である。
段 4(弱収束). $f\in C_b(S)$、$\lvert f\rvert\le M$ とする。$f|_{K_m}\in C(K_m)$ なので
$$
\Bigl\lvert\int f\,d\mu_n-\int f\,d\nu\Bigr\rvert\le\Bigl\lvert\int_{S\setminus K_m}f\,d\mu_n\Bigr\rvert+\Bigl\lvert\int_{K_m}f\,d\mu_n-\int_{K_m}f\,d\nu_m\Bigr\rvert+\Bigl\lvert\int f\,d(\nu-\nu_m)\Bigr\rvert
$$
で、右辺の第 1 項と第 3 項は $M2^{-m}$ 以下である。$n\to\infty$ とすると第 2 項は $0$ に近づくので $\limsup_n\lvert\int f\,d\mu_n-\int f\,d\nu\rvert\le2M2^{-m}$ であり、$m$ は任意なので $\mu_n\Rightarrow\nu$ である。$\square$
thm-pk-main の 2 を証明する。可分性で有限個の球に確率を集め、完備性で全有界な集合の閉包をコンパクトにする。
段 1. 開集合の増大列 $G_1\subset G_2\subset\cdots$ で $\bigcup_kG_k=S$ となるものと $\delta>0$ について、$k$ があってすべての $\mu\in\Pi$ で $\mu(G_k)>1-\delta$ となることを示す。そうでないとすると、各 $k$ に $\mu_k\in\Pi$ で $\mu_k(G_k)\le1-\delta$ となるものがある。相対コンパクト性から部分列 $\mu_{k_j}\Rightarrow\mu\in\mathcal{P}(S)$ がとれる。$k$ を固定すると、$k_j\ge k$ なら $G_k\subset G_{k_j}$ なので、lem-pk-open により
$$
\mu(G_k)\le\liminf_j\mu_{k_j}(G_k)\le\liminf_j\mu_{k_j}(G_{k_j})\le1-\delta
$$
である。$k\to\infty$ とすると $\mu(S)\le1-\delta$ となり矛盾する。
段 2. $\varepsilon>0$ とする。$S=\emptyset$ なら $\mathcal{P}(S)=\emptyset$ で自明なので、$S$ の可算稠密集合 $\{x_i\}_{i\ge1}$ をとる。各 $m\ge1$ で、開集合 $G^{(m)}_k:=\bigcup_{i\le k}B(x_i,1/m)$ は増大して $S$ に近づく。段 1 により $k_m$ があって、すべての $\mu\in\Pi$ で $\mu(S\setminus G^{(m)}_{k_m})\le\varepsilon2^{-m}$ となる。
$$
A:=\bigcap_{m\ge1}G^{(m)}_{k_m}
$$
とおくと、すべての $\mu\in\Pi$ で $\mu(S\setminus A)\le\sum_m\varepsilon2^{-m}=\varepsilon$ である。$A$ は各 $m$ で半径 $1/m$ の有限個の球に覆われるので 全有界 である。$K:=\overline{A}$ も全有界であり、完備空間の閉集合なので完備である。よって $K$ はコンパクトで、$\mu(S\setminus K)\le\varepsilon$ である。$\square$
$S$ を Polish 空間とする。$\mu\in\mathcal{P}(S)$ と $\varepsilon>0$ について、コンパクト集合 $K$ で $\mu(S\setminus K)\le\varepsilon$ となるものがある。有限個の測度の族についても同じである。
有限集合の任意の列は定数の部分列をもつので相対コンパクトであり、thm-pk-main の 2 により緊密である。$\square$
$S$ がコンパクト距離空間なら、$\mathcal{P}(S)$ の任意の列は弱収束する部分列をもつ。
$K=S$ がすべての $\varepsilon$ に対して使えるので $\mathcal{P}(S)$ は緊密である。thm-pk-main の 1 による。$\square$
$(\mu_n)$ が緊密で、$(\mu_n)$ の弱収束する部分列の極限がすべて同じ $\mu$ なら、$\mu_n\Rightarrow\mu$ である。
そうでないとすると、$f\in C_b(S)$、$\delta>0$ と部分列 $(\mu_{n_j})$ で $\lvert\int f\,d\mu_{n_j}-\int f\,d\mu\rvert\ge\delta$ となるものがある。thm-pk-main の 1 により、$(\mu_{n_j})$ はさらに弱収束する部分列をもち、その極限は仮定により $\mu$ である。これは $\delta$ の不等式に反する。$\square$
たとえば $\mathbb{R}$ の上の緊密な列 $(\mu_n)$ の特性関数が各点で収束するなら、$\mu_n$ は弱収束する。$e^{itx}$ の実部と虚部は有界連続なので、部分列の極限の特性関数はどれも同じ関数になり、特性関数は分布を決める(特性関数(確率論) の系「特性関数は分布を決める」)ので、cor-pk-subsequence が使えるからである。
$\mathbb{R}$ の上の正規分布の族 $\Pi=\{N(0,\sigma^2):0<\sigma\le1\}$ は緊密である。$\mu=N(0,\sigma^2)$ について Chebyshev の不等式から $\mu(\{\lvert x\rvert>M\})\le\sigma^2/M^2\le1/M^2$ なので、$K=[-M,M]$ が使える。
一方 $\{N(0,n):n\ge1\}$ は緊密でも相対コンパクトでもない。$N(0,n)((-M,M))\to0$($n\to\infty$)である。部分列が $\mu$ に弱収束するなら lem-pk-open からすべての $M$ で $\mu((-M,M))=0$ となり、$\mu(\mathbb{R})=0$ となって確率測度にならない。
$V\colon S\to[0,\infty]$ を Borel 関数とし、各 $c<\infty$ で $\{V\le c\}$ がコンパクト集合に含まれるとする。$\sup_{\mu\in\Pi}\int V\,d\mu=:C<\infty$ なら、Markov の不等式により $\mu(\{V>c\})\le C/c$ なので $\Pi$ は緊密である。$S=\mathbb{R}$ のときが Dur19 Theorem 3.2.14(p. 123)である。たとえば $\sup_{\mu\in\Pi}\int\lvert x\rvert^p\,d\mu<\infty$($p>0$)なら $\mathbb{R}^d$ の上の族は緊密である。
$S=C[0,1]$ を一様ノルムの Polish 空間とし、$w_x(\delta):=\sup_{\lvert s-t\rvert\le\delta}\lvert x(s)-x(t)\rvert$ とする。$\Pi\subset\mathcal{P}(S)$ が
$\varepsilon>0$ とする。1 から $M$ を、2 から各 $j\ge1$ について $\delta_j>0$ を、すべての $\mu\in\Pi$ で $\mu(\{\lvert x(0)\rvert>M\})\le\varepsilon/2$、$\mu(\{w_x(\delta_j)>1/j\})\le\varepsilon2^{-j-1}$ となるようにとる。$x\mapsto x(0)$ と $x\mapsto w_x(\delta)$ は連続なので
$$
K:=\{x:\lvert x(0)\rvert\le M\}\cap\bigcap_{j\ge1}\{x:w_x(\delta_j)\le1/j\}
$$
は閉集合で、すべての $\mu\in\Pi$ で $\mu(S\setminus K)\le\varepsilon$ である。$K$ の元は同程度連続で、$0$ での値が有界なので一様に有界である。Arzelà–Ascoliの定理 により $K$ はコンパクトである。$\square$
$\Pi$ がこの形で緊密で、すべての有限個の時刻の組での同時分布が収束するなら、列は $C[0,1]$ の上で弱収束する。実際、部分列の極限は有限次元の同時分布で決まり(有限個の時刻の値で定まる集合の全体は交わりで閉じていて、閉球を生成するので $\mathcal{B}(S)$ を生成する)、cor-pk-subsequence が使える。$C[0,1]$ の上の弱収束の代表例が Donsker の定理である(Dur19 Theorem 8.1.4, p. 392。酔歩の折れ線の分布が Brown運動 の分布に弱収束する。この記事では証明しない)。
$S$ を空でないコンパクト距離空間、$T\colon S\to S$ を連続写像とする。$T_*\nu=\nu$ となる $\nu\in\mathcal{P}(S)$ が存在する。
$x\in S$ をとり、$\nu_n:=\frac1n\sum_{i=0}^{n-1}\delta_{T^ix}$ とおく。cor-pk-compact-space により部分列 $\nu_{n_j}\Rightarrow\nu$ がとれる。$f\in C(S)$ について、和が打ち消し合うので
$$
\Bigl\lvert\int f\circ T\,d\nu_n-\int f\,d\nu_n\Bigr\rvert=\frac1n\lvert f(T^nx)-f(x)\rvert\le\frac{2\|f\|_\infty}n
$$
である。$f\circ T$ も連続なので極限で $\int f\circ T\,d\nu=\int f\,d\nu$ となり、lem-pk-unique により $T_*\nu=\nu$ である。$\square$
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 緊密性(thm-pk-main の 1) | $\mathbb{R}$ の上の点測度の列 $\mu_n=\delta_n$ | 弱収束する部分列の存在 |
| 完備性(thm-pk-main の 2) | $[0,1]$ の部分集合 $S$(下の Bernstein 集合)の上の Lebesgue 測度の制限 $\mu$ と $\Pi=\{\mu\}$ | 相対コンパクトな族の緊密性 |
1. $\mathbb{R}$ は Polish 空間である。$\{\delta_n\}$ のどのコンパクト集合 $K\subset[-M,M]$ についても、$n>M$ で $\delta_n(\mathbb{R}\setminus K)=1$ なので緊密でない。部分列が $\mu$ に弱収束するなら、lem-pk-open により $\mu((-M,M))\le\liminf_j\delta_{n_j}((-M,M))=0$ がすべての $M$ で成り立ち、$\mu(\mathbb{R})=0$ となって矛盾する。分布関数で見ると $F_n=1_{[n,\infty)}$ は $0$ に近づき、確率が無限遠へ逃げている(Hellyの選出定理 の極限は分布関数にならない)。
2. 選択公理を使う。$[0,1]$ の非可算な閉集合の全体は連続体濃度あり、各々は連続体濃度をもつ(Polish空間 の定理「濃度の二分法」)。これらを連続体濃度の始順序数で $F_\alpha$ と並べ、超限帰納法で、それまでに選んだ点と異なる $x_\alpha,y_\alpha\in F_\alpha$ を選ぶ。$S:=\{x_\alpha\}$ とおくと、$S$ も $[0,1]\setminus S$ も非可算な閉集合を含まない。$\lambda$ を Lebesgue 測度とする。Borel 集合 $B\subset[0,1]$ が $S$ と交わらなければ $\lambda(B)=0$ である($\lambda(B)>0$ なら $B$ は正の測度のコンパクト集合を含み、それは非可算なので $S$ と交わる)。$S$ の Borel 集合は $A\cap S$($A$ は $[0,1]$ の Borel 集合)の形であり、$A\cap S=A'\cap S$ なら $A\triangle A'$ は $S$ と交わらないので $\lambda(A)=\lambda(A')$ である。よって $\mu(A\cap S):=\lambda(A)$ は矛盾なく定まり、同じ理由で可算加法的であり、$\mu\in\mathcal{P}(S)$ である。$S$ は可分な距離空間で、$\{\mu\}$ は定数列をとれるので相対コンパクトである。$K\subset S$ がコンパクトなら $K$ は $[0,1]$ の閉集合で $S$ に含まれるので可算であり、$\mu(K)=\lambda(K)=0$ である。よって $\{\mu\}$ は緊密でない。$S$ は完備でないから thm-pk-main の 2 と矛盾しない。$\square$
1 行目の $\delta_n$ は、$C_b$ の代わりにコンパクト台の連続関数で試すと零測度に収束する。緊密性は、この種の極限の質量の欠損を防ぐ条件である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する