Donskerの定理

同義語:Donsker の定理ドンスカーの定理Donskerの不変原理汎関数中心極限定理Donsker's theoremDonsker's invariance principlefunctional central limit theorem

概要

Donskerの定理(Donsker's theorem)とは、平均 $0$、分散 $1$ の独立同分布の和を時間 $1/n$ 倍、高さ $1/\sqrt{n}$ 倍に縮めた折れ線の分布が、連続関数の空間の上で Brown 運動の分布に弱収束するという定理である。不変原理、汎関数中心極限定理ともいう。極限が元の分布によらないので、1 つの場合に計算した最大値や逆正弦法則のような道の量の極限が、すべてのランダムウォークに移る。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Brown運動, 中心極限定理, Prokhorovの定理, 分布収束

Donsker の定理(Donsker's theorem)は、平均 $0$、分散 $1$ の独立同分布の和 $S_k$ を、時間を $1/n$ 倍、高さを $1/\sqrt n$ 倍に縮めた折れ線の分布が、連続関数の空間の上で Brown運動 の分布に弱収束するという定理である。不変原理、汎関数中心極限定理ともいう。中心極限定理 が時刻 $1$ の値 $S_n/\sqrt n$ だけを見るのに対し、この定理は道全体の分布の収束を述べる。
「不変」は、極限が $X_1$ の分布によらないことを指す。この性質から、最大値や正の側にいる時間の割合のような道の量の極限は、計算しやすい場合に 1 度求めれば、すべての場合に同じ値になる。この記事では、有限次元分布の収束と緊密性から定理を証明し、この原理で逆正弦法則を導く。

設定と主張

$X_1,X_2,\dots$ を独立同分布の実確率変数で $E[X_1]=0$、$E[X_1^2]=1$ とし、$S_0=0$、$S_k=X_1+\dots+X_k$ とする。分散が $\sigma^2\in(0,\infty)$ なら $X_k/\sigma$ に置き換える。

縮めた折れ線

$n\ge1$ について、$S^n\in C[0,1]$ を
$$ S^n(t)=\frac{S_{\lfloor nt\rfloor}+(nt-\lfloor nt\rfloor)X_{\lfloor nt\rfloor+1}}{\sqrt n} $$
で定める。時刻 $k/n$ で値 $S_k/\sqrt n$ をとり、その間を線分で結んだ関数である。$C[0,1]$ には一様ノルムを入れる。これは Prokhorovの定理 が使える Polish 空間である。

Donsker の定理

$B$ を標準 Brown運動 とする。$C[0,1]$ の上の任意の有界連続関数 $F$ について $E[F(S^n)]\to E[F(B)]$ である。すなわち $S^n$ の分布は $B$ の分布(Wiener測度)に弱収束する。

証明の組み立て

$F(f)=g(f(1))$ とおけば中心極限定理が得られる。Dur19 Theorem 8.1.4 と MP10 Theorem 5.22 は Skorokhod の埋め込みで証明しているが、ここでは次の 3 段階で証明する。

  1. 有限個の時刻の値の同時分布が収束する(prop-dk-fdd)。
  2. $(S^n)$ の分布の族は緊密である(lem-dk-modulus)。
  3. 緊密性で部分列の極限が存在し、1 で極限が 1 つに決まる(prf-dk-main)。
    2 が要る理由は、節「反例」の表の「緊密性」の行にある。有限次元分布の収束だけでは、関数空間の上の収束にならない。

有限次元分布の収束

有限次元分布

$0\le t_1 < \dots < t_k\le1$ について、$(S^n(t_1),\dots,S^n(t_k))$ の分布は $(B_{t_1},\dots,B_{t_k})$ の分布に弱収束する。

重ならない区間の和は独立

$t_0=0$ とし、$m_j=\lfloor nt_j\rfloor$ とおく。$j\ge1$ について $D^n_j=(S_{m_j}-S_{m_{j-1}})/\sqrt n$ とおくと、$D^n_1,\dots,D^n_k$ は独立である。$D^n_j$ は $m_j-m_{j-1}$ 個の独立同分布の和を $\sqrt n$ で割ったもので、$(m_j-m_{j-1})/n\to t_j-t_{j-1}$ なので、特性関数(確率論) の定理「独立同分布の和の中心極限定理」により $N(0,t_j-t_{j-1})$ に分布収束する($t_1=0$ の場合の $D^n_1=0$ も同じ式に含まれる)。特性関数は独立性で積に分かれるので、$(D^n_1,\dots,D^n_k)$ は、独立な $N(0,t_j-t_{j-1})$ の組に分布収束する。部分和への線形写像は連続なので、$(S_{m_1},\dots,S_{m_k})/\sqrt n$ は $(B_{t_1},\dots,B_{t_k})$ の分布に収束する。
一方 $\lvert S^n(t_j)-S_{m_j}/\sqrt n\rvert\le\lvert X_{m_j+1}\rvert/\sqrt n$ で、右辺の分布は $\lvert X_1\rvert/\sqrt n$ と等しく $0$ に確率収束する($t_j=1$ なら差は $0$)。よって差は極限に影響しない。$\square$

緊密性

連続関数 $f$ の振幅を $w(f,\delta):=\sup_{\lvert s-t\rvert\le\delta}\lvert f(s)-f(t)\rvert$ で測る。振幅を抑えるには、和の最大値を最後の値で抑える次の不等式を使う。

Ottaviani の不等式

$m\ge1$、$a>0$ とし、$c:=\max_{k\le m}P(\lvert S_m-S_k\rvert>a) < 1$ とする。このとき
$$ P\Bigl(\max_{k\le m}\lvert S_k\rvert\ge2a\Bigr)\le\frac{1}{1-c}\,P(\lvert S_m\rvert\ge a) $$
である。

最初に超えた時刻で分ける

$\tau:=\min\{k\le m:\lvert S_k\rvert\ge2a\}$ とする。$\{\tau=k\}$ は $X_1,\dots,X_k$ で決まるので $S_m-S_k$ と独立である。$\tau=k$ かつ $\lvert S_m-S_k\rvert\le a$ なら $\lvert S_m\rvert\ge a$ である。ゆえに
$$ P(\lvert S_m\rvert\ge a)\ge\sum_{k\le m}P(\tau=k)P(\lvert S_m-S_k\rvert\le a)\ge(1-c)P\Bigl(\max_{k\le m}\lvert S_k\rvert\ge2a\Bigr) $$
である。$\square$

振幅の評価

任意の $\varepsilon>0$ について
$$ \lim_{\delta\downarrow0}\limsup_{n\to\infty}P\bigl(w(S^n,\delta)\ge3\varepsilon\bigr)=0 $$
である。

区間に分けて中心極限定理を当てる

$\delta\in(0,1)$、$n\ge1/\delta$ とする。$m:=\lceil n\delta\rceil$、$J:=\lceil n/m\rceil$、$t_j:=\min(jm,n)/n$ とおくと、$\delta\le m/n$ で $m\le2n\delta$、$J\le n/m+1\le2/\delta$ である。
$s < t$、$t-s\le\delta$ とする。$s\in[t_j,t_{j+1}]$ なら $t\le t_{j+2}$ なので、三角不等式で
$$ \lvert S^n(s)-S^n(t)\rvert\le3\max_{j< J}\ \sup_{u\in[t_j,t_{j+1}]}\lvert S^n(u)-S^n(t_j)\rvert $$
である。$S^n$ は折れ線なので、右の上限は頂点でとられ、$\max_{0\le k\le m}\lvert S_{jm+k}-S_{jm}\rvert/\sqrt n$ 以下である(ただし $jm+k\le n$ の範囲)。増分の分布は $j$ によらないので、
$$ P\bigl(w(S^n,\delta)\ge3\varepsilon\bigr)\le JP\Bigl(\max_{k\le m}\lvert S_k\rvert\ge\varepsilon\sqrt n\Bigr)\le\frac2\delta\,P\Bigl(\max_{k\le m}\lvert S_k\rvert\ge2\lambda\sqrt m\Bigr),\qquad\lambda:=\frac{\varepsilon}{2\sqrt{2\delta}} $$
である($m\le2n\delta$ より $\varepsilon\sqrt n\ge2\lambda\sqrt m$)。
$\delta$ を小さくとって $\lambda\ge2$ とする。Chebyshev の不等式で $P(\lvert S_m-S_k\rvert>\lambda\sqrt m)\le(m-k)/(\lambda^2m)\le\frac14$ なので、lem-dk-ottaviani から右辺は $\frac{8}{3\delta}P(\lvert S_m\rvert\ge\lambda\sqrt m)$ 以下である。$n\to\infty$ で $m\to\infty$ なので、中心極限定理 により
$$ \limsup_{n\to\infty}P\bigl(w(S^n,\delta)\ge3\varepsilon\bigr)\le\frac{8}{3\delta}P(\lvert Z\rvert\ge\lambda)\le\frac{16}{3\delta}\exp\Bigl(-\frac{\varepsilon^2}{16\delta}\Bigr) $$
である($Z\sim N(0,1)$)。$\delta\downarrow0$ で右辺は $0$ に行く。$\square$

分散が有限であることは、Chebyshev の不等式と中心極限定理の両方で使っている。$1/\delta$ 個の区間の和に対して、正規分布の裾の速い減衰が勝つことが要点である。

定理の証明

Donsker の定理

$\mu_n$ を $S^n$ の分布とする。
緊密性。 $\mu_n$ は $f(0)=0$ の上に載っている。任意の $\varepsilon,\varepsilon'>0$ について、lem-dk-modulus から $\delta_0,n_0$ をとり、$\delta\le\delta_0$、$n\ge n_0$ で $P(w(S^n,\delta)\ge3\varepsilon)\le\varepsilon'$ とできる。残りの有限個の $n < n_0$ については、$S^n$ の道は一様連続なので $\delta\downarrow0$ で $w(S^n,\delta)\to0$ である。ゆえに $\delta$ をさらに小さくして、すべての $n$ で同じ不等式が成り立つ。Prokhorovの定理 の命題「連続関数の空間の上の緊密性の十分条件」により $(\mu_n)$ は緊密である。
極限の同定。 $\mu$ を $(\mu_n)$ の部分列の弱収束の極限とする。有限個の時刻での評価 $\pi\colon C[0,1]\to\mathbb{R}^k$ は連続なので、$\mu\circ\pi^{-1}$ は prop-dk-fdd の極限、つまり $B$ の有限次元分布である。有限個の時刻で定まる柱状集合の全体は交わりで閉じていて、$C[0,1]$ の Borel 集合族を生成する(閉球は有理数の時刻の条件の可算個の交わりである)。ゆえに $\mu$ は $B$ の分布に等しい。
極限がすべて同じなので、Prokhorovの定理 の系「部分列の原理」により $\mu_n$ は $B$ の分布に弱収束する。$\square$

Wiener 測度の存在

上の緊密性の議論は Brown 運動の存在を使っていない。部分列の極限 $\mu$ は、有限次元分布が Brown 運動のものである $C[0,1]$ の上の確率測度である。したがってこの証明は、Brown運動 の Lévy–Ciesielski の構成とは別の、Wiener 測度の存在証明にもなっている。MP10 第 5 章の Notes and comments は、部分列の極限から示すこの型の証明を Prokhorov に帰している。

連続写像の原理

定理の使い道は、道の関数 $\psi$ を通して分布の収束を読むことにある。

連続写像の原理

$\psi\colon C[0,1]\to\mathbb{R}$ を Borel 関数とし、$\psi$ の不連続点の集合を $D_\psi$ とする。$P(B\in D_\psi)=0$ なら、$\psi(S^n)$ は $\psi(B)$ に分布収束する。

$g\colon\mathbb{R}\to\mathbb{R}$ を有界連続とすると、$g\circ\psi$ は有界で、不連続点は $D_\psi$ に含まれる。距離空間の弱収束の同値条件(Dur19 Theorem 3.10.1 の (vi))により、$E[g(\psi(S^n))]\to E[g(\psi(B))]$ である。これが thm-dk-main の帰結の形である(同 Theorem 8.1.5)。$\square$

代表的な $\psi$ を並べる。すべて prop-dk-mapping を当てるだけで、$X_1$ の分布によらない極限が得られる。$M_n=\max_{0\le k\le n}S_k$ とする。

$\psi(f)$ランダムウォークの量極限の分布
$f(1)$$S_n/\sqrt n$$N(0,1)$
$\max f$$M_n/\sqrt n$$\lvert N(0,1)\rvert$
$\max\lvert f\rvert$$\max_{k\le n}\lvert S_k\rvert/\sqrt n$分布関数 $\frac4\pi\sum_{k\ge0}\frac{(-1)^k}{2k+1}\exp\bigl(-\frac{(2k+1)^2\pi^2}{8x^2}\bigr)$
$\int_0^1f(t)\,dt$$n^{-3/2}\sum_{k\le n}S_k$$N(0,1/3)$
$\mathrm{Leb}\{t:f(t)>0\}$折れ線が正の側にいる時間の割合逆正弦分布
最大値と積分

最大値。 $\psi(f)=\max f$ は連続で、折れ線の最大値は頂点でとられるので $\psi(S^n)=M_n/\sqrt n$ である。Brown運動 の定理「鏡像原理」から、$x>0$ で $P(\max_{t\le1}B_t\ge x)=2P(B_1\ge x)=P(\lvert B_1\rvert\ge x)$ である。ゆえに
$$ \lim_{n\to\infty}P(M_n\ge x\sqrt n)=2(1-\Phi(x)) $$
で(MP10 Theorem 5.25)、これは $X_1$ の分布によらない。たとえば $x=1$ で約 $0.3173$ である。
積分。 台形の面積を足すと $\int_0^1S^n(t)\,dt=n^{-3/2}(\sum_{k< n}S_k+\frac12S_n)$ で、$n^{-3/2}\sum_{k\le n}S_k$ との差 $S_n/(2n^{3/2})$ は $0$ に確率収束する。極限 $\int_0^1B_t\,dt$ は Gauss 変数の Riemann 和の極限なので正規分布に従い、分散は $\int_0^1\int_0^1\min(s,t)\,ds\,dt=\frac13$ である。
絶対値の最大値。 表の第 3 行の分布関数は、$(-x,x)$ の中に時刻 $1$ まで留まる Brown 運動の確率で、MP10 (7.15) の $a=2x$ の場合である(Feynman–Kacの公式 の例「区間からの脱出」)。

逆正弦法則

$U_n:=\mathrm{Leb}\{t\in[0,1]:S^n(t)>0\}$ とする。$U_n$ の分布は、$X_1$ の分布によらず、密度 $\dfrac{1}{\pi\sqrt{x(1-x)}}$($0 < x < 1$)の逆正弦分布に弱収束する。すなわち $\lim_nP(U_n\le x)=\frac2\pi\arcsin\sqrt x$ である。極限は $U=\mathrm{Leb}\{t\in[0,1]:B_t>0\}$ の分布である。

1 つの場合で計算して全部に移す

$\psi(f)=\mathrm{Leb}\{t:f(t)>0\}$ とする。$\psi$ は定数関数 $0$ で連続でないが、$\mathrm{Leb}\{t:f(t)=0\}=0$ を満たす $f$ では連続である。実際、$f_j\to f$ が一様収束なら、$f(t)\ne0$ の点で $\mathbf{1}_{\{f_j(t)>0\}}\to\mathbf{1}_{\{f(t)>0\}}$ なので、優収束定理による。Fubini の定理で $E[\mathrm{Leb}\{t:B_t=0\}]=\int_0^1P(B_t=0)\,dt=0$ なので、$P(B\in D_\psi)=0$ である。prop-dk-mapping により、どの $X_1$ についても $U_n$ は $U$ に分布収束する。
$U$ の分布は 1 つの $X_1$ で求めればよい。$X_1=\pm1$(確率 $\frac12$ ずつ)とする。各線分は横軸の片側にあるので、$U_{2m}=\pi_{2m}/(2m)$ である。ここで $\pi_{2m}$ は $(k-1,S_{k-1})$ と $(k,S_k)$ を結ぶ線分のうち上側にあるものの個数である。古典的な結果として $P(\pi_{2m}=2k)=u_{2k}u_{2m-2k}$($u_{2k}=\binom{2k}{k}4^{-k}$)であり(Dur19 Theorem 4.9.6。この等式はこの記事では証明しない。証明は逆正弦法則の記事(arcsine law)の定理「離散の逆正弦法則」にある)、$u_{2k}\sim1/\sqrt{\pi k}$ から、$0 < a < b < 1$ で
$$ P\Bigl(a\le\frac{\pi_{2m}}{2m}\le b\Bigr)\to\int_a^b\frac{dx}{\pi\sqrt{x(1-x)}} $$
である(Riemann 和)。ゆえに $U$ は逆正弦分布に従う。$\square$

この結論は直観に反する。歩みが公平でも、正の側にいる時間の割合は $\frac12$ の近くに集まらず、$0$ と $1$ の近くに集まる。極限の密度は $x=\frac12$ で最小である。MP10 Theorem 5.28 は同じ原理の別の組合せ論で証明し、Feynman–Kacの公式 の例「第 2 の逆正弦法則」は Brown 運動の側で直接 Laplace 変換を計算する。発想は同じで、不変原理によって特殊な場合の計算が普遍的な法則になる。

拡張

  • 最後の零点。 $\sup\{t\le1:B_t=0\}$ も逆正弦分布に従い、最後に符号が変わる時刻は同じ極限をもつ(MP10 Theorem 5.26・Proposition 5.27)。この関数は連続でなく、不連続点の集合が $B$ にとって零集合であることを別に確かめる。
  • 経験分布。 独立同分布の標本の経験分布関数 $F_n$ について、一様分布なら $\sqrt n\sup_t\lvert F_n(t)-t\rvert$ は $\max_{t\le1}\lvert B_t-tB_1\rvert$ に分布収束する(Dur19 Theorem 8.4.3。Kolmogorov–Smirnov検定 と 経験過程 の基礎)。この記事では証明しない。
  • マルチンゲール。 独立同分布の代わりに、マルチンゲール差の列でも同じ極限が成り立つ(Dur19 Theorem 8.2.8。条件つき分散の収束と Lindeberg 型の条件を仮定する)。この記事では証明しない。
  • 分散が無限大の場合。 $X_1$ が $\alpha$ 安定分布($0 < \alpha < 2$)の吸引域にあるとき、$\sqrt n$ を $n^{1/\alpha}$ の程度の正規化に替えた有限次元分布の極限は、跳びをもつ Lévy過程 である。極限は $C[0,1]$ に入らない。
  • 強い近似。 同じ確率空間の上に $S_k$ と Brown 運動を作り、道ごとに近づける結果がある(MP10 第 5 章の Notes and comments に挙がる Skorokhod・Strassen・Komlós–Major–Tusnády)。Skorokhod の埋め込みの証明はこの方向の出発点である。
    由来について、特殊な場合の極限定理を一般のランダムウォークへ移す発想は Erdős と Kac にさかのぼり、最初の一般の結果が Donsker(1951)である(MP10 第 5 章の Notes and comments)。

反例

外す条件反例成り立たなくなること
平均 $0$$E[X_1]=\mu\ne0$$S^n(1)$ の平均が $\sqrt n\mu$ で発散し、緊密でない
分散有限特性関数 $e^{-\lvert\xi\rvert^{3/2}}$ の対称安定分布の $X_k$$S^n(1)$ は $n^{1/6}X_1$ と同分布で、緊密でない
独立性$X_k=(Y_k-Y_{k-1})$、$Y_k=\pm1/\sqrt2$(独立、確率 $\frac12$ ずつ)平均 $0$、分散 $1$ で同分布だが、$\sup_t\lvert S^n(t)\rvert\to0$
同分布性独立で $P(X_k=\pm k)=\frac1{2k^2}$、それ以外は $X_k=0$平均 $0$、分散 $1$ だが、確率 $1$ で $\sup_t\lvert S^n(t)\rvert\to0$
緊密性(有限次元分布の収束だけ)確定的な関数 $x_n(t)=\max(0,1-\lvert2nt-1\rvert)$各点で $0$ に収束するが、$\sup_t\lvert x_n(t)\rvert=1$ で $C[0,1]$ の中で収束しない
$\psi$ の連続性$A$=折れ線の全体、$\psi=\mathbf{1}_A$$P(S^n\in A)=1$ だが $P(B\in A)=0$
反例の確かめ

表の主な行を確かめる。

主な行の確かめを開く

平均の行:$S^n(1)-\sqrt n\mu$ は $N(0,\mathrm{Var}\,X_1)$ に分布収束する。ゆえに任意の $M$ で $P(\lvert S^n(1)\rvert\le M)\to0$ である。

分散の行:この分布は指数 $\frac32$ の対称安定分布で(Lévy過程 の例「対称安定過程」)、裾が $x^{-3/2}$ の程度なので可積分で平均 $0$、分散は無限大である。特性関数から $S_n/n^{2/3}$ は $X_1$ と同分布なので、$S^n(1)=S_n/\sqrt n$ は $n^{1/6}X_1$ と同分布である。正しい正規化は $S_{\lfloor nt\rfloor}/n^{2/3}$ で、その有限次元分布の極限は $\alpha=\frac32$ の対称安定過程である。

独立性の行:$Y_0$ から始めて $X_k$ は 1 つずらした差で、$E[X_k^2]=2\mathrm{Var}(Y_1)=1$ である。$S_k=Y_k-Y_0$ は $\lvert S_k\rvert\le\sqrt2$ を満たすので、$\sup_t\lvert S^n(t)\rvert\le\sqrt{2/n}$ である。増分の相関が和を打ち消す。

同分布性の行:$\sum_kP(X_k\ne0)=\sum_kk^{-2} < \infty$ なので、Borel–Cantelli の補題により $0$ でない $X_k$ は有限個である。ゆえに $\sup_k\lvert S_k\rvert < \infty$ で、$\sqrt n$ で割れば $0$ に行く。同分布を外すなら Lindeberg の条件が要る(Lindeberg–Fellerの中心極限定理)。

緊密性の行:$x_n$ は $t=1/(2n)$ で頂点 $1$ をとり、$t\ge1/n$ で $0$ である。各 $t$ で $x_n(t)\to0$ なので有限次元分布は $0$ に収束するが、$\{x_n\}$ は $0$ での同程度連続性がない。

$\psi$ の行:折れ線の全体は、$k/n$ を折れ点とする有限次元部分空間の可算和なので Borel 集合である。$S^n$ はこれに属し、Brown 運動の道は至る所微分不可能なのでこれに属さない。弱収束は個々の集合の確率の収束を意味しない。$\psi$ の不連続点は至る所にある。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する