Kolmogorovの三級数定理

同義語:Kolmogorov's three-series theorem三級数定理

概要

Kolmogorovの三級数定理(Kolmogorov's three-series theorem)とは、互いに独立な確率変数 $X_n$ の級数 $\sum_nX_n$ が確率 $1$ で収束するための必要十分条件を与える定理である。$A>0$ を固定して $Y_n:=X_n\mathbf 1_{\{|X_n|\le A\}}$ とおくと、条件は $\sum_nP(|X_n|>A)<\infty$、$\sum_nE[Y_n]$ の収束、$\sum_n\mathrm{Var}(Y_n)<\infty$ の 3 つである。十分性は Kolmogorov の最大不等式から、必要性は対称化と有界な項の部分和の評価から示せる。でたらめな符号の級数 $\sum\pm n^{-\alpha}$ は $\alpha>\frac12$ で収束する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 独立性(確率論), 分散, Borel–Cantelliの補題, Doobの極大不等式

互いに独立な確率変数 $X_1,X_2,\dots$ を項とする級数 $\sum_nX_n$ が確率 $1$ で収束するのはいつか。Kolmogorovの三級数定理(Kolmogorov's three-series theorem)はこの問いに完全な答えを与える。定数 $A>0$ を 1 つ決め、各項を大きさ $A$ で切り捨てた $Y_n:=X_n\mathbf 1_{\{|X_n|\le A\}}$ を作る。すると、$\sum_nX_n$ が確率 $1$ で収束することと、次の 3 つの数の級数がすべて収束することが同値である。
$$ \text{(i)}\ \sum_nP(|X_n|>A),\qquad\text{(ii)}\ \sum_nE[Y_n],\qquad\text{(iii)}\ \sum_n\mathrm{Var}(Y_n). $$
確率変数の級数の収束という確率的な問いが、各項の分布だけで決まる 3 つの実数の級数の収束に帰着する。(i) は大きな項が有限個しか現れないこと、(ii) は切り捨てた項の平均の流れが収束すること、(iii) は平均のまわりの揺れが打ち消し合って収まることを表す。
この定理は大数の法則と同じ源をもつ。Kroneckerの補題(級数) と組み合わせると、級数の収束から $\frac1{b_n}\sum_{k\le n}X_k\to0$ の形の大数の強法則が出る。でたらめな符号を付けた級数 $\sum\pm n^{-\alpha}$ の収束、乱数を係数とする冪級数や Fourier 級数、無限分解可能分布の構成など、独立な項の無限和が現れる場面で使われる。
この記事では、Kolmogorov の最大不等式と二級数の定理から十分性を、有界な項についての下からの評価と対称化から必要性を、中心極限定理を使わずに証明する。

設定と言葉

確率空間 $(\Omega,\mathcal F,P)$ を固定する。確率変数の列 $(X_n)_{n\ge1}$ が互いに独立であることなどの言葉は 独立性(確率論) のとおりとする。部分和を $S_n:=X_1+\dots+X_n$ と書く。

級数の概収束

確率変数の列 $(X_n)$ について、事象 $\{\omega\mid\lim_{n\to\infty}S_n(\omega)\text{ が実数として存在する}\}$ の確率が $1$ のとき、級数 $\sum_nX_n$ は 概収束する(ほとんど確実に収束する)という。

部分和が実数に収束することは Cauchy 列であることと同じなので、この集合は
$$ \bigcap_{j\ge1}\bigcup_{N\ge1}\bigcap_{m,n\ge N}\Bigl\{|S_m-S_n|\le\frac1j\Bigr\} $$
と書けて事象である。$X_n$ が互いに独立なら、有限個の項を変えても収束するかどうかは変わらないので、この事象は末尾事象であり、その確率は $0$ か $1$ である(Kolmogorovの0-1法則)。三級数定理は、どちらになるかを判定する。
切り捨ての水準 $A>0$ について
$$ Y_n^{(A)}:=X_n\mathbf 1_{\{|X_n|\le A\}} $$
とおく。$A$ を固定しているときは単に $Y_n$ と書く。$|Y_n|\le A$ なので $Y_n$ の期待値と分散はつねに有限である。

主定理

Kolmogorov の三級数定理

$X_1,X_2,\dots$ を互いに独立な確率変数とし、$A>0$、$Y_n:=X_n\mathbf 1_{\{|X_n|\le A\}}$ とする。$\sum_nX_n$ が概収束するための必要十分条件は、次の 3 つがすべて成り立つことである。

  1. $\sum_{n=1}^\infty P(|X_n|>A)<\infty$。
  2. $\sum_{n=1}^\infty E[Y_n]$ が収束する。
  3. $\sum_{n=1}^\infty\mathrm{Var}(Y_n)<\infty$。
証明の組み立て

十分性は 3 段である。(iii) から、中心化した $Y_n-E[Y_n]$ の級数が概収束する(lem-tst-two-series)。(ii) を足すと $\sum Y_n$ が概収束する。(i) と Borel–Cantelli の補題から、$X_n\ne Y_n$ となる $n$ は確率 $1$ で有限個しかない。
必要性では、(i) は第 2 の Borel–Cantelli の補題からすぐ出る。難しいのは (iii) で、ここでは $\sum Y_n$ の収束から分散の和の有限性を引き出す。そのために、有界で平均 $0$ の独立な項の部分和が小さい範囲にとどまる確率を、分散の和で上から抑える評価(lem-tst-lower)を使う。平均 $0$ にするには、$Y_n$ から独立な複製 $Y_n'$ を引く対称化を行う。$Y_n-E[Y_n]$ と違い、$Y_n-Y_n'$ は $E[Y_n]$ を知らなくても作れて、しかも級数が概収束する。

二級数の定理

$Z_1,Z_2,\dots$ が互いに独立で、$E[Z_n]=0$、$\sum_n\mathrm{Var}(Z_n)<\infty$ を満たすなら、$\sum_nZ_n$ は概収束する。

要点:部分和の振れ幅を Kolmogorov の最大不等式で分散の和の尾で抑え、部分和がほとんど確実に Cauchy 列になることを示す。証明は Doobの極大不等式 の定理「独立な確率変数の級数の収束」にある。

詳細

Kolmogorov の最大不等式。$W_1,\dots,W_m$ が互いに独立で平均 $0$、分散有限、$U_k:=W_1+\dots+W_k$ なら、$x>0$ について $P(\max_{k\le m}|U_k|\ge x)\le x^{-2}\mathrm{Var}(U_m)$ である。実際、$C_k:=\{|U_k|\ge x,\ |U_j|< x\ (j< k)\}$ は互いに素で、$U_k\mathbf 1_{C_k}$ は $W_1,\dots,W_k$ の関数、$U_m-U_k$ は $W_{k+1},\dots,W_m$ の関数なので独立であり、$E[U_k\mathbf 1_{C_k}(U_m-U_k)]=E[U_k\mathbf 1_{C_k}]E[U_m-U_k]=0$ である。よって $E[U_m^2\mathbf 1_{C_k}]\ge E[U_k^2\mathbf 1_{C_k}]+2E[U_k\mathbf 1_{C_k}(U_m-U_k)]\ge x^2P(C_k)$ で、$k$ について足すと $\mathrm{Var}(U_m)=E[U_m^2]\ge x^2P(\max_{k\le m}|U_k|\ge x)$ を得る。

収束。$T_n:=Z_1+\dots+Z_n$ とする。$\varepsilon>0$ と $M$ を固定し、$Z_{M+1},\dots,Z_N$ に最大不等式を使って $N\to\infty$ とすると、確率の連続性から $P(\sup_{n>M}|T_n-T_M|>\varepsilon)\le\varepsilon^{-2}\sum_{n>M}\mathrm{Var}(Z_n)$ である。$w_M:=\sup_{m,n>M}|T_m-T_n|\le2\sup_{n>M}|T_n-T_M|$ は $M$ について非増加で、極限 $w$ について $P(w>2\varepsilon)\le\varepsilon^{-2}\sum_{n>M}\mathrm{Var}(Z_n)\to0$($M\to\infty$)である。$\varepsilon=\frac1j$ とすれば $w=0$ a.s. であり、そこで $(T_n)$ は Cauchy 列である。$\square$

有界な項の部分和がとどまる確率

$Z_1,\dots,Z_n$ は互いに独立で、$E[Z_k]=0$、ある定数 $c\ge0$ について $|Z_k|\le c$ を満たすとする。$T_k:=Z_1+\dots+Z_k$ とおく。$\lambda>0$ について、事象 $G:=\{\max_{k\le n}|T_k|\le\lambda\}$ は
$$ P(G)\,\mathrm{Var}(T_n)\le(\lambda+c)^2 $$
を満たす。

$T_0:=0$、$G_0:=\Omega$、$G_k:=\{\max_{j\le k}|T_j|\le\lambda\}$ とおく。$G_k$ は減少し、$G_n=G$ である。$H_k:=G_{k-1}\setminus G_k$(時刻 $k$ に初めて $\lambda$ を超える事象)とおく。$H_k$ の上では $|T_{k-1}|\le\lambda$ なので $|T_k|\le|T_{k-1}|+|Z_k|\le\lambda+c$ である。
$\sigma_k^2:=\mathrm{Var}(Z_k)$ とする。$\mathbf 1_{G_{k-1}}$ と $T_{k-1}$ は $Z_1,\dots,Z_{k-1}$ の関数なので $Z_k$ と独立であり、$E[Z_k]=0$ から
$$ E[T_k^2\mathbf 1_{G_{k-1}}]=E[T_{k-1}^2\mathbf 1_{G_{k-1}}]+2E[T_{k-1}\mathbf 1_{G_{k-1}}]E[Z_k]+E[Z_k^2]P(G_{k-1})=E[T_{k-1}^2\mathbf 1_{G_{k-1}}]+\sigma_k^2P(G_{k-1}) $$
である。一方 $\mathbf 1_{G_{k-1}}=\mathbf 1_{G_k}+\mathbf 1_{H_k}$ なので
$$ E[T_k^2\mathbf 1_{G_{k-1}}]\le E[T_k^2\mathbf 1_{G_k}]+(\lambda+c)^2P(H_k) $$
である。2 つを合わせ、$P(G_{k-1})\ge P(G)$ を使うと
$$ E[T_k^2\mathbf 1_{G_k}]\ge E[T_{k-1}^2\mathbf 1_{G_{k-1}}]+\sigma_k^2P(G)-(\lambda+c)^2P(H_k) $$
を得る。$k=1,\dots,n$ について足すと、$T_0=0$、$\sum_k\sigma_k^2=\mathrm{Var}(T_n)$、$\sum_kP(H_k)=P(G^c)$ から
$$ E[T_n^2\mathbf 1_G]\ge P(G)\mathrm{Var}(T_n)-(\lambda+c)^2(1-P(G)) $$
である。左辺は $G$ の上で $|T_n|\le\lambda$ なので $\lambda^2P(G)$ 以下である。よって
$$ P(G)\mathrm{Var}(T_n)\le\lambda^2P(G)+(\lambda+c)^2(1-P(G))\le(\lambda+c)^2 $$
である。$\square$

Doobの極大不等式 の系「Kolmogorov の最大不等式」は、部分和が $x$ を超える確率を分散で 上から 抑える。lem-tst-lower は逆向きで、項が有界なら、分散の和が大きいとき部分和が狭い範囲にとどまる確率は小さい。

十分性。 (i)・(ii)・(iii) を仮定する。$Y_n$ は $X_n$ の Borel 可測関数なので互いに独立である。$Z_n:=Y_n-E[Y_n]$ は互いに独立で $E[Z_n]=0$、$\mathrm{Var}(Z_n)=\mathrm{Var}(Y_n)$ なので、(iii) と lem-tst-two-series から $\sum_nZ_n$ は概収束する。(ii) により数の級数 $\sum_nE[Y_n]$ は収束するので、足し合わせて $\sum_nY_n$ も概収束する。(i) と Borel–Cantelliの補題 の定理「第 1 の Borel–Cantelli の補題」により、$\{X_n\ne Y_n\}=\{|X_n|>A\}$ が無限回起こる確率は $0$ である。したがって確率 $1$ で、ある番号から先はすべての $n$ で $X_n=Y_n$ となり、$\sum_nX_n$ と $\sum_nY_n$ の部分和の差はある番号から先で一定である。よって $\sum_nX_n$ は概収束する。
必要性 (i)。 $\sum_nX_n$ が概収束すると仮定する。収束する級数の項は $0$ に近づくので、確率 $1$ で $|X_n|>A$ となる $n$ は有限個である。事象 $\{|X_n|>A\}$ は互いに独立なので、もし $\sum_nP(|X_n|>A)=\infty$ なら Borel–Cantelliの補題 の定理「第 2 の Borel–Cantelli の補題」によりそれらは確率 $1$ で無限回起こり、矛盾する。よって (i) が成り立つ。さらに十分性の証明と同じく、確率 $1$ である番号から先 $X_n=Y_n$ なので、$\sum_nY_n$ も概収束する。
必要性 (iii)(対称化)。 積の確率空間 $(\Omega\times\Omega,\mathcal F\otimes\mathcal F,P\otimes P)$ の上で $Y_n(\omega,\omega'):=Y_n(\omega)$、$Y_n'(\omega,\omega'):=Y_n(\omega')$ とおく(直積測度)。族 $Y_1,Y_1',Y_2,Y_2',\dots$ は互いに独立で、$Y_n'$ は $Y_n$ と同じ分布に従う。$Z_n:=Y_n-Y_n'$ とおくと、$Z_n$ は対 $(Y_n,Y_n')$ の関数なので $Z_1,Z_2,\dots$ は互いに独立であり、
$$ E[Z_n]=0,\qquad|Z_n|\le2A,\qquad\mathrm{Var}(Z_n)=2\mathrm{Var}(Y_n) $$
である。$\sum_nY_n(\omega)$ が収束する $\omega$ の集合 $E$ は $P(E)=1$ なので、$E\times E$ は $P\otimes P$ で確率 $1$ であり、その上で $\sum_nZ_n$ は収束する。$T_n:=Z_1+\dots+Z_n$ とおくと、確率 $1$ で $\sup_n|T_n|<\infty$ である。事象 $\{\sup_n|T_n|\le\lambda\}$ は $\lambda=1,2,\dots$ について増加し、和集合の確率は $1$ なので、$p:=P\otimes P(\sup_n|T_n|\le\lambda)>0$ となる $\lambda$ がとれる。各 $n$ について $\{\sup_m|T_m|\le\lambda\}\subset\{\max_{k\le n}|T_k|\le\lambda\}$ なので、lem-tst-lower を $c=2A$ で使うと
$$ p\cdot2\sum_{k=1}^n\mathrm{Var}(Y_k)=p\,\mathrm{Var}(T_n)\le(\lambda+2A)^2 $$
である。右辺は $n$ によらないので $\sum_k\mathrm{Var}(Y_k)\le(\lambda+2A)^2/(2p)<\infty$ であり、(iii) が成り立つ。
必要性 (ii)。 (iii) と lem-tst-two-series から $\sum_n(Y_n-E[Y_n])$ は概収束する。$\sum_nY_n$ も概収束するので、両方が収束する $\omega$ を 1 つとって差をとると、数の級数 $\sum_nE[Y_n]$ は収束する。$\square$

証明から、3 つの級数のどれか 1 つが発散すれば、$\sum_nX_n$ は確率 $1$ で発散する(概収束しないので、0-1 法則から収束の確率は $0$)。また、(i)・(ii)・(iii) がある $A>0$ で成り立てば、すべての $A>0$ で成り立つ。どちらも $\sum_nX_n$ の概収束と同値だからである。

系

0 以上の項の級数

$X_1,X_2,\dots$ が互いに独立で $X_n\ge0$ なら、$\sum_nX_n<\infty$ a.s. と $\sum_nE[\min(X_n,1)]<\infty$ は同値である。

$A=1$ とする。$\min(X_n,1)=Y_n+\mathbf 1_{\{X_n>1\}}$ なので $E[\min(X_n,1)]=E[Y_n]+P(X_n>1)$ で、両辺の項は $0$ 以上である。よって $\sum_nE[\min(X_n,1)]<\infty$ は (i) と (ii) を合わせたものと同値である。さらに $0\le Y_n\le1$ から $\mathrm{Var}(Y_n)\le E[Y_n^2]\le E[Y_n]$ なので、(ii) から (iii) が出る。thm-tst-main から結論を得る。$0$ 以上の項の級数は、概収束するとき和が有限である。$\square$

有界で平均 0 の項

$X_1,X_2,\dots$ が互いに独立で、$E[X_n]=0$、ある定数 $c>0$ について $|X_n|\le c$ なら、$\sum_nX_n$ が概収束することと $\sum_n\mathrm{Var}(X_n)<\infty$ は同値である。

$A=c$ とすると $Y_n=X_n$ で、(i) の項はすべて $0$、(ii) の項もすべて $0$ である。thm-tst-main の条件は (iii) $\sum_n\mathrm{Var}(X_n)<\infty$ だけになる。$\square$

cor-tst-bounded の「$\Leftarrow$」は lem-tst-two-series そのもので、有界性は要らない。「$\Rightarrow$」が三級数定理の必要性の中身である。

例

でたらめな符号の級数

$\varepsilon_1,\varepsilon_2,\dots$ を互いに独立で $P(\varepsilon_n=1)=P(\varepsilon_n=-1)=\frac12$ を満たすものとし、$\alpha\in\mathbb R$ について $X_n:=\varepsilon_nn^{-\alpha}$ とおく。$\sum_nX_n$ が概収束するのは $\alpha>\frac12$ のときであり、そのときに限る。
$\alpha>0$ なら $|X_n|\le1$ で平均 $0$ なので、cor-tst-bounded から、概収束は $\sum_n\mathrm{Var}(X_n)=\sum_nn^{-2\alpha}<\infty$、すなわち $\alpha>\frac12$ と同値である。$\alpha\le0$ なら $|X_n|=n^{-\alpha}\ge1$ なので、$A=\frac12$ とすると (i) の級数 $\sum_n1$ が発散し、概収束しない。
すべての符号が $+1$ なら $\sum n^{-\alpha}$ が収束するのは $\alpha>1$ のときなので、$\frac12<\alpha\le1$ では、符号をでたらめにしたことによる打ち消し合いが収束を生んでいる。$\alpha=1$ がでたらめな符号の 調和級数 である。

指数分布の重み付き和

$E_1,E_2,\dots$ を互いに独立で平均 $1$ の指数分布に従うものとし、$a_n\ge0$ について $X_n:=a_nE_n$ とおく。$\sum_nX_n<\infty$ a.s. と $\sum_na_n<\infty$ は同値である。
$a>0$ について、$P(E_1>u)=e^{-u}$ から
$$ E[\min(aE_1,1)]=\int_0^1P(aE_1>t)\,dt=\int_0^1e^{-t/a}\,dt=a(1-e^{-1/a}) $$
である($a=0$ なら $0$)。$u=1/a$ とおくと $\frac{d}{da}a(1-e^{-1/a})=1-(1+u)e^{-u}>0$ なので、この関数は増加する。$a\le1$ では $1-e^{-1/a}\ge1-e^{-1}$、$a>1$ では増加性から値は $1-e^{-1}$ 以上であり、また $a(1-e^{-1/a})\le\min(a,1)$ なので、
$$ (1-e^{-1})\min(a_n,1)\le E[\min(X_n,1)]\le\min(a_n,1) $$
である。$\sum_n\min(a_n,1)<\infty$ は $\sum_na_n<\infty$ と同値なので、cor-tst-nonneg から主張を得る。期待値の和 $\sum_nE[X_n]=\sum_na_n$ の有限性と一致するが、これは指数分布の裾が軽いためで、一般には一致しない(次の節の表の 3 行目)。

反例:仮定を外すと成り立たないこと

外す仮定例成り立たなくなること
独立性(十分性の側)すべての $n$ で同じ $\varepsilon$($\pm1$ を確率 $\frac12$ ずつ)を使い $X_n:=\varepsilon/n$(i)・(ii)・(iii) は成り立つが $\sum_nX_n$ はどの $\omega$ でも発散する
独立性(必要性の側)独立な符号 $\varepsilon_k$ で $X_{2k-1}:=\varepsilon_k/\sqrt k$、$X_{2k}:=-\varepsilon_k/\sqrt k$$\sum_nX_n$ は確率 $1$ で収束するが (iii) が成り立たない
切り捨て(必要性の側)互いに独立で $P(X_n=n^2)=n^{-2}$、$P(X_n=0)=1-n^{-2}$$\sum_nX_n$ は概収束するが、切り捨てない $\sum_nE[X_n]$ は発散する
反例の確かめ

1 行目:$A=1$ とすると $|X_n|\le1$ なので (i) の項は $0$、$E[Y_n]=0$、$\mathrm{Var}(Y_n)=n^{-2}$ である。しかし $\sum_nX_n=\varepsilon\sum_n\frac1n$ は発散する。$P(X_1=1,X_2=-\frac12)=0\ne\frac14$ なので項は独立でない。
2 行目:部分和は $S_{2k}=0$、$S_{2k-1}=\varepsilon_k/\sqrt k$ で、どちらも $0$ に近づくので、すべての $\omega$ で $\sum_nX_n=0$ に収束する。$A=1$ とすると $Y_n=X_n$ で、$\mathrm{Var}(Y_{2k-1})+\mathrm{Var}(Y_{2k})=\frac2k$ なので (iii) の級数は発散する。$X_{2k}=-X_{2k-1}$ なので項は独立でない。
3 行目:$\sum_nP(X_n\ne0)=\sum_nn^{-2}<\infty$ なので、第 1 の Borel–Cantelli の補題から確率 $1$ で $X_n\ne0$ は有限個であり、$\sum_nX_n$ は概収束する。$A=1$ では $Y_n=0$($n\ge2$)で三級数定理の条件は成り立つ。ところが $E[X_n]=n^2\cdot n^{-2}=1$ なので、切り捨てずに (ii)・(iii) を $X_n$ で考えると $\sum_nE[X_n]=\infty$ である。切り捨てを外した条件「$\sum E[X_n]$ が収束し $\sum\mathrm{Var}(X_n)<\infty$」は十分条件だが(lem-tst-two-series)、必要条件ではない。$\square$

補足

大数の法則への使い方

三級数定理(実際には十分性の側の lem-tst-two-series)は、Kroneckerの補題(級数) と組み合わせて大数の強法則を導くのに使う。互いに独立で $\sum_n\mathrm{Var}(X_n)/n^2<\infty$ なら $\sum_n(X_n-E[X_n])/n$ が概収束し、Kronecker の補題から $\frac1n\sum_{k\le n}(X_k-E[X_k])\to0$ a.s. である。同じ分布の場合は切り捨てと組み合わせて 強大数の法則 になる。収束の速さについての精密な答えは 重複対数の法則 が与える。

必要性の別証明と文献

thm-tst-main は Dur19 Theorem 2.5.8(p. 85)にあり、十分性は同書 Theorem 2.5.6(p. 84)と Borel–Cantelli の補題から示されている。同書は必要性を Example 3.4.12(pp. 150–151)で、切り捨てた項を分散の和の平方根で割った三角配列に Lindeberg–Fellerの中心極限定理(同書 Theorem 3.4.10、p. 148)を使って示す。この記事の必要性の証明(lem-tst-lower と対称化)は中心極限定理を使わない筋道で、lem-tst-lower は Kolmogorov の最大不等式の逆向きにあたる評価である。ex-tst-random-signs は同書 Example 2.5.7(p. 85)にある。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する