Doobのマルチンゲール収束定理

同義語:マルチンゲール収束定理Doob's martingale convergence theoremmartingale convergence theorem

概要

Doobのマルチンゲール収束定理(Doob's martingale convergence theorem)とは、劣マルチンゲール $(X_n)$ が $\sup_nE[X_n^+]<\infty$ を満たせば、$X_n$ がほとんど確実に可積分な確率変数に収束するという定理である。証明は、収束しない列が 2 つの水準の間を無限回行き来することと、その行き来の回数の期待値を抑える上向き横断の不等式による。とくに $L^1$ で有界なマルチンゲールや非負の優マルチンゲールはほとんど確実に収束するが、$L^1$ で収束するとは限らない。マルチンゲールについては、一様可積分であること、$L^1$ で収束すること、可積分な $Z$ により $X_n=E[Z\mid\mathcal F_n]$ と書けることが同値であり、$p>1$ で $L^p$ 有界なら $L^p$ でも収束する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: マルチンゲール, 条件付き期待値, 一様可積分性, Fatouの補題, Lp空間

公平な賭けで手持ちが減りもせず増えもしない列は、いつかは落ち着くのだろうか。$1$ と $-1$ を半々にとる歩みのように振れ幅が保たれていれば落ち着かないが、手持ちが負にならない公平な賭けや、$E|X_n|$ が $n$ によらず抑えられたマルチンゲール $(X_n)$ は、ほとんど確実に収束する。これが Doob のマルチンゲール収束定理(Doob's martingale convergence theorem)である。証明の鍵は、収束しない列は 2 つの水準 $a< b$ の間を無限回行き来するという観察と、その行き来の回数(上向き横断の回数)の期待値が抑えられるという不等式である。
ほとんど確実な収束から期待値の収束までは導けない。そのための条件が一様可積分性であり、マルチンゲールが一様可積分であることは、$L^1$ で収束すること、1 つの可積分な確率変数を増えていく情報で条件付けた列として表せることと同値である。この記事では、上向き横断の不等式と収束定理を証明し、一様可積分なマルチンゲールの特徴づけ、Lévy の上向き定理と 0-1 法則、$p>1$ での $L^p$ 収束を示す。最後に、仮定を外すと結論が崩れる例を挙げる。

設定

以下、確率空間 $(\Omega,\mathcal F,P)$ とフィルトレーション $(\mathcal F_n)_{n\in\mathbb N}$ を固定し、$\mathcal F_\infty:=\sigma\bigl(\bigcup_n\mathcal F_n\bigr)$ とおく。マルチンゲール・劣マルチンゲール・優マルチンゲール・可予測な列・停止時刻・マルチンゲール変換 $(H\cdot X)_n=\sum_{m=1}^nH_m(X_m-X_{m-1})$ は マルチンゲール の記事の定義に従う。$x^+:=\max(x,0)$、$x^-:=\max(-x,0)$ と書き、確率変数 $X$ と事象 $A$ について $E[X;A]:=E[X1_A]$ とする。
マルチンゲール の記事から次の 2 つを使う。

  • 命題「マルチンゲールの基本性質」の 4:劣マルチンゲール $(X_n)$ と単調非減少な凸関数 $\varphi$ について、$\varphi(X_n)$ が可積分なら $(\varphi(X_n))$ は劣マルチンゲールである。
  • 定理「賭け方を工夫しても公平さは変わらない」:劣マルチンゲール $(X_n)$ と、可予測で $0\le H_n\le1$ を満たす列 $(H_n)$ について、$((H\cdot X)_n)$ は劣マルチンゲールである。とくに $(H\cdot X)_0=0$ なので $E[(H\cdot X)_n]\ge0$ である。

上向き横断の不等式

実数の列が収束しない($\liminf<\limsup$)なら、その間にある有理数 $a< b$ をとると、列は $a$ 以下と $b$ 以上の間を無限回行き来する。そこで、下から上への行き来の回数を数える。

上向き横断の回数

適合した列 $(X_n)$ と実数 $a< b$ について、時刻 $N_0:=-1$ と、$k\ge1$ について
$$ N_{2k-1}:=\inf\{m> N_{2k-2}\mid X_m\le a\},\qquad N_{2k}:=\inf\{m> N_{2k-1}\mid X_m\ge b\} $$
を順に定める($\inf\emptyset:=\infty$、$\infty$ より後の時刻も $\infty$ とする)。時刻 $n$ までに完了した上向き横断の回数を
$$ U_n[a,b]:=\sup\{k\ge0\mid N_{2k}\le n\} $$
と定め、$U_\infty[a,b]:=\lim_{n\to\infty}U_n[a,b]$(単調な極限で、値は $\{0,1,2,\dots\}\cup\{\infty\}$)とおく。

帰納法により各 $N_j$($j\ge1$)は停止時刻である。実際 $N_{j-1}$ が停止時刻なら、たとえば $\{N_{2k}\le n\}=\bigcup_{m\le n}\bigl(\{N_{2k-1}\le m-1\}\cap\{X_m\ge b\}\bigr)$ は $\mathcal F_n$ に属する。$N_{2k}\ge2k-1$ より $U_n[a,b]\le(n+1)/2$ なので $U_n[a,b]$ は有界な確率変数である。

上向き横断の不等式

$(X_n)$ を劣マルチンゲール、$a< b$ とする。このとき、すべての $n$ について
$$ (b-a)\,E\bigl[U_n[a,b]\bigr]\le E\bigl[(X_n-a)^+\bigr]-E\bigl[(X_0-a)^+\bigr] $$
が成り立つ。

$Y_m:=a+(X_m-a)^+=\max(X_m,a)$ とおく。$\varphi(x)=\max(x,a)$ は単調非減少な凸関数なので、$(Y_m)$ は劣マルチンゲールである。$Y_m\le a$ と $X_m\le a$、$Y_m\ge b$ と $X_m\ge b$ はそれぞれ同値なので、$(Y_m)$ の時刻 $N_j$ と上向き横断の回数は $(X_m)$ のものと同じである。
$a$ 以下になってから $b$ 以上になるまでの間だけ $1$ 単位を賭ける列
$$ H_m:=\begin{cases}1&(\text{ある }k\text{ について }N_{2k-1}< m\le N_{2k})\\0&(\text{それ以外})\end{cases} $$
を考える。$\{N_{2k-1}< m\le N_{2k}\}=\{N_{2k-1}\le m-1\}\setminus\{N_{2k}\le m-1\}\in\mathcal F_{m-1}$ なので $(H_m)$ は可予測である。$(H\cdot Y)_n$ は、時刻 $n$ までに完了した各上向き横断で $Y_{N_{2k}}-Y_{N_{2k-1}}\ge b-a$($Y_{N_{2k-1}}=a$ なので)を得て、時刻 $n$ に途中の横断があればさらに $Y_n-Y_{N_{2k-1}}=Y_n-a\ge0$ を加えたものである。よって
$$ (b-a)\,U_n[a,b]\le(H\cdot Y)_n $$
である。$K_m:=1-H_m$ も可予測で $0\le K_m\le1$ なので、$(K\cdot Y)$ は劣マルチンゲールで $E[(K\cdot Y)_n]\ge0$ である。$Y_n-Y_0=(H\cdot Y)_n+(K\cdot Y)_n$ なので
$$ (b-a)\,E\bigl[U_n[a,b]\bigr]\le E[(H\cdot Y)_n]\le E[Y_n-Y_0]=E\bigl[(X_n-a)^+\bigr]-E\bigl[(X_0-a)^+\bigr] $$
を得る。$\square$

賭けの言葉で言えば、$H$ は「安いときに買い、高くなったら売る」戦略で、横断ごとに $b-a$ 以上の利益を得る。それでも残りの時刻に賭ける $K$ で損をしないことから、横断の回数の期待値が抑えられる。

収束定理

Doobのマルチンゲール収束定理

$(X_n)$ を劣マルチンゲールとし、$\sup_nE[X_n^+]<\infty$ とする。このとき、可積分な確率変数 $X_\infty$ があり、ほとんど確実に $X_n\to X_\infty$ となる。

条件 $\sup_nE[X_n^+]<\infty$ は $\sup_nE|X_n|<\infty$ と同値である。実際 $|x|=2x^+-x$ と $E[X_n]\ge E[X_0]$ から $E|X_n|=2E[X_n^+]-E[X_n]\le2E[X_n^+]-E[X_0]$ である。とくに、$L^1$ で有界なマルチンゲール、上に有界な劣マルチンゲール、下に有界な優マルチンゲールはほとんど確実に収束する。

横断は有限回。 $a< b$ を固定する。$(x-a)^+\le x^++|a|$ なので、lem-dmc-upcrossing から
$$ E\bigl[U_n[a,b]\bigr]\le\frac{E[X_n^+]+|a|}{b-a}\le\frac{\sup_mE[X_m^+]+|a|}{b-a} $$
である。$n\to\infty$ とすると 単調収束定理 により $E\bigl[U_\infty[a,b]\bigr]<\infty$ であり、$U_\infty[a,b]<\infty$ がほとんど確実に成り立つ。
極限の存在。 実数の列 $(x_n)$ が $\liminf_nx_n< a< b<\limsup_nx_n$ を満たすなら、$x_n\le a$ となる $n$ と $x_n\ge b$ となる $n$ がともに無限個あるので、上向き横断が無限回起こる。よって
$$ \{\liminf_nX_n<\limsup_nX_n\}=\bigcup_{a,b\in\mathbb Q,\ a< b}\{\liminf_nX_n< a< b<\limsup_nX_n\}\subset\bigcup_{a,b\in\mathbb Q,\ a< b}\{U_\infty[a,b]=\infty\} $$
であり、右辺は可算個の零集合の和なので確率 $0$ である。したがって、ほとんど確実に $\lim_nX_n$ が $[-\infty,\infty]$ の中に存在する。
極限は可積分。 $X:=\liminf_nX_n$ とおく。ほとんど確実に極限が存在するので、ほとんど確実に $X^+=\liminf_nX_n^+$、$X^-=\liminf_nX_n^-$ である。Fatouの補題 により $E[X^+]\le\liminf_nE[X_n^+]<\infty$ である。また $E[X_n^-]=E[X_n^+]-E[X_n]\le E[X_n^+]-E[X_0]$ なので、Fatou の補題から $E[X^-]\le\liminf_nE[X_n^-]\le\sup_nE[X_n^+]-E[X_0]<\infty$ である。よって $X$ はほとんど確実に有限で可積分である。$X_\infty:=X1_{\{|X|<\infty\}}$ とおけば結論を得る。$\square$

非負の優マルチンゲールの収束

$(X_n)$ を非負の優マルチンゲールとする。このとき $X_n$ はほとんど確実に可積分な $X_\infty$ に収束し、$E[X_\infty]\le E[X_0]$ である。

$(-X_n)$ は劣マルチンゲールで $(-X_n)^+=0$ なので、thm-dmc-main から収束する。$E[X_n]\le E[X_0]$ と Fatou の補題から $E[X_\infty]\le\liminf_nE[X_n]\le E[X_0]$ である。$\square$

不等号 $E[X_\infty]\le E[X_0]$ は等号になるとは限らない。

反例:倍賭けの積

$Y_1,Y_2,\dots$ を独立で、$0$ と $2$ を確率 $\frac12$ ずつとる確率変数とし、$M_0:=1$、$M_n:=Y_1\cdots Y_n$ とする。手持ちを全部賭けて、勝てば倍、負ければ $0$ になる賭けを繰り返すことに当たる。$E[Y_i]=1$ なので、$(M_n)$ は非負のマルチンゲールである(マルチンゲール の例「独立な積」)。$M_n$ は確率 $2^{-n}$ で $2^n$、残りの確率で $0$ であり、一度 $0$ になれば $0$ のままである。よって、すべての $n$ について $P(\text{すべての }m\text{ で }M_m\neq0)\le P(M_n\neq0)=2^{-n}$ であり、ほとんど確実に $M_n\to0=:M_\infty$ である。一方 $E[M_n]=1$ なので
$$ E[M_\infty]=0< 1=E[M_0],\qquad E|M_n-M_\infty|=1\not\to0 $$
であり、$L^1$ では収束しない。$t< 2^n$ なら $E[M_n;M_n>t]=1$ なので、$(M_n)$ は一様可積分でもない。

マルチンゲール の例「倍賭け」の損益 $W_n$ も、ほとんど確実に $1$ に収束するが $E[W_n]=0$ である。どちらの例でも、確率の小さい事象に大きな値が集まり、極限をとるとその質量が消える。

一様可積分なマルチンゲール

質量が小さい事象に集まって消えることを封じるのが一様可積分性である。確率空間上の族 $\mathcal X$ が一様可積分であるとは、一様可積分性 の定理「裾による言い換え」により、$\lim_{t\to\infty}\sup_{X\in\mathcal X}E\bigl[|X|;|X|>t\bigr]=0$ となることと同じである。

一様可積分なマルチンゲールの特徴づけ

$(X_n)$ をマルチンゲールとする。次は同値である。

  1. $(X_n)$ は一様可積分である。
  2. $(X_n)$ はほとんど確実に、かつ $L^1$ で収束する。
  3. $(X_n)$ は $L^1$ で収束する。
  4. 可積分な確率変数 $Z$ があり、すべての $n$ についてほとんど確実に $X_n=E[Z\mid\mathcal F_n]$ である。
    このとき 2 の極限 $X_\infty$ は 4 の $Z$ にとれ、ほとんど確実に $X_\infty=E[Z\mid\mathcal F_\infty]$ である。

1 ⇒ 2。 一様可積分な族は $L^1$ で有界なので(一様可積分性 の定義「一様可積分性」の (a))、thm-dmc-main により $X_n$ はほとんど確実に可積分な $X_\infty$ に収束する。確率空間で $p=1$ の Vitaliの収束定理 を当てると、$\|X_n-X_\infty\|_1\to0$ である。
2 ⇒ 3 は明らかである。
3 ⇒ 4。 $X_n\to X_\infty$($L^1$)とする。$A\in\mathcal F_n$、$m> n$ について、マルチンゲール の命題「マルチンゲールの基本性質」の 1 から $E[X_m;A]=E\bigl[E[X_m\mid\mathcal F_n];A\bigr]=E[X_n;A]$ であり、
$$ \bigl|E[X_m;A]-E[X_\infty;A]\bigr|\le E|X_m-X_\infty|\to0\qquad(m\to\infty) $$
なので $E[X_n;A]=E[X_\infty;A]$ である。$X_n$ は $\mathcal F_n$-可測で可積分なので、条件付き期待値の定義により $X_n=E[X_\infty\mid\mathcal F_n]$ であり、$Z:=X_\infty$ とすればよい。
4 ⇒ 1 は、一様可積分性 の例「条件付き期待値の族」による。
後半:2 の極限 $X_\infty$ について 3 ⇒ 4 の議論から $X_n=E[X_\infty\mid\mathcal F_n]$ である。4 の $Z$ について $X_\infty=E[Z\mid\mathcal F_\infty]$ となることは、次の thm-dmc-levy-upward である。$\square$

Lévyの上向き定理

$Z$ を可積分な確率変数とする。$n\to\infty$ のとき、ほとんど確実に、かつ $L^1$ で
$$ E[Z\mid\mathcal F_n]\to E[Z\mid\mathcal F_\infty] $$
となる。

$X_n:=E[Z\mid\mathcal F_n]$ は塔の性質によりマルチンゲールであり(マルチンゲール の例「情報を増やして条件付けた列」)、thm-dmc-ui の 4 ⇒ 1 ⇒ 2 により、ほとんど確実に、かつ $L^1$ で可積分な $X_\infty$ に収束する。$X_\infty:=\limsup_nX_n$ を $\{\limsup_n|X_n|<\infty\}$ の上で、$0$ をその外でとれば、$X_\infty$ は $\mathcal F_\infty$-可測である。
$\mathcal L:=\{A\in\mathcal F_\infty\mid E[X_\infty;A]=E[Z;A]\}$ とおく。$A\in\mathcal F_n$ なら、3 ⇒ 4 の議論から $E[X_\infty;A]=E[X_n;A]=E[Z;A]$ なので、$\mathcal P:=\bigcup_n\mathcal F_n\subset\mathcal L$ である。$\mathcal F_n$ は増加列なので $\mathcal P$ は有限個の共通部分で閉じている(π 系)。$\mathcal L$ は $\Omega$ を含み、$A\subset B$ がともに $\mathcal L$ に属すれば $B\setminus A$ も属し(積分の線形性)、増加列 $A_k\uparrow A$ がすべて属せば $A$ も属する($|X_\infty1_{A_k}|\le|X_\infty|$、$|Z1_{A_k}|\le|Z|$ と 優収束定理)。よって $\mathcal L$ は λ 系であり、Dynkinのπ-λ定理 により $\sigma(\mathcal P)=\mathcal F_\infty\subset\mathcal L$ である。$X_\infty$ は $\mathcal F_\infty$-可測で可積分なので、$X_\infty=E[Z\mid\mathcal F_\infty]$ である。$\square$

Lévyの0-1法則

$A\in\mathcal F_\infty$ なら、ほとんど確実に $P(A\mid\mathcal F_n)\to1_A$ である。

thm-dmc-levy-upward を $Z=1_A$ に当てると、$1_A$ は $\mathcal F_\infty$-可測なので $E[1_A\mid\mathcal F_\infty]=1_A$ である。$\square$

時刻 $n$ までの情報で見た事象 $A$ の確率は、情報が増えるにつれて $0$ か $1$ に近づき、最後には $A$ が起こったかどうかを言い当てる。独立な確率変数の列 $\xi_1,\xi_2,\dots$ について $\mathcal F_n:=\sigma(\xi_1,\dots,\xi_n)$ とし、$A$ を末尾事象とすると、$A$ は各 $\mathcal F_n$ と独立なので $P(A\mid\mathcal F_n)$ は定数 $P(A)$ に等しく、ほとんど確実に $P(A)=1_A$、すなわち $P(A)\in\{0,1\}$ となる。これが Kolmogorovの0-1法則 である(Dur19 pp. 247–248。末尾事象が各 $\mathcal F_n$ と独立であることはこの記事では証明しない)。

$L^p$ での収束

$p>1$ なら、$L^p$ で有界であるだけで $L^p$ 収束まで言える。$p=1$ では ex-dmc-double-or-nothing のとおり成り立たない。

$L^p$ 収束定理

$1< p<\infty$ とし、$(X_n)$ をマルチンゲールで $\sup_nE\bigl[|X_n|^p\bigr]<\infty$ を満たすものとする。このとき $X_n$ はほとんど確実に、かつ $L^p$ で $X_\infty$ に収束する。

$E[X_n^+]\le E|X_n|\le E[|X_n|^p]^{1/p}$(Jensenの不等式 または Hölder の不等式)なので、thm-dmc-main によりほとんど確実に $X_n\to X_\infty$ である。Doobの極大不等式 の定理「$L^p$ での Doob の極大不等式」により
$$ E\Bigl[\max_{m\le n}|X_m|^p\Bigr]\le\Bigl(\frac p{p-1}\Bigr)^p\sup_kE\bigl[|X_k|^p\bigr] $$
であり、$n\to\infty$ として単調収束定理から $X^*:=\sup_m|X_m|$ は $E[(X^*)^p]<\infty$ を満たす。$|X_\infty|\le X^*$ なので $|X_n-X_\infty|^p\le(2X^*)^p$ は可積分な関数で抑えられ、優収束定理により $E|X_n-X_\infty|^p\to0$ である。$\square$

符号をでたらめに付けた級数

$\varepsilon_1,\varepsilon_2,\dots$ を独立で $1$ と $-1$ を確率 $\frac12$ ずつとる確率変数とし、実数列 $(c_k)$ が $\sum_kc_k^2<\infty$ を満たすとする。$X_n:=\sum_{k=1}^nc_k\varepsilon_k$ は独立で平均 $0$ の和なのでマルチンゲールであり、マルチンゲール の例「2 乗から分散を引いた列」から $E[X_n^2]=\sum_{k\le n}c_k^2\le\sum_kc_k^2$ である。thm-dmc-lp($p=2$)により、級数 $\sum_kc_k\varepsilon_k$ はほとんど確実に、かつ $L^2$ で収束する。たとえば $\sum_k\pm\frac1k$ は、符号を硬貨で決めればほとんど確実に収束する。一方 $\sum_k\frac1k$ は発散するので、収束は符号の打ち消し合いによる。

条件を外した反例

外す条件反例成り立たなくなること
$\sup_nE[X_n^+]<\infty$(thm-dmc-main)$1$ と $-1$ を半々にとる独立な $\varepsilon_k$ の和 $X_n:=\varepsilon_1+\cdots+\varepsilon_n$(マルチンゲール)$\lvert X_{n+1}-X_n\rvert=1$ なので、どの $\omega$ でも $X_n(\omega)$ は収束しない
一様可積分性(thm-dmc-ui の 1 ⇒ 3)ex-dmc-double-or-nothing の $M_n$($L^1$ で有界なマルチンゲール)ほとんど確実に $0$ に収束するが、$L^1$ では収束せず、$M_n=E[Z\mid\mathcal F_n]$ となる $Z$ もない
マルチンゲールであること(thm-dmc-ui の 3 ⇒ 4)$\mathcal F_n:=\{\emptyset,\Omega\}$ と、定数の列 $X_n:=-\frac1{n+1}$(一様可積分な劣マルチンゲール)$L^1$ で $0$ に収束するが、$E[Z\mid\mathcal F_n]=E[Z]$ は $n$ によらないので $X_n=E[Z\mid\mathcal F_n]$ とは書けない
指数が $1$ より大きいこと(thm-dmc-lp)ex-dmc-double-or-nothing の $M_n$($\sup_nE\lvert M_n\rvert=1$)$L^1$ で収束しない
$Z$ の $\mathcal F_\infty$-可測性(thm-dmc-levy-upward の極限が $Z$ になること)$\mathcal F_n:=\{\emptyset,\Omega\}$、$Z:=1_B$($0< P(B)< 1$)$E[Z\mid\mathcal F_n]=P(B)$ は $Z$ に収束しない(極限は $E[Z\mid\mathcal F_\infty]=P(B)$)

2 行目で $Z$ がないのは、あれば thm-dmc-ui により $M_n$ が一様可積分になるからである。

応用と発展

  • Radon–Nikodym の定理。 有限測度 $\mu$ と確率測度 $\nu$ を考え、$\mathcal F_n$ を次々に細かくなる有限分割が生成する σ-代数とする。$\mathcal F_n$ の分割の各集合 $I$ で $\nu(I)=0$ なら $\mu(I)=0$ のとき、$I$ の上で $X_n:=\mu(I)/\nu(I)$ とおいた列は $\nu$ に関するマルチンゲールで、その極限 $X$ について $\mu(A)=\int_AX\,d\nu+\mu(A\cap\{X=\infty\})$($A\in\mathcal F_\infty$)が成り立つ(Dur19 Theorem 4.3.5(p. 227)、Example 4.3.7(p. 229)。この記事では証明しない)。これは Radon–Nikodymの定理 と Lebesgue 分解(Lebesgueの分解定理)の確率論的な証明を与える。
  • 逆向きのマルチンゲールと大数の法則。 減っていく σ-代数の列 $\mathcal F_{-1}\supset\mathcal F_{-2}\supset\cdots$ に関するマルチンゲール $X_{-n}=E[Z\mid\mathcal F_{-n}]$ は、ほとんど確実に、かつ $L^1$ で収束する(Dur19 Theorem 4.7.1、p. 249)。これを独立同分布な列の標本平均に当てると 強大数の法則 が得られる(同 Example 4.7.4、p. 251)。この記事ではどちらも証明しない。
  • 停止時刻。 一様可積分な劣マルチンゲールでは、有界でない停止時刻 $\tau$ についても $E[X_0]\le E[X_\tau]\le E[X_\infty]$ が成り立つ(Dur19 Theorem 4.8.3、p. 256)。証明は Doobの任意抽出定理 の定理「Doobの任意抽出定理」にあり、そこでは停止時刻の組 $\sigma\le\tau$ について条件付き期待値の形 $E[X_\tau\mid\mathcal F_\sigma]\ge X_\sigma$ で示されている。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する