マルチンゲール

同義語：martingaleマーチンゲール

概要

前提知識: 確率空間, 条件付き期待値, 独立性(確率論), 期待値

公平な賭けを続けるとき、手持ちの金額 $X_n$ は上がったり下がったりするが、これまでの結果をすべて知ったうえでも、次の回の後の金額の平均は今の金額 $X_n$ に等しい。この「過去を知ったうえでの次の値の条件付き期待値が今の値に等しい」という性質をもつ確率変数の列を マルチンゲール（martingale）という。不利な賭けのように平均が減っていくものを優マルチンゲール、有利な賭けのように増えていくものを劣マルチンゲールという。独立で平均 $0$ の確率変数の和、独立で平均 $1$ の非負の確率変数の積、1 つの確率変数をだんだん増える情報で条件付けた列など、確率論に現れる多くの列がマルチンゲールである。
この記事では、離散時間のマルチンゲールを定義し、基本性質を示す。次に、賭け方をどう工夫しても公平な賭けは公平なままであること（マルチンゲール変換）を証明し、そこから停止時刻で止めた過程、有界な停止時刻での期待値の保存、Doob の分解、Doob の極大不等式を導く。応用として破産の確率を求め、条件を外すと結論が崩れる例を挙げる。マルチンゲールの極限の理論は Doobのマルチンゲール収束定理で扱う。

定義

以下、確率空間 $(\Omega,\mathcal F,P)$ を固定する。確率変数は実数値とし、確率変数 $X$ と事象 $A$ について $E[X;A]:=E[X1_A]$ と書く。$\mathbb N=\{0,1,2,\dots\}$ とし、条件付き期待値どうしの等式・不等式はほとんど確実に成り立つという意味で読む。

フィルトレーションと適合過程

$\mathcal F$ の部分 σ-代数の列 $(\mathcal F_n)_{n\in\mathbb N}$ で $\mathcal F_0\subset\mathcal F_1\subset\mathcal F_2\subset\cdots$ を満たすものを フィルトレーション（filtration）という。$\mathcal F_\infty:=\sigma\bigl(\bigcup_n\mathcal F_n\bigr)$ と書く。
確率変数の列 $(X_n)_{n\in\mathbb N}$ が $(\mathcal F_n)$ に 適合している（adapted）とは、各 $X_n$ が $\mathcal F_n$-可測であることをいう。
確率変数の列 $(H_n)_{n\ge1}$ が 可予測（predictable）であるとは、各 $H_n$ が $\mathcal F_{n-1}$-可測であることをいう。
列 $(X_n)$ について $\mathcal F^X_n:=\sigma(X_0,X_1,\dots,X_n)$ を $(X_n)$ の 自然なフィルトレーション という。$(X_n)$ はこれに適合している。

$\mathcal F_n$ は「時刻 $n$ までに分かる情報」を表す。適合しているとは、$X_n$ の値が時刻 $n$ の情報で決まることであり、可予測とは、$H_n$ の値が 1 つ前の時刻 $n-1$ の情報で決まることである。

マルチンゲール・劣マルチンゲール・優マルチンゲール

$(\mathcal F_n)$ をフィルトレーションとし、$(X_n)_{n\in\mathbb N}$ を確率変数の列で、次の 2 条件を満たすものとする。

$(X_n)$ は $(\mathcal F_n)$ に適合している。
すべての $n$ について $E|X_n|<\infty$ である。
このとき、すべての $n$ についてほとんど確実に

$E[X_{n+1}\mid\mathcal F_n]=X_n$ が成り立つなら、$(X_n)$ を $(\mathcal F_n)$ に関する マルチンゲール という。
$E[X_{n+1}\mid\mathcal F_n]\ge X_n$ が成り立つなら 劣マルチンゲール（submartingale）という。
$E[X_{n+1}\mid\mathcal F_n]\le X_n$ が成り立つなら 優マルチンゲール（supermartingale）という。

条件付き期待値の定義により、$E[X_{n+1}\mid\mathcal F_n]=X_n$ は「すべての $A\in\mathcal F_n$ について $E[X_{n+1};A]=E[X_n;A]$」と同じであり、劣マルチンゲールの条件は「すべての $A\in\mathcal F_n$ について $E[X_{n+1};A]\ge E[X_n;A]$」と同じである（後者から前者を得るには、$A:=\{E[X_{n+1}\mid\mathcal F_n]< X_n\}\in\mathcal F_n$ に後者を当てると、$E\bigl[E[X_{n+1}\mid\mathcal F_n]-X_n;A\bigr]\ge0$ で被積分関数が $A$ の上で負なので $P(A)=0$ となる）。$(X_n)$ がマルチンゲールであることと、劣マルチンゲールかつ優マルチンゲールであることは同じであり、$(X_n)$ が劣マルチンゲールであることと $(-X_n)$ が優マルチンゲールであることは同じである。以下では、劣マルチンゲールについて述べたことは、不等号を逆にして優マルチンゲールにも当てはまる。
名前の「劣」「優」は、平均が増える列が「劣」と呼ばれるので逆に感じられるが、劣調和関数・優調和関数との類比から来ている（Dur19 p. 217）。

基本性質

以下、条件付き期待値の定理「条件付き期待値の基本性質」の番号を「性質 $k$」と書く（1 は線形性、2 は単調性、3 は期待値の保存、4 は可測なら変わらないこと、5 は塔の性質、6 は既知のもののくくり出し、7 は独立なら定数になること）。

マルチンゲールの基本性質

$(X_n)$ を $(\mathcal F_n)$ に関する劣マルチンゲールとする。

$m< n$ なら $E[X_n\mid\mathcal F_m]\ge X_m$ である。マルチンゲールなら $E[X_n\mid\mathcal F_m]=X_m$ である。
$E[X_n]$ は $n$ について単調非減少である。マルチンゲールなら $E[X_n]=E[X_0]$ である。
$(X_n)$ は自然なフィルトレーション $(\mathcal F^X_n)$ に関しても劣マルチンゲールである。マルチンゲールについても同様である。
$\varphi\colon\mathbb R\to\mathbb R$ を凸関数とし、すべての $n$ で $\varphi(X_n)$ が可積分であるとする。$(X_n)$ がマルチンゲールであるか、$(X_n)$ が劣マルチンゲールで $\varphi$ が単調非減少であれば、$(\varphi(X_n))$ は劣マルチンゲールである。とくに、劣マルチンゲール $(X_n)$ と $a\in\mathbb R$ について $(X_n-a)^+$ と $\max(X_n,a)$ は劣マルチンゲールであり、マルチンゲール $(X_n)$ について $|X_n|$ は劣マルチンゲールである。

要点：1・3 は塔の性質、4 は Jensenの不等式の定理「条件付きJensenの不等式」による。

詳細

1. $n=m+k$ として $k$ についての帰納法で示す。$k=1$ は定義である。$k\ge2$ なら、性質 5（塔の性質）、定義、性質 2（単調性）、帰納法の仮定により

$$E[X_{m+k}\mid\mathcal F_m]=E\bigl[E[X_{m+k}\mid\mathcal F_{m+k-1}]\bigm|\mathcal F_m\bigr]\ge E[X_{m+k-1}\mid\mathcal F_m]\ge X_m$$

である。マルチンゲールなら不等号がすべて等号になる。

2. 1 の両辺の期待値をとり、性質 3 を使うと $E[X_n]\ge E[X_m]$ を得る。

3. $X_k$ は $\mathcal F_k$-可測で $\mathcal F_k\subset\mathcal F_n$（$k\le n$）なので、$\mathcal F^X_n\subset\mathcal F_n$ である。性質 5、性質 2、性質 4 により $E[X_{n+1}\mid\mathcal F^X_n]=E\bigl[E[X_{n+1}\mid\mathcal F_n]\bigm|\mathcal F^X_n\bigr]\ge E[X_n\mid\mathcal F^X_n]=X_n$ である。

4. 凸関数は連続なので $\varphi(X_n)$ は $\mathcal F_n$-可測である。条件付き Jensen の不等式により $E[\varphi(X_{n+1})\mid\mathcal F_n]\ge\varphi\bigl(E[X_{n+1}\mid\mathcal F_n]\bigr)$ である。マルチンゲールなら右辺は $\varphi(X_n)$ に等しい。劣マルチンゲールなら $E[X_{n+1}\mid\mathcal F_n]\ge X_n$ と $\varphi$ の単調性から右辺は $\varphi(X_n)$ 以上である。後半は $\varphi(x)=(x-a)^+$、$\max(x,a)$（凸で単調非減少）と $\varphi(x)=|x|$（凸）に当てはめる。可積分性は $|\varphi(x)|\le|x|+|a|$ から従う。$\square$

4 の後半の「単調非減少」は落とせない（下の節「条件を外した反例」の表）。

例

独立な確率変数の列 $\xi_1,\xi_2,\dots$ と定数 $S_0$ について $S_n:=S_0+\xi_1+\cdots+\xi_n$ とし、$\mathcal F_0:=\{\emptyset,\Omega\}$、$\mathcal F_n:=\sigma(\xi_1,\dots,\xi_n)$ とおく。独立な確率変数の列では、$\sigma(\xi_1,\dots,\xi_n)$ と $\sigma(\xi_{n+1})$ は独立である（Dur19 Theorem 2.1.9、p. 47）。したがって条件付き期待値の性質 7 により、可積分な $\xi_{n+1}$ の関数 $g(\xi_{n+1})$ について $E[g(\xi_{n+1})\mid\mathcal F_n]=E[g(\xi_{n+1})]$ である。

独立な和

$\xi_i$ が可積分で $E[\xi_i]=0$ なら、$(S_n)$ は $(\mathcal F_n)$ に関するマルチンゲールである。実際 $S_n$ は $\mathcal F_n$-可測で可積分であり、性質 1・4 と上の注意から
$$ E[S_{n+1}\mid\mathcal F_n]=S_n+E[\xi_{n+1}\mid\mathcal F_n]=S_n+E[\xi_{n+1}]=S_n $$
である。すべての $i$ で $E[\xi_i]\ge0$ なら同じ計算で劣マルチンゲールになり、$E[\xi_i]\le0$ なら優マルチンゲールになる。$\xi_i$ が $1$ と $-1$ を確率 $\frac12$ ずつとる場合が、公平な硬貨で $1$ 円ずつ賭けるランダムウォークである。

2 乗から分散を引いた列

さらに $E[\xi_i^2]=\sigma_i^2<\infty$ とすると、$S_n^2-\sum_{i=1}^n\sigma_i^2$ はマルチンゲールである。実際 $S_{n+1}^2=S_n^2+2S_n\xi_{n+1}+\xi_{n+1}^2$ であり、$S_n\xi_{n+1}$ は 2 乗可積分な変数の積なので可積分である。性質 6 と上の注意から $E[S_n\xi_{n+1}\mid\mathcal F_n]=S_nE[\xi_{n+1}]=0$、$E[\xi_{n+1}^2\mid\mathcal F_n]=\sigma_{n+1}^2$ なので、$E[S_{n+1}^2\mid\mathcal F_n]=S_n^2+\sigma_{n+1}^2$ である。

独立な積

$Y_1,Y_2,\dots$ を独立な非負の確率変数で $E[Y_i]=1$ とし、$M_0:=1$、$M_n:=Y_1Y_2\cdots Y_n$、$\mathcal F_n:=\sigma(Y_1,\dots,Y_n)$ とする。独立な非負の確率変数の積の期待値は期待値の積なので（Dur19 Theorem 2.1.13、p. 49）$E[M_n]=1$ であり、性質 6 と上の注意から
$$ E[M_{n+1}\mid\mathcal F_n]=M_nE[Y_{n+1}\mid\mathcal F_n]=M_nE[Y_{n+1}]=M_n $$
となる。よって $(M_n)$ はマルチンゲールである。たとえば $\xi_i$ が同じ分布をもち、ある $\theta\in\mathbb R$ で $\psi(\theta):=E[e^{\theta\xi_i}]<\infty$ なら、$Y_i:=e^{\theta\xi_i}/\psi(\theta)$ として $e^{\theta(\xi_1+\cdots+\xi_n)}/\psi(\theta)^n$ はマルチンゲールである。

情報を増やして条件付けた列

$Z$ を可積分な確率変数、$(\mathcal F_n)$ を任意のフィルトレーションとし、$X_n:=E[Z\mid\mathcal F_n]$ とおく。$X_n$ は $\mathcal F_n$-可測で可積分であり、塔の性質（性質 5）により $E[X_{n+1}\mid\mathcal F_n]=E\bigl[E[Z\mid\mathcal F_{n+1}]\bigm|\mathcal F_n\bigr]=E[Z\mid\mathcal F_n]=X_n$ である。よって $(X_n)$ はマルチンゲールである。これを Doob のマルチンゲール と呼ぶことがある。$X_n$ は、時刻 $n$ までの情報にもとづく $Z$ の最良の予測であり、情報が増えるにつれて予測が更新されていく様子を表す。Doobのマルチンゲール収束定理により $X_n$ は $E[Z\mid\mathcal F_\infty]$ にほとんど確実に収束する。

賭け方の工夫と公平さ

時刻 $m$ の賭けで $1$ 単位あたり $X_m-X_{m-1}$ だけ手持ちが変わるとき、時刻 $m$ に $H_m$ 単位を賭けると、時刻 $n$ までの損益は
$$ (H\cdot X)_n:=\sum_{m=1}^nH_m(X_m-X_{m-1}),\qquad(H\cdot X)_0:=0 $$
になる。賭ける量 $H_m$ は時刻 $m-1$ までの結果を見て決めるので、$(H_m)$ は可予測である。$(H\cdot X)$ を $(X_n)$ の $(H_n)$ による マルチンゲール変換 という。

賭け方を工夫しても公平さは変わらない

$(H_n)_{n\ge1}$ を可予測な列で、各 $n$ について定数 $c_n$ があり $|H_n|\le c_n$ を満たすものとする。

$(X_n)$ がマルチンゲールなら、$((H\cdot X)_n)$ はマルチンゲールである。
$(X_n)$ が劣マルチンゲールで $H_n\ge0$ なら、$((H\cdot X)_n)$ は劣マルチンゲールである。優マルチンゲールについても同様である。

$(H\cdot X)_n$ は $\mathcal F_n$-可測な変数の有限和なので $\mathcal F_n$-可測であり、$|(H\cdot X)_n|\le\sum_{m\le n}c_m(|X_m|+|X_{m-1}|)$ から可積分である。$H_{n+1}$ は $\mathcal F_n$-可測で有界なので、性質 1・4・6 により
$$ E\bigl[(H\cdot X)_{n+1}\bigm|\mathcal F_n\bigr]=(H\cdot X)_n+H_{n+1}\,E[X_{n+1}-X_n\mid\mathcal F_n] $$
である。マルチンゲールなら $E[X_{n+1}-X_n\mid\mathcal F_n]=0$ なので右辺は $(H\cdot X)_n$ である。劣マルチンゲールなら $E[X_{n+1}-X_n\mid\mathcal F_n]\ge0$ であり、$H_{n+1}\ge0$ なので右辺は $(H\cdot X)_n$ 以上である。$\square$

とくに prop-mg-basic の 2 により、マルチンゲールに対しては、各時刻 $n$ で $E[(H\cdot X)_n]=0$ である。賭け方をどう工夫しても、決まった時刻までの損益の平均は $0$ のままである。

倍賭け

$\xi_1,\xi_2,\dots$ を独立で $1$ と $-1$ を確率 $\frac12$ ずつとる確率変数とし、$X_0:=0$、$X_n:=\xi_1+\cdots+\xi_n$ とする（ex-mg-sum によりマルチンゲール）。負けたら賭け金を倍にし、初めて勝ったらやめる賭け方
$$ H_1:=1,\qquad H_n:=\begin{cases}2^{n-1}&(\xi_1=\cdots=\xi_{n-1}=-1)\\0&(\text{それ以外})\end{cases}\quad(n\ge2) $$
は可予測で $|H_n|\le2^{n-1}$ である。初めて勝つ時刻を $\tau:=\min\{n\ge1\mid\xi_n=1\}$ とすると、$P(\tau>n)=2^{-n}$ なので $\tau$ はほとんど確実に有限であり、$W_n:=(H\cdot X)_n$ は
$$ W_n=\begin{cases}-(1+2+\cdots+2^{n-1})=-(2^n-1)&(n<\tau)\\-(2^{\tau-1}-1)+2^{\tau-1}=1&(n\ge\tau)\end{cases} $$
である。thm-mg-transform のとおり $E[W_n]=(1-2^{-n})\cdot1-2^{-n}(2^n-1)=0$ である。一方、ほとんど確実に $W_n\to1$ であり、勝つまで続ければ必ず $1$ 単位勝つ。期待値 $0$ と極限 $1$ の食い違いは、勝つ前に $2^n-1$ という大きな損を確率 $2^{-n}$ で抱えることから来ている。賭けの世界では、この倍賭けの賭け方そのものが「マルチンゲール」と呼ばれている（Dur19 p. 219）。

停止時刻

賭けをやめる時刻は、それまでの結果を見て決めるしかない。これを定式化したのが停止時刻である。

停止時刻

$\mathbb N\cup\{\infty\}$ に値をとる関数 $\tau\colon\Omega\to\mathbb N\cup\{\infty\}$ が $(\mathcal F_n)$ に関する 停止時刻（stopping time）であるとは、すべての $n\in\mathbb N$ について $\{\tau=n\}\in\mathcal F_n$ であることをいう。適合した列 $(X_n)$ と停止時刻 $\tau$ について、$n\in\mathbb N$ ごとに $X_{\tau\wedge n}(\omega):=X_{\min(\tau(\omega),n)}(\omega)$ とおき、$(X_{\tau\wedge n})_{n\in\mathbb N}$ を 停止過程 という。

$\{\tau\le n\}=\bigcup_{k\le n}\{\tau=k\}$、$\{\tau=n\}=\{\tau\le n\}\setminus\{\tau\le n-1\}$ なので、条件は「すべての $n$ で $\{\tau\le n\}\in\mathcal F_n$」と同値である。次はいずれも停止時刻である。

定数 $k\in\mathbb N\cup\{\infty\}$。
停止時刻 $\tau,\sigma$ について $\tau\wedge\sigma$ と $\tau\vee\sigma$。$\{\tau\wedge\sigma\le n\}=\{\tau\le n\}\cup\{\sigma\le n\}$、$\{\tau\vee\sigma\le n\}=\{\tau\le n\}\cap\{\sigma\le n\}$ による。
適合した列 $(X_n)$ と Borel 集合 $B\subset\mathbb R$ について、初めて $B$ に入る時刻 $\tau_B:=\inf\{n\mid X_n\in B\}$（$\inf\emptyset:=\infty$）。$\{\tau_B\le n\}=\bigcup_{k\le n}\{X_k\in B\}\in\mathcal F_n$ による。
$(X_n)$ が適合していれば、$X_{\tau\wedge n}=\sum_{k< n}X_k1_{\{\tau=k\}}+X_n1_{\{\tau\ge n\}}$ も $\mathcal F_n$-可測である。

停止過程の性質

$(X_n)$ がマルチンゲール（劣マルチンゲール）で $\tau$ が停止時刻なら、停止過程 $(X_{\tau\wedge n})$ もマルチンゲール（劣マルチンゲール）である。

$H_n:=1_{\{\tau\ge n\}}$（$n\ge1$）とおくと、$\{\tau\ge n\}=\Omega\setminus\{\tau\le n-1\}\in\mathcal F_{n-1}$ なので $(H_n)$ は可予測であり、$0\le H_n\le1$ である。
$$ (H\cdot X)_n=\sum_{m=1}^n1_{\{\tau\ge m\}}(X_m-X_{m-1})=\sum_{m=1}^{\tau\wedge n}(X_m-X_{m-1})=X_{\tau\wedge n}-X_0 $$
なので、thm-mg-transform により $(X_{\tau\wedge n}-X_0)$ はマルチンゲール（劣マルチンゲール）である。$X_0$ は $\mathcal F_0$-可測で可積分なので、どの時刻でも値 $X_0$ をとる列はマルチンゲールであり、和 $(X_{\tau\wedge n})$ も同じ種類である。$\square$

有界な停止時刻での期待値

$(X_n)$ を劣マルチンゲール、$\tau$ を停止時刻とし、ある $k\in\mathbb N$ について $\tau\le k$ とする。このとき $E[X_0]\le E[X_\tau]\le E[X_k]$ である。$(X_n)$ がマルチンゲールなら $E[X_\tau]=E[X_0]$ である。

$\tau\le k$ なので $X_\tau=X_{\tau\wedge k}$ である。thm-mg-stopped と prop-mg-basic の 2 により $E[X_0]=E[X_{\tau\wedge0}]\le E[X_{\tau\wedge k}]=E[X_\tau]$ である。次に $K_n:=1_{\{\tau< n\}}=1_{\{\tau\le n-1\}}$ は可予測で $0\le K_n\le1$ であり、$(K\cdot X)_n=X_n-X_{\tau\wedge n}$ である。thm-mg-transform によりこれは劣マルチンゲールで、$(K\cdot X)_0=0$ なので $E[X_k]-E[X_\tau]=E[(K\cdot X)_k]\ge0$ である。マルチンゲールなら $(X_n)$ と $(-X_n)$ に当てはめて等号を得る。$\square$

$\tau$ が有界でないと、ほとんど確実に有限でも結論は成り立たない。ex-mg-doubling の $\tau$ では $E[W_\tau]=1\ne0=E[W_0]$ である。どのような条件のもとで有界でない停止時刻でも期待値が保たれるかは、Doobの任意抽出定理の主題である。

破産の確率

$0< p< 1$、$q:=1-p$ とし、$\xi_1,\xi_2,\dots$ を独立で $P(\xi_i=1)=p$、$P(\xi_i=-1)=q$ を満たすものとする。整数 $0< i< N$ について $S_0:=i$、$S_n:=i+\xi_1+\cdots+\xi_n$ とし、$0$ または $N$ に初めて着く時刻を $T:=\inf\{n\mid S_n\in\{0,N\}\}$ とする。$S_T=N$ となる確率（目標に達する確率）を $w_i$ と書くと、
$$ w_i=\frac{1-r^i}{1-r^N}\quad\Bigl(r:=\frac qp\ne1\Bigr),\qquad w_i=\frac iN\quad(p=q) $$
である。

要点：$T$ がほとんど確実に有限であることを示し、$r^{S_n}$（$p=q$ なら $S_n$）を $T$ で止めたマルチンゲールに優収束定理を当てる。

詳細

$T$ はほとんど確実に有限。$k\ge0$ について、$T> kN$ の上で $\xi_{kN+1}=\cdots=\xi_{kN+N}=1$ となれば、$(0,N)$ の中から $N$ 回続けて上がるので時刻 $(k+1)N$ までに $N$ に着く。$\{T> kN\}\in\mathcal F_{kN}$ と、この $N$ 個の値の事象は独立なので（Dur19 Theorem 2.1.9、p. 47）、$P(T>(k+1)N)\le P(T>kN)(1-p^N)$ であり、$P(T>kN)\le(1-p^N)^k\to0$ である。

$r\ne1$ の場合。$Z_n:=r^{S_n}$ とおく。$r^{\xi_{n+1}}$ の期待値は $p\cdot\frac qp+q\cdot\frac pq=1$ なので、ex-mg-product を $Y_j:=r^{\xi_j}$ に当てると（$r\ne1$ なので $\sigma(Y_1,\dots,Y_n)=\mathcal F_n$）、$Z_n=r^i\,Y_1\cdots Y_n$ はマルチンゲールである。thm-mg-stopped により $(Z_{T\wedge n})$ もマルチンゲールで、$E[Z_{T\wedge n}]=r^i$ である。$0\le S_{T\wedge n}\le N$ なので $Z_{T\wedge n}$ は $\max(1,r^N)$ 以下であり、$T<\infty$ からほとんど確実に $Z_{T\wedge n}\to Z_T$ である。優収束定理により $E[Z_T]=r^i$ となる。$Z_T$ は $\{S_T=N\}$ で $r^N$、$\{S_T=0\}$ で $1$ なので、$w_ir^N+(1-w_i)=r^i$ であり、これを解けばよい。

$p=q$ の場合。ex-mg-sum により $(S_n)$ はマルチンゲールであり、同じ議論で $0\le S_{T\wedge n}\le N$ と優収束定理から $E[S_T]=i$、すなわち $w_iN=i$ を得る。$\square$

これはギャンブラーの破産の主定理を、止めても期待値が変わらないことから導き直したものである。$p=q$、$i=1$ とすると、$0$ に着く前に $N$ に着く確率は $\frac1N$ であり、$N\to\infty$ として、公平な賭けを $1$ 単位から始めて上限なく続けると確率 $1$ で $0$ に着くことも分かる。ただし $0$ に着くまでの回数の期待値は無限大である。符号を反転すれば、これは Doobの任意抽出定理の例「初めて 1 に着く時刻の期待値は無限大」の状況であり、上限 $N$ を置いた場合の回数の期待値 $i(N-i)$ は同じ記事の例「公平な賭けが終わるまでの回数」にある。

Doob の分解

劣マルチンゲールは、マルチンゲールに「前もって分かる増え方」を足したものとしてただ 1 通りに書ける。

Doobの分解

$(X_n)$ を $(\mathcal F_n)$ に適合した可積分な確率変数の列とする。

マルチンゲール $(M_n)$ と、可予測な列 $(A_n)_{n\ge1}$ に $A_0:=0$ を加えたもので、$X_n=M_n+A_n$（$n\in\mathbb N$）となるものが存在する。このような分解はほとんど確実に一意である。
$(X_n)$ が劣マルチンゲールであることと、1 の $(A_n)$ が単調非減少（$A_n\le A_{n+1}$）であることは同値である。

要点：増分を $A_{n+1}-A_n:=E[X_{n+1}-X_n\mid\mathcal F_n]$ と定めるほかない。可予測なマルチンゲールは定数である。

詳細

存在：$A_0:=0$、$A_n:=\sum_{m=1}^nE[X_m-X_{m-1}\mid\mathcal F_{m-1}]$（$n\ge1$）とおくと、$A_n$ は $\mathcal F_{n-1}$-可測で可積分である。$M_n:=X_n-A_n$ は適合し可積分で、$A_{n+1}$ が $\mathcal F_n$-可測であることと性質 1・4 から

$$E[M_{n+1}\mid\mathcal F_n]=E[X_{n+1}\mid\mathcal F_n]-A_{n+1}=X_n+E[X_{n+1}-X_n\mid\mathcal F_n]-A_{n+1}=X_n-A_n=M_n$$

である。

一意性：$X_n=M_n+A_n=M'_n+A'_n$ を 2 つの分解とすると、$D_n:=M_n-M'_n=A'_n-A_n$ はマルチンゲールで、$D_0=0$ であり、$n\ge1$ では $D_n$ は $\mathcal F_{n-1}$-可測である。よって性質 4 から $D_n=E[D_n\mid\mathcal F_{n-1}]=D_{n-1}$ となり、帰納的に $D_n=0$ である。

2：一意性から $A_{n+1}-A_n=E[X_{n+1}-X_n\mid\mathcal F_n]$ であり、これがほとんど確実に $0$ 以上であることが劣マルチンゲールの定義である。$\square$

$(A_n)$ を $(X_n)$ の 補償子（compensator）ということがある。たとえば ex-mg-square で $\xi_i$ が同じ分布をもち $\sigma_i^2=\sigma^2$ なら、劣マルチンゲール $S_n^2$ の分解は $M_n=S_n^2-n\sigma^2$、$A_n=n\sigma^2$ である。

Doob の極大不等式

劣マルチンゲールの途中の最大値は、最後の時刻の値で抑えられる。証明は、初めて水準 $\lambda$ を超えた時刻で止めることによる。

Doobの極大不等式

$(X_n)$ を劣マルチンゲール、$n\in\mathbb N$、$\lambda>0$ とし、$A:=\{\max_{0\le m\le n}X_m\ge\lambda\}$ とおく。このとき
$$ \lambda P(A)\le E[X_n;A]\le E[X_n^+] $$
が成り立つ。

$\tau:=\inf\{m\mid X_m\ge\lambda\}\wedge n$ は停止時刻で $\tau\le n$ である。$A$ の上では $X_\tau\ge\lambda$、$A$ の外では $\tau=n$ で $X_\tau=X_n$ である。cor-mg-bounded-stopping により $E[X_\tau]\le E[X_n]$ なので、
$$ \lambda P(A)+E[X_n;\Omega\setminus A]\le E[X_\tau;A]+E[X_\tau;\Omega\setminus A]=E[X_\tau]\le E[X_n]=E[X_n;A]+E[X_n;\Omega\setminus A] $$
であり、$E[X_n;\Omega\setminus A]$ を両辺から引くと 1 つ目の不等式を得る。2 つ目は $X_n1_A\le X_n^+$ による。$\square$

$L^p$ での極大不等式

$1< p<\infty$ とし、$(Y_n)$ を非負の劣マルチンゲール、$Y^*_n:=\max_{0\le m\le n}Y_m$ とする。このとき
$$ E\bigl[(Y^*_n)^p\bigr]\le\Bigl(\frac p{p-1}\Bigr)^pE[Y_n^p] $$
である。とくにマルチンゲール $(X_n)$ について、$E\bigl[\max_{m\le n}|X_m|^p\bigr]\le\bigl(\frac p{p-1}\bigr)^pE[|X_n|^p]$ である。

要点：thm-mg-maximal を水準 $\lambda$ ごとに使い、$\lambda$ について積分して Hölderの不等式を当てる。

詳細

$E[Y_n^p]=\infty$ なら示すことはない。$E[Y_n^p]<\infty$ とし、$M>0$ を固定して $Z:=Y^*_n\wedge M$ とおく。$0<\lambda\le M$ なら $\{Z\ge\lambda\}=\{Y^*_n\ge\lambda\}$ なので thm-mg-maximal から $\lambda P(Z\ge\lambda)\le E[Y_n;Z\ge\lambda]$ であり、$\lambda>M$ なら左辺は $0$ なので同じ不等式が成り立つ。非負の $Z$ について $Z^p=\int_0^\infty p\lambda^{p-1}1_{\{Z\ge\lambda\}}\,d\lambda$ なので、Fubiniの定理（非負関数の場合）により

$$E[Z^p]=\int_0^\infty p\lambda^{p-1}P(Z\ge\lambda)\,d\lambda\le\int_0^\infty p\lambda^{p-2}E[Y_n;Z\ge\lambda]\,d\lambda=E\Bigl[Y_n\int_0^Zp\lambda^{p-2}\,d\lambda\Bigr]=\frac p{p-1}E[Y_nZ^{p-1}]$$

である（$p>1$ なので $\lambda^{p-2}$ は $0$ の近くで積分できる）。$p':=p/(p-1)$ として Hölder の不等式を使うと $E[Y_nZ^{p-1}]\le E[Y_n^p]^{1/p}E[Z^p]^{1/p'}$ である。$E[Z^p]\le M^p<\infty$ なので、$E[Z^p]>0$ なら両辺を $E[Z^p]^{1/p'}$ で割って $E[Z^p]^{1/p}\le\frac p{p-1}E[Y_n^p]^{1/p}$ を得る（$E[Z^p]=0$ なら明らか）。$p$ 乗して $M\to\infty$ とし、単調収束定理を使えば結論を得る。後半は prop-mg-basic の 4 により $|X_n|$ が非負の劣マルチンゲールであることから従う。$\square$

$p=1$ では同じ形の不等式は成り立たない（次の表）。

条件を外した反例

外す条件	反例	成り立たなくなること
停止時刻の有界性（cor-mg-bounded-stopping）	ex-mg-doubling の倍賭け $W_n$ と、初めて勝つ時刻 $\tau$（ほとんど確実に有限）	$E[W_\tau]=1$ だが $E[W_0]=0$
$H_n$ の可予測性（thm-mg-transform）	公平な $\pm1$ の和 $X_n$ に、その回の結果を見て賭ける $H_n:=1_{\{\xi_n=1\}}$（有界、$\mathcal F_n$-可測）	$(H\cdot X)_n$ は勝った回数で、$E[(H\cdot X)_n]=\frac n2$ が増えるのでマルチンゲールでない
$\varphi$ の単調性（prop-mg-basic の 4 の後半）	劣マルチンゲール $X_n:=-\frac1{n+1}$（定数の列）と凸関数 $\varphi(x)=x^2$	$\varphi(X_n)=\frac1{(n+1)^2}$ は狭義に減るので劣マルチンゲールでない
$A_n$ の可予測性（thm-mg-doob-decomposition の一意性）	劣マルチンゲール $X_n:=2n$ と、$0$ から始めた公平な $\pm1$ の和 $S_n$（$S_0=0$）による $M_n:=-S_n$、$A_n:=2n+S_n$	$A_n$ は適合し単調非減少（増分 $2+\xi_n\ge1$）で $A_0=0$ だが、分解 $X_n=0+2n$ と異なる
指数が $1$ より大きいこと（cor-mg-lp-maximal）	$1$ から始めた公平な $\pm1$ の歩み $S_n$ を、$0$ に着いた時刻 $\tau_0$ で止めた $Y_n:=S_{\tau_0\wedge n}$	$E[Y_n]=1$ だが $E[\max_{m\le n}Y_m]\to\infty$

最後の行の確認

$(Y_n)$ は thm-mg-stopped により非負のマルチンゲールで $E[Y_n]=E[Y_0]=1$ である。整数 $K\ge1$ について $\sup_nY_n\ge K$ となるのは、$0$ に着く前に $K$ に着くときであり、ex-mg-ruin（$i=1$、$N=K$）によりその確率は $\frac1K$ である（$K=1$ では $Y_0=1$ なので確率 $1$）。$\sup_nY_n$ は非負の整数値（または $\infty$）なので $E[\sup_nY_n]=\sum_{K\ge1}P(\sup_nY_n\ge K)=\sum_{K\ge1}\frac1K=\infty$ であり、単調収束定理から $E[\max_{m\le n}Y_m]\to\infty$ となる。よって $E[\max_{m\le n}Y_m]\le C\,E[Y_n]$ を満たす定数 $C$ はない。

補足

収束。 劣マルチンゲール $(X_n)$ が $\sup_nE[X_n^+]<\infty$ を満たせば、$X_n$ はほとんど確実に可積分な極限に収束する。ex-mg-doubling の $W_n$ のように、極限の期待値が $E[X_n]$ と一致するとは限らない。極限の存在と、期待値が保たれるための一様可積分性の条件は Doobのマルチンゲール収束定理で扱う。
連続時間。 時刻を $t\ge0$ の実数にし、$\sigma$-代数の族 $(\mathcal F_t)_{t\ge0}$ に関して同じ条件を課すと、連続時間のマルチンゲールが定まる。Brown運動 $B_t$、$B_t^2-t$、$e^{\theta B_t-\theta^2t/2}$ はその代表であり（Dur19 Theorem 7.5.2・7.5.4（p. 376）、Theorem 7.5.6（p. 377）。この記事では証明しない）、伊藤の公式の確率積分も連続時間のマルチンゲールを与える。$e^{\theta B_t-\theta^2t/2}$ は、測度を取り替えて Brown 運動に一定のドリフトを付けるときの密度でもある（Girsanovの定理）。
測度論との関係。 細かくなっていく分割に沿って測度の比をとった列はマルチンゲールであり、その収束から、絶対連続な場合に Radon–Nikodymの定理の密度を作れる（Dur19 Theorem 4.3.5、p. 227。この記事では証明しない）。