Markov過程

同義語:マルコフ過程Markov processMarkov 過程

概要

Markov過程(Markov process)とは、現在の状態が分かれば未来の振る舞いが過去の経過によらない確率過程であり、条件付き期待値で $\mathbb{P}(X_t\in B\mid\mathcal{F}_s)=\mathbb{P}(X_t\in B\mid X_s)$($s\le t$)と定める。遷移は Chapman–Kolmogorov の等式を満たす確率核の族(推移関数)$p_t(x,B)$ で表され、関数に作用する推移作用素は正値で $1$ を保つ縮小作用素の半群をなす。推移関数をもつ Markov 過程の有限次元分布は初期分布と推移関数で決まり、状態空間が Polish 空間なら任意の推移関数と初期分布から Markov 過程を作れる。定常な独立増分をもつ過程(Brown 運動、Poisson 過程、Lévy 過程)は Markov 過程である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率過程, 条件付き期待値, Markov連鎖

Markov過程(Markov process)とは、現在の状態が分かれば、未来の振る舞いが過去の経過によらない確率過程である。時刻が離散で状態が可算個なら Markov連鎖 であり、Brown運動、Poisson過程、拡散過程、Lévy過程 はどれも連続時間の Markov 過程である。
状態空間が $\mathbb{R}$ のように非可算になると、「$X_s=x$ という条件のもとでの確率」は確率 $0$ の事象を条件にすることになり、初等的な条件付き確率では意味をもたない。そこで Markov 性を 条件付き期待値 で述べ、遷移の仕方を 推移関数(確率核の族)で表す。推移関数は関数に作用する作用素の半群を定め、この半群を通して Markov 過程は 強連続半群 の解析と結びつく(Feller過程)。
この記事では Markov 過程を一般の状態空間で定義し、推移作用素の半群の性質(prop-mp-semigroup)、有限次元分布の公式(thm-mp-fdd)、Polish 空間での存在(thm-mp-exist)、独立増分の過程が Markov 過程であること(prop-mp-increments)を示す。Markov 性がフィルトレーションや状態の選び方によること、強 Markov 性が成り立たない Markov 過程があることも例で確かめる。

定義

以下、$(\Omega,\mathcal{F},\mathbb{P})$ を確率空間、$\mathbb{T}$ を時刻の集合 $\{0,1,2,\dots\}$ または $[0,\infty)$、$(\mathcal{F}_t)_{t\in\mathbb{T}}$ をフィルトレーション、$(E,\mathcal{E})$ を可測空間(状態空間)とする。期待値を $\mathbb{E}$ と書き、$\mathbb{P}(A\mid\mathcal{G}):=\mathbb{E}[1_A\mid\mathcal{G}]$、$\mathbb{P}(A\mid X_s):=\mathbb{P}(A\mid\sigma(X_s))$ とする。過程 $X=(X_t)_{t\in\mathbb{T}}$ が適合しているとは、各 $X_t$ が $\mathcal{F}_t$-可測な $E$ 値の確率変数であることをいう(確率過程 の定義「フィルトレーションと適合過程」)。

Markov 過程

$E$ に値をとる適合過程 $X$ が $(\mathcal{F}_t)$ についての Markov 過程 であるとは、$s\le t$ となるすべての $s,t\in\mathbb{T}$ と $B\in\mathcal{E}$ について
$$ \mathbb{P}(X_t\in B\mid\mathcal{F}_s)=\mathbb{P}(X_t\in B\mid X_s)\quad\text{a.s.} $$
が成り立つことをいう。この性質を Markov 性 という。フィルトレーションを言わないときは、$X$ が生成する $\mathcal{F}^X_t:=\sigma(X_u\mid u\le t)$ についての Markov 過程を指す。

右辺は $X_s$ の関数なので、Markov 性は「時刻 $s$ までの情報のうち、時刻 $t$ の状態の予測に効くのは $X_s$ だけ」という主張である。$(\mathcal{F}_t)$ について Markov 過程なら、$\sigma(X_s)\subset\mathcal{F}^X_s\subset\mathcal{F}_s$ と塔の性質(条件付き期待値 の定理「条件付き期待値の基本性質」の 5)により $(\mathcal{F}^X_t)$ についても Markov 過程である。逆は成り立たない(ex-mp-counter の 1 行目)。
遷移の仕方を具体的に与えるには確率核を使う。$E$ から $E$ への確率核 $k$(Ionescu-Tulceaの定理 の定義「確率核」)は、各 $x\in E$ に確率測度 $k(x,\cdot)$ を対応させ、各 $B\in\mathcal{E}$ について $x\mapsto k(x,B)$ が可測なものである。

推移関数

$E$ から $E$ への確率核の族 $(p_t)_{t\in\mathbb{T}}$ が Markov 推移関数(略して推移関数)であるとは、$p_0(x,\cdot)=\delta_x$ で、Chapman–Kolmogorov の等式
$$ p_{s+t}(x,B)=\int_Ep_t(y,B)\,p_s(x,dy)\qquad(s,t\in\mathbb{T},\ x\in E,\ B\in\mathcal{E}) $$
が成り立つことをいう。適合過程 $X$ が推移関数 $(p_t)$ をもつ Markov 過程であるとは、$s\le t$ となるすべての $s,t\in\mathbb{T}$ と $B\in\mathcal{E}$ について
$$ \mathbb{P}(X_t\in B\mid\mathcal{F}_s)=p_{t-s}(X_s,B)\quad\text{a.s.}\qquad(*) $$
が成り立つことをいう。

$(*)$ の右辺は $X_s$ の可測関数で $\sigma(X_s)\subset\mathcal{F}_s$ なので、両辺の $\sigma(X_s)$ についての条件付き期待値をとると $\mathbb{P}(X_t\in B\mid X_s)=p_{t-s}(X_s,B)$ を得る。よって $(*)$ を満たす過程は def-mp-main の意味の Markov 過程である。推移関数は、遷移の確率が時刻の差 $t-s$ だけによる場合(時間的に一様 な場合)を表す。時刻によって変わる場合は核を 2 つの時刻で $p_{s,t}$ と添字づけ、Chapman–Kolmogorov の等式を $p_{s,u}(x,B)=\int p_{t,u}(y,B)\,p_{s,t}(x,dy)$($s\le t\le u$)とすれば、以下の議論は記号を替えるだけで通る。
Sch16 Definition 4.1・4.2(p. 24)は、$E=\mathbb{R}^d$、$\mathbb{T}=[0,\infty)$ で同じ定義を与えている。そこでは推移関数に $(s,x)\mapsto p_s(x,B)$ の可測性も課している。
$\mathbb{T}=\{0,1,2,\dots\}$ では、Chapman–Kolmogorov の等式により $p_n$ は $p:=p_1$ を $n$ 回合成した核であり、推移関数は 1 つの確率核 $p$ で決まる。このとき $(*)$ は $\mathbb{P}(X_{n+1}\in B\mid\mathcal{F}_n)=p(X_n,B)$(すべての $n$)と同値である(一般の $n< m$ へは、塔の性質で 1 歩ずつ条件を付け直す帰納法で広がる)。後者は Dur19 §5.2(p. 273)の定義の形である。状態空間が可算集合なら $p(i,\{j\})$ は推移行列で、Markov連鎖 の定義に一致する。

推移作用素の半群

$E$ 上の有界な $\mathcal{E}$-可測関数の全体を $b\mathcal{E}$ と書き、上限ノルム $\|f\|:=\sup_E\lvert f\rvert$ を入れる。推移関数 $(p_t)$ について
$$ P_tf(x):=\int_Ef(y)\,p_t(x,dy)\qquad(f\in b\mathcal{E},\ x\in E) $$
とおき、$P_t$ を 推移作用素 という。

推移作用素の半群

$(p_t)$ を推移関数とする。

  1. $P_t$ は $b\mathcal{E}$ を $b\mathcal{E}$ に写す線形作用素で、$f\ge0$ なら $P_tf\ge0$、$P_t1=1$、$\|P_tf\|\le\|f\|$ である。
  2. $P_0=I$、$P_{s+t}=P_sP_t$($s,t\in\mathbb{T}$)。
  3. $X$ が推移関数 $(p_t)$ をもつ Markov 過程なら、$s\le t$ と $f\in b\mathcal{E}$ について $\mathbb{E}[f(X_t)\mid\mathcal{F}_s]=P_{t-s}f(X_s)$ a.s. である。
指示関数で確かめ、一様近似で広げる

要点:指示関数では推移関数の定義と Chapman–Kolmogorov の等式・$(*)$ そのものであり、有限個の値をとる関数による一様近似で有界可測関数に広げる。

詳しい証明を開く

$f\in b\mathcal{E}$ は、有限個の値をとる可測関数 $f_k:=2^{-k}\lfloor2^kf\rfloor$ で $\|f-f_k\|\le2^{-k}$ と一様に近似できる。

1:$f=1_B$ なら $P_tf=p_t(\cdot,B)$ は可測であり、線形性から有限個の値をとる可測関数でも $P_tf$ は可測である。積分の単調性から $\lvert P_tf-P_tf_k\rvert\le\|f-f_k\|$ なので、$P_tf$ は可測関数の一様極限であり可測である。正値性は積分の単調性、$P_t1=p_t(\cdot,E)=1$ で、$\lvert P_tf\rvert\le P_t\lvert f\rvert\le\|f\|\,P_t1=\|f\|$ である。

2:$P_0f(x)=\int f\,d\delta_x=f(x)$ である。$f=1_B$ のとき $P_sP_t1_B(x)=\int p_t(y,B)\,p_s(x,dy)=p_{s+t}(x,B)=P_{s+t}1_B(x)$ は Chapman–Kolmogorov の等式そのものである。両辺は $f$ について線形なので有限個の値をとる関数でも成り立ち、1 により $\|P_sP_tf-P_sP_tf_k\|\le\|f-f_k\|$、$\|P_{s+t}f-P_{s+t}f_k\|\le\|f-f_k\|$ なので、$k\to\infty$ としてすべての $f\in b\mathcal{E}$ に広がる。

3:$f=1_B$ のときは $(*)$ そのもので、条件付き期待値の線形性から有限個の値をとる関数でも成り立つ。条件付き期待値の単調性から $\lvert\mathbb{E}[f(X_t)\mid\mathcal{F}_s]-\mathbb{E}[f_k(X_t)\mid\mathcal{F}_s]\rvert\le\|f-f_k\|$ a.s. であり、$\lvert P_{t-s}f(X_s)-P_{t-s}f_k(X_s)\rvert\le\|f-f_k\|$ である。除外する零集合は $k$ ごとに 1 つで可算個なので、$k\to\infty$ とすればよい。$\square$

2 は Chapman–Kolmogorov の等式を作用素で書いたもので、$(P_t)$ を推移関数の 半群 という。1 は $(P_t)$ が正値で定数 $1$ を保つ縮小作用素の族であることを述べている。Sch16 Definition 4.7 と Lemma 4.8(pp. 26–27)は、$E=\mathbb{R}^d$ の Markov 過程についてこれらの性質を挙げている。状態空間が局所コンパクトな距離空間で、$P_t$ が無限遠で消える連続関数の空間を保ち、そこで強連続なとき、半群は生成作用素で決まる。これが Feller過程 の理論である。状態が有限個の連続時間の場合は、推移行列の族が $Q$ 行列についての微分方程式を満たす(Kolmogorovの前向き・後ろ向き方程式)。

有限次元分布

有限次元分布と未来の条件付き分布

$X$ を推移関数 $(p_t)$ をもつ Markov 過程とする。$s\in\mathbb{T}$、$0\le u_1< u_2< \cdots< u_n$($u_k\in\mathbb{T}$)、$f_1,\dots,f_n\in b\mathcal{E}$ について、関数 $h_n,\dots,h_1\in b\mathcal{E}$ を後ろから
$$ h_n:=f_n,\qquad h_k:=f_k\cdot P_{u_{k+1}-u_k}h_{k+1}\quad(k=n-1,\dots,1) $$
で定めると、
$$ \mathbb{E}\Bigl[\prod_{k=1}^nf_k(X_{s+u_k})\Bigm|\mathcal{F}_s\Bigr]=P_{u_1}h_1(X_s)\quad\text{a.s.} $$
である。とくに $X_0$ の分布を $\mu$ とすると、$0=t_0< t_1< \cdots< t_n$ と $B_0,\dots,B_n\in\mathcal{E}$ について
$$ \mathbb{P}(X_{t_0}\in B_0,\dots,X_{t_n}\in B_n)=\int_{B_0}\mu(dx_0)\int_{B_1}p_{t_1}(x_0,dx_1)\cdots\int_{B_n}p_{t_n-t_{n-1}}(x_{n-1},dx_n) $$
であり、$X$ の有限次元分布は $\mu$ と $(p_t)$ だけで決まる。

最後の時刻から順に条件を付ける

$h_k\in b\mathcal{E}$ は prop-mp-semigroup の 1 から従う。$n$ についての帰納法で示す。$n=1$ は prop-mp-semigroup の 3 である。$n\ge2$ とし、$n-1$ 個の場合を仮定する。$r:=s+u_{n-1}$ とおく。$f_1(X_{s+u_1}),\dots,f_{n-1}(X_{s+u_{n-1}})$ は $\mathcal{F}_r$-可測で有界なので、既知のものをくくり出す性質(条件付き期待値 の定理「条件付き期待値の基本性質」の 6)と prop-mp-semigroup の 3 により
$$ \mathbb{E}\Bigl[\prod_{k=1}^nf_k(X_{s+u_k})\Bigm|\mathcal{F}_r\Bigr]=\prod_{k=1}^{n-2}f_k(X_{s+u_k})\cdot h_{n-1}(X_{s+u_{n-1}}) $$
である。右辺は $f_{n-1}$ を $h_{n-1}=f_{n-1}\cdot P_{u_n-u_{n-1}}f_n$ に替えた $n-1$ 個の積である。$\mathcal{F}_s\subset\mathcal{F}_r$ なので、塔の性質(同じ定理の 5)により左辺の $\mathcal{F}_s$ についての条件付き期待値は右辺の $\mathcal{F}_s$ についての条件付き期待値に等しい。$f_1,\dots,f_{n-2},h_{n-1}$ から作る後ろからの漸化式は $h_{n-1},\dots,h_1$ をそのまま与えるので、帰納法の仮定により $P_{u_1}h_1(X_s)$ を得る。
後半:$s=0$、$n+1$ 個の時刻 $u_k:=t_k$($k=0,\dots,n$、$u_0=0$)と $f_k:=1_{B_k}$ に前半を使い、期待値をとる。$P_0=I$ なので右辺の期待値は $\mathbb{E}[h_0(X_0)]=\int h_0\,d\mu$ であり、$h_k=1_{B_k}\cdot P_{t_{k+1}-t_k}h_{k+1}$ を順にほどくと右辺の入れ子の積分になる。$0$ を含まない時刻の組は $B_0=E$ として含めればよい。有限次元分布は可測長方形の上の値で決まる(Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」)。$\square$

したがって Markov 過程の法則(道の空間の上の分布)は、初期分布と推移関数で決まる(確率過程 の定理「有限次元分布は法則を決める」)。前半の式は、$\mathcal{F}_s$ のもとでの未来 $(X_{s+u})_{u\ge0}$ の条件付きの有限次元分布が、$X_s$ から出発した過程の有限次元分布になることを述べている。時刻が離散で、連鎖を数列の空間の上に作った場合には、未来全体の有界可測な関数についての同じ形の主張が Dur19 Theorem 5.2.3(p. 275)にある。

存在

推移関数から Markov 過程を作る

$E$ を Polish 空間、$\mathcal{E}$ をその Borel 集合族、$(p_t)$ を推移関数、$\mu$ を $E$ 上の確率測度とする。積の可測空間 $(E^{\mathbb{T}},\mathcal{E}^{\otimes\mathbb{T}})$ の上の確率測度 $\mathbb{P}_\mu$ で、座標 $X_t(\omega):=\omega(t)$ が、$X_0$ の分布が $\mu$ で $(\mathcal{F}^X_t)$ について推移関数 $(p_t)$ をもつ Markov 過程になるものが、ただ 1 つある。

有限次元分布の整合性を Chapman–Kolmogorov の等式で確かめる

有限次元分布. $0=t_0< t_1< \cdots< t_n$ について、確率測度と確率核の積(Ionescu-Tulceaの定理 の補題「確率測度と確率核の積」)を $n$ 回とり、$E^{n+1}$ 上の確率測度 $\nu_{t_0,\dots,t_n}$ を
$$ \nu_{t_0,\dots,t_n}(B_0\times\cdots\times B_n)=\int_{B_0}\mu(dx_0)\int_{B_1}p_{t_1}(x_0,dx_1)\cdots\int_{B_n}p_{t_n-t_{n-1}}(x_{n-1},dx_n) $$
となるように定める($k$ 番目の核は $(x_0,\dots,x_{k-1})\mapsto p_{t_k-t_{k-1}}(x_{k-1},\cdot)$ である)。有限集合 $J\subset\mathbb{T}$ について、$J\cup\{0\}$ の上の $\nu$ を $J$ の座標へ射影したものを $\mu_J$ とする。
整合性. $J\subset K$ のとき、$\mu_K$ を $J$ の座標へ射影すると $\mu_J$ になることを示す(Kolmogorovの拡張定理 の定義「有限次元分布の整合な族」)。射影は 1 点ずつ座標を除く射影の合成なので、$\nu_{t_0,\dots,t_n}$ から 1 つの座標 $t_k$($k\ge1$)を除くと、$t_k$ を飛ばした $\nu$ になることを示せば十分である。長方形 $B_0\times\cdots\times B_n$ で $B_k=E$ とおく。$k=n$ なら、最後の積分は $p_{t_n-t_{n-1}}(x_{n-1},E)=1$ により消える。$1\le k< n$ なら、$x_{k+1}$ 以後の積分を $x_{k+1}$ の関数 $g\in b\mathcal{E}$(可測性は同じ補題の 1)にまとめると、$x_k$ と $x_{k+1}$ の積分は prop-mp-semigroup の 2 により
$$ \int_Ep_{t_k-t_{k-1}}(x_{k-1},dx_k)\int_{B_{k+1}}p_{t_{k+1}-t_k}(x_k,dx_{k+1})\,g(x_{k+1})=P_{t_{k+1}-t_{k-1}}(1_{B_{k+1}}g)(x_{k-1}) $$
となり、$t_k$ を飛ばした式に一致する。2 つの測度は長方形の上で一致し、長方形の全体は共通部分で閉じて積 σ-代数を生成するので、Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」により一致する。
延長と Markov 性. $E$ は Polish 空間なので、Kolmogorovの拡張定理 の系「Polish 空間の場合」により、すべての有限集合 $J$ について $\mathbb{P}_\mu\circ\pi_J^{-1}=\mu_J$ となる $\mathbb{P}_\mu$ がただ 1 つある($\pi_J$ は $J$ の座標への射影)。$X_0$ の分布は $\mu_{\{0\}}=\mu$ である。$s< t$、$B\in\mathcal{E}$ とし、$0=s_0< s_1< \cdots< s_m=s$ と $A_0,\dots,A_m\in\mathcal{E}$ について $A:=\{X_{s_0}\in A_0,\dots,X_{s_m}\in A_m\}$ とおく。時刻 $s_0,\dots,s_m,t$ の有限次元分布の式で、最後の積分を $p_{t-s}(x_m,B)$ にまとめると
$$ \mathbb{P}_\mu(A\cap\{X_t\in B\})=\mathbb{E}_\mu\bigl[1_A\,p_{t-s}(X_s,B)\bigr] $$
である。この形の $A$ の全体は、2 つの分点の合併をとり、足りない時刻に $E$ を詰めれば共通部分で閉じていて、$\mathcal{F}^X_s$ を生成する。両辺は $A$ について有限測度なので、Dynkinのπ-λ定理 により等式はすべての $A\in\mathcal{F}^X_s$ で成り立つ。$p_{t-s}(X_s,B)$ は $\mathcal{F}^X_s$-可測なので、これは $(*)$ である。$s=t$ では $p_0(X_s,B)=1_B(X_s)$ なので $(*)$ は明らかである。一意性は thm-mp-fdd と 確率過程 の定理「有限次元分布は法則を決める」による。$\square$

時刻が離散なら、状態空間に位相の仮定は要らない(Ionescu-Tulceaの定理 の系「一般の状態空間の Markov 連鎖の存在」)。Dur19 §5.2(p. 273)は、離散時間で状態空間が標準 Borel 空間の場合に、この定理と同じ有限次元分布から連鎖を作っている。連続時間でこの定理が与えるのは有限次元分布だけで、道の連続性や右連続性は別に修正をとって得る(Kolmogorovの連続性定理、Feller過程)。

独立増分の過程

独立増分の過程は Markov 過程

$E=\mathbb{R}^d$ とし、適合過程 $X$ が次を満たすとする:$s\le t$ について $X_t-X_s$ は $\mathcal{F}_s$ と独立で、その分布 $\nu_{t-s}$ は $t-s$ だけによる。このとき $p_t(x,B):=\nu_t(B-x)$ は推移関数であり、$X$ はこれをもつ Markov 過程である。

独立な部分を固定して積分する

補題. $\mathcal{G}\subset\mathcal{F}$ を部分 σ-代数、$Z$ を $\mathcal{G}$-可測な、$Y$ を $\mathcal{G}$ と独立な $\mathbb{R}^d$ 値の確率変数、$H\subset\mathbb{R}^d\times\mathbb{R}^d$ を Borel 集合とし、$G_H(z):=\mathbb{P}((z,Y)\in H)$ とおく。このとき $\mathbb{P}((Z,Y)\in H\mid\mathcal{G})=G_H(Z)$ a.s. である。$G_H$ が可測であることは Tonelli の定理による。$H=C\times D$ なら、既知のものをくくり出す性質と独立性(条件付き期待値 の定理「条件付き期待値の基本性質」の 6・7)により $\mathbb{E}[1_C(Z)1_D(Y)\mid\mathcal{G}]=1_C(Z)\,\mathbb{P}(Y\in D)=G_H(Z)$ である。等式が成り立つ $H$ の全体は、差($H_1\subset H_2$ のとき $H_2\setminus H_1$)と増大列の和で閉じている(条件付き期待値の線形性と単調収束定理)ので、Dynkinのπ-λ定理 によりすべての Borel 集合を含む。
推移関数. $p_t(x,\cdot)$ は $\nu_t$ を $x$ だけ平行移動した確率測度であり、$x\mapsto\nu_t(B-x)=\int1_B(x+y)\,\nu_t(dy)$ は Tonelli の定理により可測である。$X_0-X_0=0$ なので $\nu_0=\delta_0$ で、$p_0(x,\cdot)=\delta_x$ である。$X_{s+t}-X_0=(X_s-X_0)+(X_{s+t}-X_s)$ の第 1 項は $\mathcal{F}_s$-可測、第 2 項は $\mathcal{F}_s$ と独立なので、2 つの項は独立であり、和の分布は畳み込み $\nu_{s+t}=\nu_s*\nu_t$ である。よって
$$ \int p_t(y,B)\,p_s(x,dy)=\iint1_B(x+z+w)\,\nu_t(dw)\,\nu_s(dz)=(\nu_s*\nu_t)(B-x)=p_{s+t}(x,B) $$
である。
Markov 性. $s\le t$ とし、補題を $\mathcal{G}=\mathcal{F}_s$、$Z=X_s$、$Y=X_t-X_s$、$H=\{(z,y)\mid z+y\in B\}$ に使うと、$\mathbb{P}(X_t\in B\mid\mathcal{F}_s)=\nu_{t-s}(B-X_s)=p_{t-s}(X_s,B)$ a.s. である。$\square$

Brown運動($\nu_t$ は平均 $0$、共分散 $tI$ の正規分布)、強度 $\lambda$ の Poisson過程($\nu_t$ は平均 $\lambda t$ の Poisson 分布)、独立同分布の和の ランダムウォーク($\nu_n$ は 1 歩の分布の $n$ 回の畳み込み)、Lévy過程 は、どれもこの命題により自然なフィルトレーションについての Markov 過程である。Lévy 過程について、$p_t(x,B):=\mathbb{P}(X_t+x\in B)$ が Markov 推移関数であることは Sch16 Lemma 4.4(p. 25)に、時刻 $a$ からの増分の過程 $(X_{t+a}-X_a)_{t\ge0}$ が $\mathcal{F}^X_a$ と独立で $X$ と同じ有限次元分布をもつこと(Markov 性の強い形)は Theorem 4.6(pp. 25–26)にある。
補題は状態を広げる操作にも使える。$\xi_1,\xi_2,\dots$ を独立同分布で $(X_0,X_1)$ と独立とし、$X_{n+1}:=F(X_{n-1},X_n,\xi_{n+1})$($F$ は可測)とおく。$X$ 自身は 2 つ前の値によるので一般に Markov 過程でないが、組 $Z_n:=(X_{n-1},X_n)$ は $Z_{n+1}=(X_n,F(Z_n,\xi_{n+1}))$ を満たし、補題($\mathcal{G}=\sigma(X_0,X_1,\xi_2,\dots,\xi_n)$、$Y=\xi_{n+1}$)により、確率核 $k(z,C):=\mathbb{P}((z_2,F(z,\xi_1))\in C)$($z=(z_1,z_2)$)で 1 歩ずつ推移する離散時間の Markov 過程になる。補題は値の空間が $\mathbb{R}^d$ でなくても同じ証明で成り立つ。

Markov 性が成り立たない例

Markov 性は、過程そのものだけでなく、フィルトレーションと状態の選び方による。さらに、決まった時刻での Markov 性 $(*)$ は、ランダムな時刻へは自動的には延びない。停止時刻 $\tau$(停止時刻)について、$\{\tau<\infty\}$ の上で $\mathbb{P}(X_{\tau+u}\in B\mid\mathcal{F}_\tau)=p_u(X_\tau,B)$ が成り立つことを 強 Markov 性 という。離散時間の連鎖では成り立ち(Dur19 Theorem 5.2.5、p. 277)、連続時間では道が右連続な Feller過程 で成り立つ(同記事の定理「Feller 過程の強 Markov 性」)。

変えたもの例成り立たない結論
フィルトレーションを大きくする$X_0,X_1,\dots$ は独立で $\pm1$ を確率 $\frac12$ ずつとり、$\mathcal{F}_n:=\sigma(X_0,\dots,X_{n+1})$$X$ は $(\mathcal{F}^X_n)$ について Markov 過程だが、$(\mathcal{F}_n)$ については Markov 過程でない
状態を関数でまとめる$X_0$ は $\{1,2,3\}$ 上の一様分布、$X_{n+1}:=X_n+1$($X_n=3$ なら $1$)、$Y_n:=1_{\{X_n=3\}}$$X$ は Markov 連鎖だが、$Y$ は Markov 過程でない
時刻を停止時刻に替える$W$ は Brown 運動、$X_t:=1+W_t$。推移関数は、$x\ne0$ で $p_t(x,\cdot)$ を平均 $x$、分散 $t$ の正規分布、$p_t(0,\cdot):=\delta_0$ とする$X$ はこの推移関数をもつ Markov 過程だが、$\tau:=\inf\{t\mid X_t=0\}$ で強 Markov 性が成り立たない
反例の確かめ

要点:1 行目は未来の値を知るフィルトレーションで条件付き確率が 0 か 1 になること、2 行目は同じ $Y_1$ の値でも $Y_0$ によって $Y_2$ が決まってしまうこと、3 行目は推移関数を取り替えた点 $0$ に停止時刻で到達することを使う。

確かめを開く

1 行目:$X_{n+1}$ は $\sigma(X_0,\dots,X_n)$ と独立なので、$\mathbb{P}(X_{n+1}=1\mid\mathcal{F}^X_n)=\frac12=\mathbb{P}(X_{n+1}=1\mid X_n)$ であり(条件付き期待値 の定理「条件付き期待値の基本性質」の 7)、同じ議論を $X_m$($m>n$)にも使えば、$X$ は $(\mathcal{F}^X_n)$ について推移関数 $p_m(x,\cdot)=\frac12(\delta_1+\delta_{-1})$($m\ge1$)をもつ Markov 過程である。一方 $X_{n+1}$ は $\mathcal{F}_n$-可測なので $\mathbb{P}(X_{n+1}=1\mid\mathcal{F}_n)=1_{\{X_{n+1}=1\}}$ で、これは確率 $1$ で $0$ か $1$ の値をとり、$\frac12$ と一致しない。

2 行目:$X_{n+1}$ は $X_n$ の関数なので $X$ は推移の確率が $0$ か $1$ の Markov 連鎖である。$Y$ は $X_0=1,2,3$ に応じて $0,0,1,0,0,1,\dots$、$0,1,0,0,1,\dots$、$1,0,0,1,\dots$ と動く。よって $\mathbb{P}(Y_0=0,Y_1=0)=\mathbb{P}(X_0=1)=\frac13$ で、このとき $Y_2=1$ である。$\mathbb{P}(Y_0=1,Y_1=0)=\mathbb{P}(X_0=3)=\frac13$ で、このとき $Y_2=0$ である。$Y$ が Markov 過程なら、$\mathbb{P}(Y_2=1\mid Y_0,Y_1)=\mathbb{P}(Y_2=1\mid Y_1)$ a.s. で、右辺は $\{Y_1=0\}$ の上で定数である。しかし左辺は正の確率の事象 $\{Y_0=0,Y_1=0\}$ の上で $1$、$\{Y_0=1,Y_1=0\}$ の上で $0$ である。

3 行目:$y\ne0$ について $p_t(y,\cdot)$ は平均 $y$ の正規分布で、平均 $x$ の正規分布の測度で $\{0\}$ は零集合なので、$x\ne0$ では Chapman–Kolmogorov の等式は正規分布の畳み込み(分散が足される)に帰着する。$x=0$ では両辺とも $1_B(0)$ である。$W$ の自然なフィルトレーションについて、prop-mp-increments により $\mathbb{P}(X_t\in B\mid\mathcal{F}_s)$ は平均 $X_s$、分散 $t-s$ の正規分布の $B$ での値であり、$\{X_s=0\}$ は $s>0$ で確率 $0$、$s=0$ で空なので、これは a.s. に $p_{t-s}(X_s,B)$ に等しい。$\tau$ は閉集合 $\{0\}$ への到達時刻なので停止時刻であり(停止時刻 の定理「到達時刻が停止時刻になる条件」の 2)、$-W$ も Brown 運動なので 反射原理(Brown運動) の系「到達時刻の分布」により $\tau<\infty$ a.s. である。強 Markov 性が成り立てば $X_\tau=0$ から $\mathbb{P}(X_{\tau+1}=0)=\mathbb{E}[p_1(0,\{0\})]=1$ となる。しかし Brown 運動の強 Markov 性(停止時刻 の定理「強 Markov 性」)により $W_{\tau+1}-W_\tau$ は標準正規分布に従うので、$\mathbb{P}(X_{\tau+1}=0)=\mathbb{P}(W_{\tau+1}-W_\tau=0)=0$ である。

3 行目の推移関数は、Brown 運動の推移関数を零集合 $\{0\}$ の上だけで取り替えたものである。決まった時刻には $X$ がその点にいる確率は $0$ なので $(*)$ は変わらないが、停止時刻 $\tau$ では $X_\tau$ がちょうどその点になる。この推移関数は $x\to0$ で $p_t(x,\cdot)$ が $p_t(0,\cdot)$ に近づかず、Feller 性をもたない。Feller過程 の強 Markov 性の証明は、推移関数のこの種の連続性と道の右連続性を使っている。

関連項目

参考文献

[1]
Rick Durrett, Probability: Theory and Examples, Cambridge University Press, 2019, §5.2(p. 273、確率核と Markov 連鎖の定義)、Theorem 5.2.3(p. 275)、Theorem 5.2.5(p. 277)。頁は著者公開版(2019-01-11)による
[2]
René L. Schilling, An Introduction to Lévy and Feller Processes, From Lévy-Type Processes to Parabolic SPDEs, Advanced Courses in Mathematics – CRM Barcelona, Birkhäuser (2016); arXiv:1603.00251, 2016, arXiv 版 v2(2016-10-17)の頁。Definition 4.1・4.2(p. 24)、Lemma 4.4・Theorem 4.6(pp. 25–26)、Definition 4.7(p. 26)、Lemma 4.8(p. 27)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する