確率過程
概要
確率過程（stochastic process）とは、1 つの確率空間の上の確率変数の族 $(X_t)_{t\in T}$ のことで、$t$ を時刻とみて偶然に変化する量を表し、各結果 $\omega$ について $t\mapsto X_t(\omega)$ を見本路という。確率過程は関数の空間 $S^T$ に値をとる確率変数と同じものであり、その法則は有限次元分布で決まる。一方、見本路の連続性のような性質は有限次元分布では決まらず、修正であっても区別不能とは限らないが、可算な添字集合の場合や、添字集合が区間で見本路が確率 $1$ で右連続な場合は、修正は区別不能である。独立増分の過程・定常過程・Gauss 過程などの種類があり、Gauss 過程が定常であることは、期待値が一定で共分散が時刻をずらしても変わらないことと同値である。
時間とともに偶然に変化する量、たとえば硬貨投げの累積の得点、窓口に到着した客の数、花粉の粒子の位置、株価などを数学で表すには、時刻 $t$ ごとの確率変数 $X_t$ を 1 つの確率空間の上にまとめて並べればよい。この族 $(X_t)_{t\in T}$ を 確率過程（stochastic process）という。
確率過程には 2 つの見方がある。時刻 $t$ を固定すれば $X_t$ は確率変数であり、偶然の結果 $\omega$ を固定すれば $t\mapsto X_t(\omega)$ は時間の関数（見本路、道）である。前者の見方では、有限個の時刻での同時分布（有限次元分布）が過程の確率的な性質を決める。後者の見方では、道が連続か、上限がいくつか、といった「無限個の時刻にわたる」性質が問題になり、有限次元分布だけでは決まらない。
この記事は確率過程の入口として、定義と 2 つの見方の関係、有限次元分布が過程の法則を決めること（thm-sp-fdd）、道の性質を変えずに過程を取り替えてよい範囲（thm-sp-right-continuous）、フィルトレーションと、独立増分の過程・定常過程・Gauss 過程などの基本的な種類を述べる。個々の過程（ランダムウォーク、Markov連鎖、Poisson過程、Brown運動、マルチンゲール）はそれぞれの記事で扱う。
定義
以下、$(\Omega,\mathcal F,P)$ を確率空間、$T$ を空でない集合（添字集合、多くは時刻の集合 $\{0,1,2,\dots\}$ や $[0,\infty)$）、$(S,\mathcal S)$ を可測空間（状態空間、多くは $\mathbb R^d$ とその Borel集合 全体）とする。$S$ に値をとる写像 $Y\colon\Omega\to S$ が $\mathcal F/\mathcal S$-可測であることを、$Y$ は $S$ に値をとる確率変数であるという。実数値の確率変数の分散を $V[X]$、共分散を $\mathrm{Cov}[X,Y]:=E[(X-E[X])(Y-E[Y])]$ と書く。
各 $t\in T$ について $S$ に値をとる確率変数 $X_t\colon\Omega\to S$ が与えられたとき、族 $X=(X_t)_{t\in T}$ を、$T$ を添字集合、$S$ を状態空間とする 確率過程 という。各 $\omega\in\Omega$ について、写像
$$
T\to S,\qquad t\mapsto X_t(\omega)
$$
を $\omega$ における $X$ の 見本路（sample path、道）という。$T$ が $\{0,1,2,\dots\}$ などの可算集合のとき 離散時間、$T$ が $\mathbb R$ の区間のとき 連続時間 の確率過程という。
$J\subset T$ について $S^J:=\prod_{t\in J}S$ とし、座標の射影を $\pi_t\colon S^T\to S$、$\pi_J\colon S^T\to S^J$ と書く。$S^T$ の 積σ-代数 $\mathcal S^T$ を、$\pi_t^{-1}(B)$（$t\in T$、$B\in\mathcal S$）の全体が生成する σ-代数とする（Kolmogorovの拡張定理 の節「設定」と同じ。$S^J$ の積σ-代数 $\mathcal S^J$ も同様）。
写像の族 $X_t\colon\Omega\to S$（$t\in T$）について、$\Phi(\omega):=(X_t(\omega))_{t\in T}$ で $\Phi\colon\Omega\to S^T$ を定める。すべての $X_t$ が $\mathcal F/\mathcal S$-可測であることと、$\Phi$ が $\mathcal F/\mathcal S^T$-可測であることは同値である。
$\pi_t\circ\Phi=X_t$ なので $\Phi^{-1}(\pi_t^{-1}(B))=X_t^{-1}(B)$ である。$\Phi$ が可測なら、$\pi_t^{-1}(B)\in\mathcal S^T$ から $X_t^{-1}(B)\in\mathcal F$ である。逆にすべての $X_t$ が可測なら、生成系 $\{\pi_t^{-1}(B)\}$ の元の逆像がすべて $\mathcal F$ に属するので、σ-代数 の定理「逆像と生成系」の 3 により $\Phi$ は可測である。$\blacksquare$
したがって確率過程は、「関数の空間 $S^T$ に値をとる 1 つの確率変数」$\Phi$ と同じものである。これが冒頭の 2 つの見方をつなぐ。
確率過程 $X$ について、$(S^T,\mathcal S^T)$ 上の確率測度 $P_X(A):=P(\Phi^{-1}(A))$ を $X$ の 法則（分布）という。空でない有限集合 $J\subset T$ について、$X_J:=(X_t)_{t\in J}\colon\Omega\to S^J$ の分布
$$
\mu_J(A):=P(X_J\in A)\qquad(A\in\mathcal S^J)
$$
を $X$ の 有限次元分布 という。同じ $T$ と $S$ をもつ 2 つの確率過程は、法則が等しいとき 同じ分布に従う という（同じ確率空間の上になくてよい）。
同じ $T$ と $S$ をもつ 2 つの確率過程 $X,Y$ について、法則が等しいことと、すべての空でない有限集合 $J\subset T$ について有限次元分布が等しいことは同値である。
$\mu_J=P_X\circ\pi_J^{-1}$ なので、法則が等しければ有限次元分布も等しい。逆を示す。有限集合 $J$ と $A\in\mathcal S^J$ による集合 $\pi_J^{-1}(A)$ を 筒集合 という。$\pi_J$ は可測なので筒集合は $\mathcal S^T$ に属し、$\pi_t^{-1}(B)$ は筒集合なので、筒集合の全体 $\mathcal C$ は $\mathcal S^T$ を生成する。2 つの筒集合 $\pi_J^{-1}(A)$、$\pi_K^{-1}(A')$ は、$L:=J\cup K$ と射影 $\pi_{LJ}\colon S^L\to S^J$ を使って $\pi_L^{-1}(\pi_{LJ}^{-1}(A))$、$\pi_L^{-1}(\pi_{LK}^{-1}(A'))$ と書けるので、共通部分は $\pi_L^{-1}\bigl(\pi_{LJ}^{-1}(A)\cap\pi_{LK}^{-1}(A')\bigr)$ でまた筒集合である。よって $\mathcal C$ は π 系である。$P_X$ と $P_Y$ は $\mathcal C$ の上で $\mu_J(A)$ の値をとるので一致し、Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」により $\mathcal S^T$ の全体で一致する。$\blacksquare$
有限次元分布 $(\mu_J)$ は、$J\subset K$ のとき $\mu_K\circ\pi_{KJ}^{-1}=\mu_J$ を満たす（$\pi_{KJ}\circ X_K=X_J$ から）。逆に、$S$ が完備な距離で距離づけられる可分な空間（Polish 空間、たとえば $\mathbb R^d$）で、この整合性を満たす確率測度の族 $(\mu_J)$ が与えられれば、$(S^T,\mathcal S^T)$ 上の確率測度 $\mu$ で $\mu\circ\pi_J^{-1}=\mu_J$ となるものがただ 1 つ存在する（Kolmogorovの拡張定理 の系「Polish 空間の場合」。$T=\{1,2,\dots\}$、$S=\mathbb R$ の場合は Dur19 Theorem 2.1.21（p. 53））。確率空間 $(S^T,\mathcal S^T,\mu)$ の上の座標 $X_t:=\pi_t$ は、有限次元分布が $(\mu_J)$ の確率過程である。これを 座標過程（標準的な実現）という。thm-sp-fdd により、どの確率過程も、同じ分布に従う座標過程に取り替えられる。
例
| 過程 | 添字集合 $T$ | 状態空間 $S$ | 特徴 |
|---|---|---|---|
| 独立同分布の列 | $\{1,2,\dots\}$ | $\mathbb R$ | 時刻ごとに互いに独立 |
| ランダムウォーク $S_n=\xi_1+\cdots+\xi_n$ | $\{0,1,2,\dots\}$ | $\mathbb Z^d$ | 独立定常増分 |
| Markov連鎖 | $\{0,1,2,\dots\}$ | 可算集合 | 次の状態の分布が今の状態だけで決まる |
| Poisson過程 | $[0,\infty)$ | $\{0,1,2,\dots\}$ | 独立定常増分、道は右連続な階段関数 |
| Brown運動 | $[0,\infty)$ | $\mathbb R$ | 独立定常増分、Gauss 過程、道は連続 |
| Galton–Watson 過程（確率母関数） | $\{0,1,2,\dots\}$ | $\{0,1,2,\dots\}$ | 世代ごとの個体数 |
$A,B$ を互いに独立に標準正規分布 $N(0,1)$ に従う確率変数とし、$t\in\mathbb R$ について
$$
X_t:=A\cos t+B\sin t
$$
とおく。$R:=\sqrt{A^2+B^2}$ と、$(A,B)=(R\cos\Theta,R\sin\Theta)$ となる角 $\Theta$ をとると $X_t=R\cos(t-\Theta)$ なので、見本路は振幅 $R$、位相 $\Theta$ がランダムな正弦波である。$X_t$ の期待値は $0$ で、$\mathrm{Cov}[A,B]=0$、$V[A]=V[B]=1$ から
$$
\mathrm{Cov}[X_s,X_t]=\cos s\cos t+\sin s\sin t=\cos(t-s)
$$
である。有限個の時刻 $t_1,\dots,t_n$ での値 $(X_{t_1},\dots,X_{t_n})$ は $(A,B)$ の 1 次変換なので、多変量正規分布 の定理「1 次変換で多変量正規分布は保たれる」により多変量正規分布に従う。共分散が $t-s$ だけで決まるので、時刻をずらしても有限次元分布は変わらない（prop-sp-gauss-stationary）。
道の性質と過程の取り替え
有限次元分布が同じでも、道の性質は違いうる。以下この節では $S=\mathbb R^d$ とし、2 つの過程 $X,Y$ は同じ確率空間の上にあり、同じ $T$ をもつとする。このとき $\{X_t=Y_t\}$ は事象である。
- すべての $t\in T$ について $P(X_t=Y_t)=1$ となるとき、$Y$ は $X$ の 修正（modification、version）であるという。
- $P(N)=0$ となる事象 $N$ で、$\omega\notin N$ ならすべての $t\in T$ について $X_t(\omega)=Y_t(\omega)$ となるものがあるとき、$X$ と $Y$ は 区別不能（indistinguishable）であるという。
区別不能なら修正である。修正なら、有限集合 $J$ について $\{X_J\ne Y_J\}=\bigcup_{t\in J}\{X_t\ne Y_t\}$ は確率 $0$ なので、有限次元分布は等しく、thm-sp-fdd により $X$ と $Y$ は同じ分布に従う。区別不能は「確率 $1$ で道がまるごと同じ」ことで、修正よりずっと強い。
$Y$ は $X$ の修正であるとする。
- $T$ が可算集合なら、$X$ と $Y$ は区別不能である。
- $T$ が $\mathbb R$ の区間で、確率 $1$ で $X$ と $Y$ の見本路がともに右連続なら、$X$ と $Y$ は区別不能である。
1：$N:=\bigcup_{t\in T}\{X_t\ne Y_t\}$ は確率 $0$ の事象の可算個の和なので $P(N)=0$ であり、$\omega\notin N$ ならすべての $t$ で $X_t(\omega)=Y_t(\omega)$ である。
2：見本路が右連続でない $\omega$ の集合を含む確率 $0$ の事象を $N_0$ とする。$T$ が右端 $b$ を含むときは $D:=(T\cap\mathbb Q)\cup\{b\}$、含まないときは $D:=T\cap\mathbb Q$ とおくと、$D$ は可算で、1 と同じく $N_1:=\bigcup_{q\in D}\{X_q\ne Y_q\}$ は確率 $0$ である。$\omega\notin N_0\cup N_1$ と $t\in T$ をとる。$t\in D$ なら $X_t(\omega)=Y_t(\omega)$ である。$t\notin D$ なら $t$ は $T$ の右端でないので、$t$ に右から近づく有理数の列 $q_n\in T$ がとれ、右連続性から
$$
X_t(\omega)=\lim_nX_{q_n}(\omega)=\lim_nY_{q_n}(\omega)=Y_t(\omega)
$$
である。よって $N_0\cup N_1$ の外ですべての $t$ について一致する。$\blacksquare$
$\Omega:=[0,1]$ に Lebesgue 測度による確率を与え、$U(\omega):=\omega$ とする。$T:=[0,1]$ とし、
$$
X_t(\omega):=0,\qquad Y_t(\omega):=\begin{cases}1&(t=U(\omega))\\0&(t\ne U(\omega))\end{cases}
$$
とおく。各 $t$ について $\{X_t\ne Y_t\}=\{U=t\}$ は 1 点で確率 $0$ なので、$Y$ は $X$ の修正であり、有限次元分布は等しい。しかしすべての $\omega$ で $Y_{U(\omega)}(\omega)=1\ne0=X_{U(\omega)}(\omega)$ なので、区別不能でない。$X$ の見本路はすべて連続だが、$Y$ の見本路はどれも $t=U(\omega)$ で不連続で、$\sup_tY_t=1\ne0=\sup_tX_t$ である。
この例から、「見本路が連続である確率」「$\sup_tX_t$ の分布」は有限次元分布だけでは決まらない。実際、$T=[0,1]$、$S=\mathbb R$ なら、連続な関数の全体は積σ-代数 $\mathcal S^T$ に属さない（Kolmogorovの拡張定理 の例「連続な道の集合は積σ-代数に属さない」）。そこで連続時間の過程では、有限次元分布を与えたうえで、道が連続（あるいは右連続）な修正を選ぶ。Brown運動 は、Gauss 過程としての有限次元分布に加えて道の連続性を課した過程であり、その存在は別の構成で示される（同記事の定理「Brown 運動の存在」。Dur19 §7.1（pp. 355–356）は、まず有限次元分布から $\mathcal S^T$ 上の測度を作り、連続な道の集合がその上で可測でないことを確かめてから、2 進有理数の時刻での一様連続性を使う方法をとっている）。thm-sp-right-continuous により、右連続な修正は存在すれば区別不能を除いてただ 1 つである。
フィルトレーション
$T\subset\mathbb R$ とする。$\mathcal F$ の部分 σ-代数の族 $(\mathcal F_t)_{t\in T}$ で、$s\le t$ なら $\mathcal F_s\subset\mathcal F_t$ となるものを フィルトレーション という。確率過程 $X$ が $(\mathcal F_t)$ に 適合している とは、各 $X_t$ が $\mathcal F_t/\mathcal S$-可測であることをいう。$\mathcal F^X_t:=\sigma(X_s\mid s\in T,\ s\le t)$ を $X$ の 自然なフィルトレーション という。
$\mathcal F_t$ は「時刻 $t$ までに分かる情報」を表し、$X$ は自然なフィルトレーションに適合している（それに適合させる最小のフィルトレーションである）。離散時間の場合は マルチンゲール の定義「フィルトレーションと適合過程」と同じものであり、マルチンゲール や停止時刻はフィルトレーションを使って定義される。
基本的な種類
以下 $T$ は $\{0,1,2,\dots\}$、$\mathbb Z$、$[0,\infty)$、$\mathbb R$ のどれかとし、$S=\mathbb R^d$ とする。
- $T$ の任意の $t_0< t_1< \cdots< t_n$ について、増分 $X_{t_1}-X_{t_0},\dots,X_{t_n}-X_{t_{n-1}}$ が互いに独立なとき、$X$ は 独立増分 をもつという。
- $s\le t$ と $h\ge0$（$s,t,h\in T$）について $X_{t+h}-X_{s+h}$ と $X_t-X_s$ が同じ分布に従うとき、定常増分 をもつという。
- すべての $h\ge0$（$h\in T$）と空でない有限集合 $J\subset T$ について、$(X_{t+h})_{t\in J}$ と $(X_t)_{t\in J}$ が同じ分布に従うとき、$X$ は（強い意味で）定常 であるという。
- $d=1$ で、すべての有限次元分布が 多変量正規分布 であるとき、$X$ を Gauss 過程 という。
ランダムウォーク、Poisson過程、Brown運動 は独立定常増分をもつ。独立同分布の列は定常である。Markov連鎖 は、初期分布が定常分布なら定常である。
$T\subset[0,\infty)$、$0\in T$ とし、実数値の過程 $X$ が $X_0=0$、独立増分をもち、すべての $t$ で $E[X_t^2]< \infty$ とする。
- $s\le t$ なら $\mathrm{Cov}[X_s,X_t]=V[X_s]$、$V[X_t]=V[X_s]+V[X_t-X_s]$ である。
- $T$ が $\{0,1,2,\dots\}$ または $[0,\infty)$ で、$X$ が定常増分ももつなら、$\sigma^2:=V[X_1]$ について $V[X_t]=\sigma^2t$、$\mathrm{Cov}[X_s,X_t]=\sigma^2\min\{s,t\}$ である。
1：$U:=X_s=X_s-X_0$ と $V:=X_t-X_s$ は独立増分の定義（$0\le s\le t$）により独立である。$U^\pm:=\max\{\pm U,0\}$、$V^\pm$ も独立で、積率母関数 の補題「独立な確率変数の関数の積の期待値」により $E[U^\pm V^\pm]=E[U^\pm]E[V^\pm]< \infty$ である（複号は任意の組）。$UV=(U^+-U^-)(V^+-V^-)$ を展開して $E[UV]=E[U]E[V]$、すなわち $\mathrm{Cov}[U,V]=0$ を得る。共分散の双線形性から $\mathrm{Cov}[X_s,X_t]=\mathrm{Cov}[U,U+V]=V[U]$、$V[X_t]=V[U+V]=V[U]+V[V]$ である。
2：$f(t):=V[X_t]$ とおく。定常増分から $X_{s+h}-X_s$ は $X_h-X_0=X_h$ と同じ分布に従うので、1 により $f(s+h)=f(s)+f(h)$ であり、$f\ge0$ から $f$ は単調非減少である。$T=\{0,1,2,\dots\}$ なら帰納法で $f(n)=nf(1)$ である。$T=[0,\infty)$ なら、正の整数 $m,n$ について $nf(m/n)=f(m)=mf(1)$ から 0 以上の有理数 $q$ で $f(q)=qf(1)$ であり、実数 $t$ をはさむ有理数 $q< t< q'$ について $qf(1)\le f(t)\le q'f(1)$ なので $f(t)=tf(1)$ である。共分散は 1 から従う。$\blacksquare$
公平な $\pm1$ の ランダムウォーク では $\mathrm{Cov}[S_m,S_n]=\min\{m,n\}$、強度 $\lambda$ の Poisson過程 では $\lambda\min\{s,t\}$、標準 Brown運動 では $\min\{s,t\}$ である。
Gauss 過程 $X$ が定常であるための必要十分条件は、$E[X_t]$ が $t$ によらず、すべての $s,t\in T$ と $h\ge0$（$h\in T$）について $\mathrm{Cov}[X_{s+h},X_{t+h}]=\mathrm{Cov}[X_s,X_t]$ となることである。
必要性：定常なら $X_{t+h}$ と $X_t$、$(X_{s+h},X_{t+h})$ と $(X_s,X_t)$ はそれぞれ同じ分布に従い、正規分布は 2 次の積率が有限なので、期待値と共分散が等しい。十分性：有限集合 $J$ について、$(X_{t+h})_{t\in J}$ と $(X_t)_{t\in J}$ はどちらも多変量正規分布に従い、仮定から平均ベクトルと共分散行列が等しい。多変量正規分布 の定理「多変量正規分布の特性関数と存在」の 1 により、多変量正規分布は平均と共分散行列で決まるので、2 つは同じ分布に従う。$\blacksquare$
ex-sp-sinusoid はこの命題により定常である。一般の過程で「期待値が一定で共分散が時刻の差だけで決まる」ことを 弱定常 というが、弱定常でも定常とは限らない（反例の表の 4 行目）。
条件を外したときの反例
| 外す条件・誤った推論 | 反例 | 成り立たなくなること |
|---|---|---|
| thm-sp-right-continuous の道の右連続性 | ex-sp-modification | 修正だが区別不能でない |
| thm-sp-fdd の、すべての有限集合での一致 | $T=\{1,2\}$、$X_1=X_2=Z$ と、独立な $Y_1,Y_2$（どれも $N(0,1)$） | 1 次元の分布は等しいが、法則は異なる |
| prop-sp-indep-incr-cov の独立増分 | $X_t:=tZ$（$Z\sim N(0,1)$） | $\mathrm{Cov}[X_s,X_t]=st\ne s^2=V[X_s]$（$0< s< t$） |
| prop-sp-gauss-stationary の Gauss 性 | 互いに独立で、偶数の時刻は $N(0,1)$、奇数の時刻は $\pm1$ を確率 $\frac12$ ずつとる列 | 弱定常だが定常でない |
2〜4 行目の確かめを開く
2 行目：$X_1,X_2,Y_1,Y_2$ はどれも $N(0,1)$ に従う。$P(X_1=X_2)=1$ だが、$Y_1-Y_2$ は分散 $2$ の正規分布に従うので $P(Y_1=Y_2)=0$ であり、$J=\{1,2\}$ での有限次元分布が異なる。外したのは「すべての有限集合 $J$」のうち 2 点の集合での一致だけである。
3 行目：$X_0=0$ で、$\mathrm{Cov}[X_s,X_t]=st\,V[Z]=st$ である。増分 $X_t-X_s=(t-s)Z$ は $X_s=sZ$ と独立でない（$0< s< t$ なら $\mathrm{Cov}[X_s,X_t-X_s]=s(t-s)\ne0$）。2 次の積率は有限なので、外したのは独立増分だけである。
4 行目：$T=\{0,1,2,\dots\}$ とする。どの時刻でも期待値は $0$、分散は $1$ で、異なる時刻は独立なので共分散は $0$ である。よって期待値は一定、共分散は時刻の差だけで決まる。しかし $X_0\sim N(0,1)$ と $X_1$（$\pm1$ をとる）は分布が違うので、$h=1$ だけずらすと 1 次元の分布が変わり、定常でない。Gauss 過程でない（$X_1$ が正規分布でない）ことだけが prop-sp-gauss-stationary の仮定を破っている。
補足
添字集合と状態空間の広がり。 添字集合が $\mathbb R^d$ の部分集合のときは 確率場 と呼ばれ、空間的に広がる偶然の量（地形、温度の分布）を表す。状態空間として関数の空間や測度の空間をとることもあり、点の配置そのものを確率変数とみる点過程（Poisson 過程はその例）もこの枠組みに入る。
道の連続な修正。 $T=[0,1]$ の実数値の過程で、正の定数 $\alpha,\beta,K$ について $E[\lvert X_t-X_s\rvert^\beta]\le K\lvert t-s\rvert^{1+\alpha}$ が成り立てば、確率 $1$ で道は 2 進有理数の時刻の上で一様連続になり、そこから連続な修正が作れる（Kolmogorov の連続性定理。Dur19 Theorem 7.1.3（p. 357）。この記事では証明しない）。この条件は有限次元分布だけで確かめられる十分条件である。Brown運動 の道の性質（2 次変分、至る所微分不可能）や、確率微分方程式 と 伊藤の公式 による確率解析は、連続な修正を選んだうえでの理論である。
関連項目
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
