Kolmogorovの前向き・後ろ向き方程式(Kolmogorov forward and backward equations)とは、連続時間の Markov 過程の推移確率 $P(t)$ が生成作用素 $Q$ について満たす微分方程式 $P'(t)=QP(t)$(後ろ向き)と $P'(t)=P(t)Q$(前向き)である。有限な状態空間では、$t\to0$ で $P(t)\to I$ となる推移行列の半群は微分可能で両方を満たし、$P(t)=e^{tQ}$ となる。後ろ向き方程式は出発点について期待値を、前向き方程式は行き先について分布を決め、拡散過程の前向き方程式は Fokker–Planck 方程式である。
Kolmogorov の前向き・後ろ向き方程式(Kolmogorov forward and backward equations)は、連続時間の Markov 過程の推移確率を時間で微分したときに成り立つ 2 つの方程式である。推移確率 $P(t)$ は半群 $P(s+t)=P(s)P(t)$ をなすので、微小時間の変化を表す作用素 $Q$(生成作用素)を左から掛けても右から掛けても微分が得られる。
$$
P'(t)=QP(t)\quad(\text{後ろ向き}),\qquad P'(t)=P(t)Q\quad(\text{前向き}).
$$
後ろ向き方程式は出発点の変数についての方程式で、終わりの時刻の関数の期待値を求める。前向き方程式は行き先の変数についての方程式で、分布の時間発展を与える。
この記事の内容は次のとおりである。
この節では $S$ を有限集合とし、$S\times S$ の行列を $(p_{ij})$ と書く。
$S\times S$ 行列の族 $(P(t))_{t\ge0}$ が次を満たすとき、標準的な推移行列の族 という。
(1) 各 $P(t)$ は 推移確率行列 である(成分は $0$ 以上で、各行の和は $1$)。
(2) $P(0)=I$ で、$s,t\ge0$ について $P(s+t)=P(s)P(t)$(Chapman–Kolmogorov の等式)。
(3) $t\downarrow0$ で $P(t)\to I$。
$S\times S$ 行列 $Q=(q_{ij})$ が、$i\ne j$ について $q_{ij}\ge0$ で、各行の和が $0$ のとき、$Q$ を $Q$ 行列(推移率行列)という。$q_i:=-q_{ii}\ge0$ と書く。
連続時間の過程 $(X_t)_{t\ge0}$ が、$s< t$ と状態 $i,j$、時刻 $s$ までの値について $P(X_t=j\mid X_s=i,\ X_r=i_r\ (r\in R))=p_{ij}(t-s)$($R\subset[0,s)$ は有限集合、条件の確率は正とする)を満たすとき、$(X_t)$ を推移行列の族 $P(t)$ の 連続時間 Markov 連鎖 という。このとき (2) は、時刻 $s$ で状態を場合分けする全確率の公式である。これは離散時間の Markov連鎖 の定理「Chapman–Kolmogorov の等式」の連続時間の形である。
$(P(t))$ を有限集合 $S$ の上の標準的な推移行列の族とする。
(1) $t\mapsto P(t)$ は $[0,\infty)$ で連続微分可能($t=0$ では右微分)で、$Q:=P'(0)$ は $Q$ 行列である。
(2) すべての $t\ge0$ で、後ろ向き方程式 $P'(t)=QP(t)$ と前向き方程式 $P'(t)=P(t)Q$ が成り立つ。
(3) $P(t)=e^{tQ}$ である。
逆に、任意の $Q$ 行列 $Q$ について $(e^{tQ})_{t\ge0}$ は標準的な推移行列の族で、$\frac{d}{dt}e^{tQ}\big|_{t=0}=Q$ である。
行列のノルムは行の絶対値和の最大 $\|A\|:=\max_i\sum_j\lvert a_{ij}\rvert$ とする。推移確率行列 $P$ について $\|P\|=1$ で、$\|AB\|\le\|A\|\,\|B\|$ である。
段 1(一様連続性):$t\ge0$、$h>0$ について、(2) から $P(t+h)-P(t)=P(t)(P(h)-I)$ なので $\|P(t+h)-P(t)\|\le\|P(h)-I\|$ である。$t\ge h$ なら $P(t)-P(t-h)=P(t-h)(P(h)-I)$ も同じである。(3) より右辺は $h\to0$ で $0$ に近づくので、$P$ は $[0,\infty)$ で一様連続である。
段 2(微分可能性):$A_h:=\frac1h\int_0^hP(s)\,ds$ とおく(成分ごとの積分)。段 1 から $h\downarrow0$ で $A_h\to I$ なので、ある $h>0$ で $\|A_h-I\|< 1$ となり、$A_h$ は可逆である。この $h$ を固定する。(2) から
$$
P(t)A_h=\frac1h\int_0^hP(t+s)\,ds=\frac1h\int_t^{t+h}P(s)\,ds
$$
である。右辺は連続関数の積分なので $t$ について連続微分可能で、導関数は $\frac1h(P(t+h)-P(t))$ である。よって $P(t)=\bigl(\frac1h\int_t^{t+h}P(s)\,ds\bigr)A_h^{-1}$ は連続微分可能である。
段 3(方程式):$Q:=P'(0)$ とする。$t\ge0$、$s\downarrow0$ について
$$
\frac{P(t+s)-P(t)}{s}=P(t)\,\frac{P(s)-I}{s}=\frac{P(s)-I}{s}\,P(t)
$$
で、中辺と右辺はそれぞれ $P(t)Q$、$QP(t)$ に近づく。左辺は $P'(t)$ に近づくので (2) を得る。
段 4($Q$ 行列であること):$i\ne j$ なら $q_{ij}=\lim_{s\downarrow0}p_{ij}(s)/s\ge0$ である。行の和は $\sum_jq_{ij}=\lim_{s\downarrow0}\frac1s(\sum_jp_{ij}(s)-1)=0$ である。
段 5(指数関数):$R(t):=e^{-tQ}P(t)$ は 行列の指数関数 の定理「指数関数の微分と $x'=Ax$ の解」により微分可能で、$R'(t)=e^{-tQ}(-QP(t)+P'(t))=0$ である。$R(0)=I$ なので $P(t)=e^{tQ}$ である。
逆:$P(t):=e^{tQ}$ は $P(0)=I$、$P(s+t)=P(s)P(t)$ を満たし($sQ$ と $tQ$ は可換)、$t\to0$ で $I$ に近づく。$\mathbf 1$ をすべての成分が $1$ のベクトルとすると $Q\mathbf 1=0$ なので $e^{tQ}\mathbf 1=\mathbf 1$ で、各行の和は $1$ である。$c:=\max_iq_i$ とすると $Q+cI$ の成分はすべて $0$ 以上で、$e^{tQ}=e^{-ct}e^{t(Q+cI)}$ の右辺の級数の各項の成分は $0$ 以上である。$\square$
段 2 で連続性から微分可能性を得たのは、半群の性質による。半群の法則がなければ、連続な行列値関数が微分可能である理由はない。
$f\colon S\to\mathbb{R}$ を列ベクトル、分布 $\mu$ を行ベクトルと見る。$X_0$ の分布が $\mu$ なら、$X_t$ の分布は行ベクトル $\mu P(t)$ で、$X_0=i$ から出たときの期待値は $u_i(t):=E_i[f(X_t)]=(P(t)f)_i$ である。thm-ke-finite から
$$
u'(t)=Qu(t),\qquad\frac{d}{dt}\bigl(\mu P(t)\bigr)=\bigl(\mu P(t)\bigr)Q
$$
である。成分で書くと、$p_j(t):=(\mu P(t))_j$ について
$$
p_j'(t)=\sum_{i\ne j}p_i(t)\,q_{ij}-p_j(t)\,q_j
$$
である。右辺は「$j$ へ流れ込む率」から「$j$ から出ていく率」を引いたもので、前向き方程式は確率の収支の式である。後ろ向き方程式 $u_i'=\sum_{j\ne i}q_{ij}(u_j-u_i)$ は、最初の短い時間に $i$ からどこへ跳ぶかで場合分けした式である。
| 後ろ向き方程式 | 前向き方程式 | |
|---|---|---|
| 行列の式 | $P'(t)=QP(t)$ | $P'(t)=P(t)Q$ |
| 微分する変数 | 出発点 $i$($p_{ij}$ の左の添字) | 行き先 $j$(右の添字) |
| 未知の量 | 期待値 $E_i[f(X_t)]$ | 分布 $P(X_t=j)$ |
| 与える値 | 関数 $f$ | 初期の分布 $\mu$ |
定義から $p_{ij}(h)=\delta_{ij}+q_{ij}h+o(h)$($h\downarrow0$)なので、$q_{ij}$($i\ne j$)は $i$ から $j$ へ跳ぶ単位時間あたりの率、$q_i$ は $i$ を離れる率である。定常分布 $\pi$($\pi P(t)=\pi$)は、前向き方程式から $\pi Q=0$ と同値である。実際、$\pi P(t)=\pi$ を $t=0$ で微分すれば $\pi Q=0$ で、逆に $\pi Q=0$ なら $\pi e^{tQ}=\pi$ である。
$S=\{1,2\}$、$a,b>0$ とし、$Q=\begin{pmatrix}-a&a\\b&-b\end{pmatrix}$ とする。$Q^2=-(a+b)Q$ なので、$k\ge1$ で $Q^k=(-(a+b))^{k-1}Q$ で
$$
e^{tQ}=I+\frac{1-e^{-(a+b)t}}{a+b}\,Q=\frac1{a+b}\begin{pmatrix}b+ae^{-(a+b)t}&a-ae^{-(a+b)t}\\b-be^{-(a+b)t}&a+be^{-(a+b)t}\end{pmatrix}
$$
である。$t\to\infty$ で各行は $\pi=\bigl(\frac b{a+b},\frac a{a+b}\bigr)$ に近づき、$\pi Q=0$ である。前向き方程式の $(1,1)$ 成分は $p_{11}'=-ap_{11}+bp_{12}$ で、右辺は $\frac1{a+b}\bigl(-ab-a^2e^{-(a+b)t}+ab-abe^{-(a+b)t}\bigr)=-ae^{-(a+b)t}$ となり、左辺に等しい。
$S$ が可算無限集合のときも、def-ke-transition の (1)(2) と $Q$ 行列の定義はそのまま意味をもつ。跳びの率が有界、すなわち $c:=\sup_iq_i< \infty$ なら、$Q$ は有界な列の空間 $\ell^\infty(S)$ の上の有界作用素で、作用素ノルムは $2c$ 以下である。$e^{tQ}=\sum_kt^kQ^k/k!$ は作用素ノルムで収束し、thm-ke-finite の「逆」の証明は行列を $\ell^\infty(S)$ の有界作用素に替えてそのまま通る。よって $e^{tQ}$ は推移行列の族で、両方の方程式を満たす。
$\lambda>0$、$S=\{0,1,2,\dots\}$ とし、$q_{i,i+1}=\lambda$、$q_{ii}=-\lambda$、ほかは $0$ とする。強度 $\lambda$ の Poisson過程 $N_t$ を $i$ から始めると、$j\ge i$ について
$$
p_{ij}(t)=e^{-\lambda t}\frac{(\lambda t)^{j-i}}{(j-i)!}
$$
で、$j< i$ なら $0$ である。$g_k(t):=e^{-\lambda t}(\lambda t)^k/k!$($g_{-1}:=0$)とおくと $g_k'=-\lambda g_k+\lambda g_{k-1}$ である。$p_{i+1,j}=g_{j-i-1}=p_{i,j-1}$ なので、この 1 つの式が、後ろ向き方程式 $p_{ij}'=-\lambda p_{ij}+\lambda p_{i+1,j}$ と前向き方程式 $p_{ij}'=-\lambda p_{ij}+\lambda p_{i,j-1}$ の両方である。
跳びの率が有界でないと事情が変わる。率 $\lambda_n$ で $n$ から $n+1$ へ進む 純出生過程 を考える。$S_0,S_1,\dots$ を独立で、$S_n$ は母数 $\lambda_n>0$ の 指数分布 に従うとし、$T_0:=0$、$T_k:=S_0+\dots+S_{k-1}$、$\zeta:=\lim_kT_k$ とする。$T_k\le t< T_{k+1}$ のとき $X_t:=k$ と定める。$X_t$ は $t< \zeta$ でだけ定まり、$\zeta$ を 爆発時刻 という。
$\sum_n1/\lambda_n< \infty$ なら確率 $1$ で $\zeta< \infty$ であり、$\sum_n1/\lambda_n=\infty$ なら確率 $1$ で $\zeta=\infty$ である。
$E[S_n]=1/\lambda_n$ なので、単調収束定理から $E[\zeta]=\sum_n1/\lambda_n$ である。これが有限なら $\zeta< \infty$ は確率 $1$ で成り立つ。
$\sum_n1/\lambda_n=\infty$ とする。$E[e^{-S_n}]=\int_0^\infty\lambda_ne^{-(\lambda_n+1)s}\,ds=\frac{\lambda_n}{1+\lambda_n}$ である。$e^{-T_k}$ は $k$ について単調に減って $e^{-\zeta}$ に近づき、$0$ と $1$ の間にあるので、優収束定理と独立性から
$$
E[e^{-\zeta}]=\lim_kE[e^{-T_k}]=\prod_{n=0}^\infty\frac1{1+1/\lambda_n}
$$
である。$x\ge0$ で $\log(1+x)\ge\frac x{1+x}$ である。$1/\lambda_n\ge1$ となる $n$ が無限にあれば積の因子は無限回 $\frac12$ 以下で、積は $0$ である。そうでなければ、有限個を除いて $\log(1+1/\lambda_n)\ge\frac1{2\lambda_n}$ なので $\sum_n\log(1+1/\lambda_n)=\infty$ で、やはり積は $0$ である。$e^{-\zeta}\ge0$ の期待値が $0$ なので、確率 $1$ で $e^{-\zeta}=0$、つまり $\zeta=\infty$ である。$\square$
純出生過程の $Q$ 行列は $q_{n,n+1}=\lambda_n$、$q_{nn}=-\lambda_n$ である。$0$ から出たときの確率 $p_k(t):=P(X_t=k,\ t< \zeta)=P(T_k\le t< T_{k+1})$ は前向き方程式を満たすが、爆発するときは和が $1$ に届かない。
$\lambda_n=2^n$ なら $\sum1/\lambda_n=2$ で、前向き方程式のただ 1 つの解 $(p_k)$ は $t>0$ で和が $1$ より小さい。形式的に前向き方程式を足し合わせると $\frac{d}{dt}\sum_kp_k=0$ に見えるが、有限和では $\frac{d}{dt}\sum_{k\le K}p_k=-\lambda_Kp_K$ であり、この項は $K\to\infty$ で $0$ に近づくとは限らない。確率は有限の時間に無限の彼方へ逃げる。跳びの率が有界な場合は $\sum_n1/\lambda_n=\infty$ なので、この現象は起きない。
$\mathbb{R}^n$ の確率微分方程式 $dX_t=b(X_t)\,dt+\sigma(X_t)\,dB_t$ を考える。$b\colon\mathbb{R}^n\to\mathbb{R}^n$、$\sigma\colon\mathbb{R}^n\to\mathbb{R}^{n\times d}$ は Lipschitz 連続とし、$X_0=x$ の解を $X^x_t$ と書く(確率微分方程式)。$a:=\sigma\sigma^{\mathsf T}$ として、生成作用素を
$$
L\varphi:=\sum_ib_i\,\partial_i\varphi+\frac12\sum_{i,j}a_{ij}\,\partial_i\partial_j\varphi
$$
とし、有界な可測関数 $f$ について $P_tf(x):=E[f(X^x_t)]$ とおく。有限の状態空間の $Q$ にあたるのが $L$ である。
$f\in C_c^2(\mathbb{R}^n)$ なら、各 $x$ について $t\mapsto P_tf(x)$ は $[0,\infty)$ で連続微分可能で
$$
P_tf(x)-f(x)=\int_0^tP_s(Lf)(x)\,ds,\qquad\frac{d}{dt}P_tf(x)=P_t(Lf)(x)
$$
である。
伊藤の公式 により
$$
f(X^x_t)-f(x)-\int_0^tLf(X^x_s)\,ds=\int_0^t\nabla f(X^x_s)^{\mathsf T}\sigma(X^x_s)\,dB_s
$$
である。$\nabla f^{\mathsf T}\sigma$ は連続で台がコンパクトなので有界で、右辺の期待値は $0$ である。$Lf$ も有界なので Fubini の定理が使え、第 1 式を得る。$s\mapsto Lf(X^x_s)$ は確率 $1$ で連続で有界なので、優収束定理から $s\mapsto P_s(Lf)(x)$ は連続である。微積分の基本定理から第 2 式を得る。$\square$
$P_t(Lf)$ では $L$ が「後から」掛かっているので、これは $P'(t)=P(t)Q$ にあたる。$X^x_t$ が密度 $p(t,x,y)$ をもてば $P_t(Lf)(x)=\int p(t,x,y)\,Lf(y)\,dy$ で、部分積分して $L$ を $p$ の $y$ の側へ移すと、前向き方程式
$$
\partial_tp(t,x,y)=L_y^*p(t,x,y),\qquad L^*p:=-\sum_i\partial_i(b_ip)+\frac12\sum_{i,j}\partial_i\partial_j(a_{ij}p)
$$
になる。これが Fokker–Planck方程式 で、その記事の定理「分布は Fokker–Planck 方程式の解である」と命題「密度の方程式」が、正確な条件のもとでこの導出を行っている。
後ろ向き方程式は $\partial_tu=Lu$、$u(0,\cdot)=f$ で、$x$ についての方程式である。$f$ が連続で、解 $u$ が $[0,T]\times\mathbb{R}^n$ で連続、$(0,T]\times\mathbb{R}^n$ で $C^{1,2}$ 級、$\lvert u(t,x)\rvert\le C(1+\lvert x\rvert^2)$ を満たすなら $u(t,x)=P_tf(x)$ である。これは Feynman–Kacの公式 の定理「Feynman–Kac の公式」で $V=0$ とした場合で、その証明は時刻を逆にたどる過程 $s\mapsto u(t-s,X^x_s)$ がマルチンゲールであることによる。密度で書けば $\partial_tp(t,x,y)=L_xp(t,x,y)$ である。
Brown 運動($b=0$、$\sigma=I$)では $p(t,x,y)=(2\pi t)^{-n/2}e^{-\lvert x-y\rvert^2/2t}$ で、$p$ は $x-y$ の関数なので $\frac12\Delta_xp=\frac12\Delta_yp$ となり、前向きと後ろ向きの方程式はどちらも熱方程式 $\partial_tp=\frac12\Delta p$ である(熱方程式)。
$\theta,\nu>0$ とし、$n=1$、$dX_t=-\theta X_t\,dt+\sqrt{2\nu}\,dB_t$(Ornstein–Uhlenbeck過程)を考える。$X^x_t$ は平均 $m=xe^{-\theta t}$、分散 $s=\frac\nu\theta(1-e^{-2\theta t})$ の正規分布に従い、その密度を $g(y;m,s)$ とすると $p(t,x,y)=g(y;m,s)$ である。$\partial_mg=-\partial_yg$、$\partial_sg=\frac12\partial_y^2g$、$\partial_xm=e^{-\theta t}$ から
$$
\partial_tp=\theta m\,\partial_yg+\nu e^{-2\theta t}\partial_y^2g,\qquad-\theta x\,\partial_xp+\nu\,\partial_x^2p=\theta xe^{-\theta t}\partial_yg+\nu e^{-2\theta t}\partial_y^2g
$$
で、両辺は等しい。これが後ろ向き方程式 $\partial_tp=L_xp$ である。前向き方程式 $\partial_tp=\partial_y(\theta yp)+\nu\partial_y^2p$ は Fokker–Planck方程式 の例「Ornstein–Uhlenbeck 過程の分布」で確かめてある。後ろ向きの式では係数 $-\theta x$ が $x$ の微分の外に、前向きの式では $\theta y$ が微分の内にある。
2 つの設定は次の形にまとまる。Banach 空間 $X$ の上の強連続な縮小半群 $(P_t)$ と、その生成作用素 $A$(強連続半群 の定義「生成作用素」)について、$f\in D(A)$ なら $P_tf\in D(A)$ で
$$
\frac{d}{dt}P_tf=AP_tf=P_tAf
$$
である(Hille–吉田の定理 の命題「生成作用素の基本性質」、Sch16 Lemma 5.4)。左の等号が後ろ向き方程式、右の等号が前向き方程式である。有限の状態空間では $A=Q$ で、定義域の問題はない。拡散過程や可算な状態空間では、$D(A)$ にどの関数が入るかが問題の中心になる。
時間に依存する率 $Q(t)$ の場合は、時刻 $s$ から $t$ への推移行列 $P(s,t)$ が Chapman–Kolmogorov の等式 $P(r,t)=P(r,s)P(s,t)$ を満たし、両方の変数について微分可能で $\partial_tP(s,t)\big|_{t=s}=Q(s)$ なら、prf-ke-finite の段 3 と同じ計算で
$$
\partial_sP(s,t)=-Q(s)P(s,t),\qquad\partial_tP(s,t)=P(s,t)Q(t)
$$
となる。前の時刻 $s$ で微分するのが後ろ向き、後の時刻 $t$ で微分するのが前向きで、名前はここから来ている。
| 主張 | 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|---|
| thm-ke-finite の (1) | def-ke-transition の (3) | $S=\{1,2\}$、$P(0)=I$、$t>0$ で $P(t)=\frac12\begin{pmatrix}1&1\\1&1\end{pmatrix}$ | $t=0$ で連続でなく、微分もできない |
| thm-ke-finite の (3) | 率が時間によらないこと | $Q(t)=Q_1$($0\le t< 1$)、$Q_2$($1\le t< 2$) | $P(0,2)=e^{Q_1}e^{Q_2}\ne e^{Q_1+Q_2}$ |
| 確率の和の保存 | 跳びの率の有界性 | 純出生過程、$\lambda_n=2^n$ | 前向き方程式の解の和が $1$ より小さい |
| prop-ke-diffusion の第 1 式 | $f\in C^2$ | $n=1$、Brown 運動、$f(x)=\max(1-\lvert x\rvert,0)$、$x=0$ | 左辺は $t>0$ で負、右辺は($f''$ をほとんど至るところの 2 階導関数と読むと)$0$ |
連続性:$J:=\frac12\begin{pmatrix}1&1\\1&1\end{pmatrix}$ は $J^2=J$ を満たす推移確率行列なので、(1)(2) は成り立つ。$t\downarrow0$ で $P(t)=J\not\to I$ である。もし $t=0$ で右微分可能なら連続になるので、微分はできない。
時間による率:$Q_1=\begin{pmatrix}-1&1\\0&0\end{pmatrix}$、$Q_2=\begin{pmatrix}0&0\\1&-1\end{pmatrix}$ とする。Chapman–Kolmogorov の等式から $P(0,2)=P(0,1)P(1,2)=e^{Q_1}e^{Q_2}$ で、$(1,1)$ 成分は $e^{-1}+(1-e^{-1})^2=1-e^{-1}+e^{-2}$ である。$Q_1+Q_2$ は ex-ke-two で $a=b=1$ の行列なので、$e^{Q_1+Q_2}$ の $(1,1)$ 成分は $\frac12(1+e^{-2})$ である。差は $\frac12(1-e^{-1})^2>0$ である。
$C^2$ 級:$f$ は台がコンパクトで連続だが、$x=0,\pm1$ で微分できない。$t>0$ では確率 $1$ で $B_t\ne0$ なので $f(B_t)< 1$ で、左辺 $E[f(B_t)]-f(0)$ は負である。右辺の $Lf=\frac12f''$ をほとんど至るところの 2 階導関数と読むと、$f''$ は $x\ne0,\pm1$ で $0$ である。$B_s$ が $0,\pm1$ にいる時刻の全体は確率 $1$ で Lebesgue 測度 $0$ なので、右辺は $0$ である。
thm-ke-finite、thm-ke-explosion、prop-ke-birth、prop-ke-diffusion の証明はここに書いた。強連続半群の方程式 $\frac{d}{dt}P_tf=AP_tf=P_tAf$ は Sch16 Lemma 5.4(p. 31)にあり、そこでは Feller 半群について述べられている。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する