確率漸化式と定常分布

同義語：定常分布stationary distribution

概要

前提知識: 漸化式, 等比数列, 行列の演算（高校数学）, 固有値, 条件付き確率

高校での出発点：確率漸化式

ある町の天気は晴れか雨のどちらかで、翌日の天気は今日の天気だけで決まるとする。晴れの翌日が雨になる確率は $\frac13$、雨の翌日が晴れになる確率は $\frac12$ である。1 日目が晴れのとき、$n$ 日目が晴れである確率 $p_n$ を求める。
$n+1$ 日目が晴れになるのは、「$n$ 日目が晴れで翌日も晴れ」か「$n$ 日目が雨で翌日が晴れ」のどちらかなので
$$ p_{n+1}=\frac23p_n+\frac12(1-p_n)=\frac16p_n+\frac12 $$
である。高校では、$\alpha=\frac16\alpha+\frac12$ を満たす数 $\alpha=\frac35$ を両辺から引いて
$$ p_{n+1}-\frac35=\frac16\Bigl(p_n-\frac35\Bigr) $$
と変形し、$p_n-\frac35$ が公比 $\frac16$ の等比数列であることから、$p_1=1$ を使って
$$ p_n=\frac35+\frac25\Bigl(\frac16\Bigr)^{n-1} $$
を得る。$p_1,p_2,p_3,p_4=1,\frac23,\frac{11}{18},\frac{65}{108}$ であり、$p_n$ は急速に $\frac35$ に近づく。
この計算には、答え以外にも読み取るべきことが 2 つある。

極限 $\frac35$ は最初の天気によらない。 1 日目が雨（$p_1=0$）でも $p_n=\frac35-\frac35\left(\frac16\right)^{n-1}\to\frac35$ である。しかも「晴れの確率が $\frac35$」という状態は、翌日も晴れの確率が $\frac23\cdot\frac35+\frac12\cdot\frac25=\frac35$ で、変わらない。
近づく速さは公比 $\frac16$ で決まる。 この $\frac16$ はどこから来たのか。
本記事では、この 2 つが「推移行列の固有値 $1$ とその固有ベクトル（定常分布）」「もう 1 つの固有値」として説明できることを示す。そのうえで、極限が存在しない例（周期的な連鎖）と、極限が存在するための十分条件を証明する。
$p_{n+1}=\alpha p_n+\beta$ の極限を不動点との差で調べる考え方は縮小写像と漸化式で扱う。

推移行列と Markov 連鎖

天気の例の数値を表にまとめる。行が今日、列が明日の天気で、成分は移る確率である。

今日＼明日	晴れ	雨
晴れ	$\frac23$	$\frac13$
雨	$\frac12$	$\frac12$

各行の和は $1$ である。この表を行列と見たものが推移行列である。以下、状態は有限個とし、$S=\{1,\dots,m\}$ で番号をつける。

確率行列と確率ベクトル

$m$ 次正方行列 $P=(p_{ij})$ が確率行列であるとは、すべての成分が $p_{ij}\ge0$ で、各行の和が $\sum_{j=1}^mp_{ij}=1$ であることをいう。成分が $0$ 以上で和が $1$ の行ベクトル $\mu=(\mu_1,\dots,\mu_m)$ を確率ベクトル（または $S$ 上の分布）という。

確率行列 $P$ と確率ベクトル $\mu$ について、$\mu P$ も確率ベクトルである。実際、$(\mu P)_j=\sum_i\mu_ip_{ij}\ge0$ であり、$\sum_j(\mu P)_j=\sum_i\mu_i\sum_jp_{ij}=\sum_i\mu_i=1$ である。

有限 Markov 連鎖

確率行列 $P$ と確率ベクトル $\mu$ が与えられたとする。各 $n\ge0$ について、状態の列 $(i_0,i_1,\dots,i_n)\in S^{n+1}$ に確率
$$ \mu_{i_0}\,p_{i_0i_1}\,p_{i_1i_2}\cdots p_{i_{n-1}i_n} $$
を割り当て、$X_k(i_0,\dots,i_n):=i_k$（$0\le k\le n$）とおく。この確率変数の列 $X_0,X_1,\dots,X_n$ を、初期分布 $\mu$、推移行列 $P$ の Markov 連鎖（Markov連鎖）という。

割り当てた確率の和が $1$ であることは、最後の添字 $i_n$ について先に足すと $\sum_{i_n}p_{i_{n-1}i_n}=1$ で 1 段短い列の確率になることを $n$ 回繰り返せば分かる。同じ計算から、長さ $n+1$ の列で計算した $X_0,\dots,X_{n-1}$ に関する確率は、長さ $n$ の列で計算したものと一致する。したがって $X_k$ に関する確率は、どの長さで計算しても同じである。
定義の意味を確かめる。$\Pr(X_0=i_0,\dots,X_n=i_n)>0$ のとき、条件付き確率の定義から
$$ \Pr(X_{n+1}=j\mid X_0=i_0,\dots,X_n=i_n)=\frac{\mu_{i_0}p_{i_0i_1}\cdots p_{i_{n-1}i_n}p_{i_nj}}{\mu_{i_0}p_{i_0i_1}\cdots p_{i_{n-1}i_n}}=p_{i_nj} $$
である。つまり「次の状態が $j$ になる確率は、現在の状態 $i_n$ だけで決まり、それ以前の経過にはよらない」。これが高校の確率漸化式で暗に使っている仮定であり、Markov 性という。

分布の時間発展

時刻 $n$ の分布を $\pi^{(n)}:=\bigl(\Pr(X_n=1),\dots,\Pr(X_n=m)\bigr)$ とおくと、$\pi^{(0)}=\mu$、
$$ \pi^{(n+1)}=\pi^{(n)}P,\qquad\text{したがって}\qquad\pi^{(n)}=\mu P^n $$
である。特に、$P^n$ の $(i,j)$ 成分は、状態 $i$ から出発して $n$ 回後に状態 $j$ にいる確率である。

最後の一歩で分ける

長さ $n+1$ の列の確率を、$X_n=i$、$X_{n+1}=j$ となるものについて足す。$i_0,\dots,i_{n-1}$ について足した部分は $\Pr(X_n=i)=\pi^{(n)}_i$ なので
$$ \Pr(X_{n+1}=j)=\sum_{i=1}^m\Bigl(\sum_{i_0,\dots,i_{n-1}}\mu_{i_0}p_{i_0i_1}\cdots p_{i_{n-1}i}\Bigr)p_{ij}=\sum_{i=1}^m\pi^{(n)}_i\,p_{ij}=(\pi^{(n)}P)_j $$
である。$\pi^{(n)}=\mu P^n$ は $n$ についての帰納法で従う。後半は $\mu$ を第 $i$ 成分だけ $1$ の確率ベクトルとすればよい。$\square$

高校の漸化式 $p_{n+1}=\frac23p_n+\frac12(1-p_n)$ は、$\pi^{(n+1)}=\pi^{(n)}P$ の第 1 成分にほかならない（1 日目を時刻 $0$ とすると $\pi^{(n)}=(p_{n+1},1-p_{n+1})$）。第 2 成分は $1-p_{n+2}$ なので、2 状態では 1 つの数列だけを追えば足りる。状態が 3 つ以上になると、行列でまとめて扱うのが見通しがよい。

行ベクトルと列ベクトル

本記事では確率論の教科書の多くに合わせて、分布を行ベクトル、$p_{ij}$ を「$i$ から $j$ へ」の確率とし、$\pi^{(n+1)}=\pi^{(n)}P$ と右から掛ける（GS06 §11.1、Theorem 11.2、p. 409）。線形代数の教科書に合わせて、分布を列ベクトルとし $P$ の転置 $P^{\top}$ を左から掛ける流儀もある。どちらでも、以下の主張は $P$ を $P^{\top}$ に、行ベクトルを列ベクトルに読み替えれば同じである。

三項間漸化式を行列の冪で書く同じ見方は漸化式の行列表示で扱う。

定常分布と固有値 1

定常分布

確率行列 $P$ について、確率ベクトル $\pi$ で
$$ \pi P=\pi $$
を満たすものを $P$ の（または対応する Markov 連鎖の）定常分布という。

初期分布が定常分布なら、prop-mc-evolution により $\pi^{(n)}=\pi P^n=\pi$ がすべての $n$ で成り立つ。分布が時間とともに変わらないので「定常」という。$\pi P=\pi$ は、$\pi$ が $P$ の固有値 $1$ の左固有ベクトル（行ベクトルとして右から $P$ を掛けると自分自身に戻るベクトル）であることを意味する。天気の例では $\pi=(\pi_1,\pi_2)$ について $\pi P=\pi$ は $\frac23\pi_1+\frac12\pi_2=\pi_1$、すなわち $\pi_2=\frac23\pi_1$ であり、$\pi_1+\pi_2=1$ と合わせて $\pi=\left(\frac35,\frac25\right)$ となる。高校で引いた数 $\alpha=\frac35$ はこの第 1 成分である。

極限は定常分布である

ある初期分布について $\pi^{(n)}$ が $n\to\infty$ で（成分ごとに）確率ベクトル $\pi$ に収束するならば、$\pi$ は定常分布である。

漸化式の両辺の極限

$\pi^{(n+1)}=\pi^{(n)}P$ の各成分は $\pi^{(n)}$ の成分の 1 次式なので、両辺で $n\to\infty$ とすると $\pi=\pi P$ である。$\square$

したがって「極限を求めるには、まず不動点を求めよ」という高校の手順は、「極限があるならそれは定常分布、つまり固有値 $1$ の左固有ベクトルである」という事実に対応している。ただし、この命題は極限が存在することを仮定している。存在しない場合があること（ex-mc-flip）が、本記事の後半の主題である。

確率行列の固有値

確率行列 $P$ は固有値 $1$ をもち、$P$ の（複素数の）固有値 $\lambda$ はすべて $|\lambda|\le1$ を満たす。

最大の成分を見る

すべての成分が $1$ の列ベクトルを $\mathbf{1}$ とすると、行の和が $1$ なので $P\mathbf{1}=\mathbf{1}$ であり、$1$ は固有値である。次に $Px=\lambda x$、$x\ne0$ とし、$|x_i|$ が最大になる $i$ をとる。第 $i$ 成分を比べて
$$ |\lambda|\,|x_i|=\Bigl|\sum_jp_{ij}x_j\Bigr|\le\sum_jp_{ij}|x_j|\le\sum_jp_{ij}|x_i|=|x_i| $$
であり、$|x_i|>0$ で割って $|\lambda|\le1$ を得る。$\square$

2 次の行列の固有値の和がトレースになることはトレースと固有値で扱う。
$P$ と転置 $P^{\top}$ は同じ固有多項式をもつので、固有値 $1$ に対しては左固有ベクトル（$vP=v$ となる $0$ でない行ベクトル $v$）も存在する。しかし、その成分がすべて $0$ 以上にとれるかどうかは、固有値の議論だけからは分からない。これを示すのが次の定理である。

定常分布の存在

任意の確率行列 $P$ は、少なくとも 1 つの定常分布をもつ。

時間平均をとる

確率ベクトル $\mu$ を 1 つとり、$a_N:=\frac1N\sum_{n=0}^{N-1}\mu P^n$（$N\ge1$）とおく。確率ベクトルの平均なので $a_N$ も確率ベクトルであり、
$$ a_NP-a_N=\frac1N\sum_{n=0}^{N-1}\bigl(\mu P^{n+1}-\mu P^n\bigr)=\frac1N\bigl(\mu P^N-\mu\bigr) $$
である。右辺の各成分の絶対値は $\frac1N$ 以下なので、$a_NP-a_N\to0$（$N\to\infty$）である。$a_N$ の各成分は $0$ 以上 $1$ 以下なので、Bolzano–Weierstrassの定理（有界な実数列は収束する部分列をもつ。Leb26 Theorem 2.3.8、p. 78）を $m$ 個の成分に順に適用すると、収束する部分列 $a_{N_k}\to\pi$ がとれる。極限 $\pi$ も成分が $0$ 以上で和が $1$ の確率ベクトルであり、$a_{N_k}P-a_{N_k}\to\pi P-\pi$ と上のことから $\pi P=\pi$ である。$\square$

存在は保証されるが、一意性と収束は保証されない。以下、2 状態の場合にすべてを計算し、どこで何が崩れるかを見る。

2 状態の場合の完全な解析

2 状態の確率行列は、$0\le a\le1$、$0\le b\le1$ を使って
$$ P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix} $$
と書ける（$a$ は状態 1 から 2 へ、$b$ は状態 2 から 1 へ移る確率）。$\lambda:=1-a-b$ とおくと $-1\le\lambda\le1$ であり、$P$ の対角成分の和は $1+\lambda$、行列式は $(1-a)(1-b)-ab=\lambda$ なので、固有多項式は $t^2-(1+\lambda)t+\lambda=(t-1)(t-\lambda)$、固有値は $1$ と $\lambda$ である。

2 状態の連鎖

$a+b>0$ とし、
$$ E:=\frac1{a+b}\begin{pmatrix}b&a\\b&a\end{pmatrix},\qquad F:=\frac1{a+b}\begin{pmatrix}a&-a\\-b&b\end{pmatrix},\qquad\pi:=\Bigl(\frac b{a+b},\frac a{a+b}\Bigr) $$
とおく。このとき次が成り立つ。

すべての $n\ge0$ について $P^n=E+\lambda^nF$ である。
$\pi$ は $P$ のただ 1 つの定常分布である。
初期分布 $\mu=(\mu_1,\mu_2)$ について $\pi^{(n)}=\pi+\lambda^n(\mu_1-\pi_1)(1,-1)$ である。
$a=b=0$ のときは $P$ は単位行列で、すべての確率ベクトルが定常分布であり、$\pi^{(n)}=\mu$ である。

固有値ごとに分ける

直接の計算で $E+F=I$（単位行列）、$EP=E$、$FP=\lambda F$ が確かめられる。たとえば $F$ の第 1 行については $(a,-a)P=\bigl(a(1-a)-ab,\;a^2-a(1-b)\bigr)=\lambda(a,-a)$ である。1 は $n$ についての帰納法による：$n=0$ では $P^0=I=E+F$ であり、$P^n=E+\lambda^nF$ なら $P^{n+1}=EP+\lambda^nFP=E+\lambda^{n+1}F$ である。
2：$\pi$ は確率ベクトルで、$\pi P=\pi$ は $E$ の各行が $\pi$ であることと $EP=E$ から従う。逆に確率ベクトル $v$ が $vP=v$ を満たすとする。その第 1 成分は $(1-a)v_1+bv_2=v_1$、すなわち $av_1=bv_2$ であり、$v_1+v_2=1$ と合わせると $v_1=\frac b{a+b}$、$v_2=\frac a{a+b}$ に限る。
3：1 より $\pi^{(n)}=\mu P^n=\mu E+\lambda^n\mu F$ である。$\mu_1+\mu_2=1$ から $\mu E=\pi$、また $\mu F=\frac1{a+b}\bigl(\mu_1a-\mu_2b\bigr)(1,-1)=(\mu_1-\pi_1)(1,-1)$ である（$\mu_1a-(1-\mu_1)b=(a+b)\mu_1-b$ による）。$a=b=0$ の場合は明らかである。$\square$

$E$ と $F$ は、それぞれ固有値 $1$ と $\lambda$ の固有空間への射影にあたる行列で、1 は $P$ の対角化を行列の和の形で書いたものである。3 から、2 状態の連鎖のふるまいは $\lambda$ の値で完全に分類される。

場合	$\lambda=1-a-b$	$\pi^{(n)}$ のふるまい	定常分布
$a=b=0$	$1$	動かない（$\pi^{(n)}=\mu$）	すべての確率ベクトル
$0< a+b<2$	$\lvert\lambda\rvert<1$	どの $\mu$ からも $\pi$ に収束。誤差は $\lvert\lambda\rvert^n$ に比例	$\pi$ ただ 1 つ
$a=b=1$	$-1$	$\mu\ne\pi$ なら 2 つの分布を交互にとり、収束しない	$\pi=(\frac12,\frac12)$ ただ 1 つ

$0<\lambda<1$ なら $\pi^{(n)}$ は片側から単調に、$-1<\lambda<0$ なら $\pi$ の両側を交互に行き来しながら近づく。
高校の計算との対応。 状態 1 にいる確率 $q_n:=\pi^{(n)}_1$ は、thm-mc-two-state の 3 の第 1 成分から $q_n-\pi_1=\lambda^n(q_0-\pi_1)$ を満たす。これは漸化式 $q_{n+1}=\lambda q_n+b$ を「不動点 $\frac b{1-\lambda}=\frac b{a+b}=\pi_1$ を引いて等比数列にする」解き方そのものである。つまり

高校で引く不動点は、固有値 $1$ の左固有ベクトル（定常分布）の成分であり、
等比数列の公比は、もう 1 つの固有値 $\lambda$ である。
天気の例では $a=\frac13$、$b=\frac12$、$\lambda=\frac16$、$\pi=\left(\frac35,\frac25\right)$ である。

収束の定理

状態が 3 つ以上になると、固有値を全部求めるのは大変である。しかし「どこからでもどこへでも、ある回数でたどり着ける確率が正」という条件があれば、固有値を計算せずに収束を示せる。2 つの確率ベクトルの隔たりを
$$ \|\mu-\nu\|:=\sum_{i=1}^m|\mu_i-\nu_i| $$
で測る。$0\le\|\mu-\nu\|\le2$ である。

縮小の補題

成分の和が 0 であることを使う

$w:=\mu-\nu$ とおくと $\sum_iw_i=1-1=0$ なので、各 $j$ について
$$ (wP)_j=\sum_iw_ip_{ij}=\sum_iw_i\,(p_{ij}-\delta) $$
と書ける。$p_{ij}-\delta\ge0$ なので $|(wP)_j|\le\sum_i|w_i|(p_{ij}-\delta)$ であり、$j$ について足すと、各行の和が $1$ であることから
$$ \|wP\|\le\sum_i|w_i|\sum_j(p_{ij}-\delta)=\sum_i|w_i|\,(1-m\delta)=(1-m\delta)\|w\| $$
である。$\square$

正則な確率行列

確率行列 $P$ が正則であるとは、ある $k\ge1$ について $P^k$ のすべての成分が正であることをいう。

$P^k$ の $(i,j)$ 成分は $i$ から $k$ 回で $j$ にいる確率なので、正則とは「ある共通の回数 $k$ で、どの状態からどの状態へも正の確率で移れる」ことである。

正則な連鎖の収束

$P$ を正則な確率行列とし、$P^k$ のすべての成分が $\delta>0$ 以上であるとする。このとき次が成り立つ。

$P$ の定常分布 $\pi$ はただ 1 つであり、その成分はすべて $\delta$ 以上である。
任意の初期分布 $\mu$ について、$\bigl\|\mu P^n-\pi\bigr\|\le2(1-m\delta)^{\lfloor n/k\rfloor}$ である。特に $\mu P^n\to\pi$（$n\to\infty$）である。
$P^n$ は、すべての行が $\pi$ である行列に収束する。

縮小の補題を $k$ 回ごとに使う

$Q:=P^k$ は確率行列で（$P^{j+1}$ の各行は $P^j$ の行と $P$ の積なので、def-mc-stochastic の直後に示したことから帰納的に確率ベクトルである）、成分はすべて $\delta$ 以上である。thm-mc-existence により定常分布 $\pi$ が 1 つある。
2：$n=qk+r$（$0\le r< k$）と書く。$\pi P^r=\pi$、$\pi Q=\pi$ であり、$\mu P^r$ も確率ベクトルなので、lem-mc-contraction を $Q$ に $q$ 回適用して
$$ \|\mu P^n-\pi\|=\bigl\|(\mu P^r)Q^q-\pi Q^q\bigr\|\le(1-m\delta)^q\,\|\mu P^r-\pi\|\le2(1-m\delta)^q $$
を得る。$m\delta\le\sum_jq_{1j}=1$ かつ $\delta>0$ なので $0\le1-m\delta<1$ であり、$q=\lfloor n/k\rfloor\to\infty$ で右辺は $0$ に収束する。
1：$\pi'$ も定常分布なら、2 を $\mu=\pi'$ に適用して $\|\pi'-\pi\|=\|\pi'P^n-\pi\|\to0$ なので $\pi'=\pi$ である。また $\pi=\pi Q$ より $\pi_j=\sum_i\pi_iq_{ij}\ge\delta\sum_i\pi_i=\delta$ である。
3：$P^n$ の第 $i$ 行は、第 $i$ 成分だけ $1$ の確率ベクトル $e_i$ について $e_iP^n$ であり、2 により $\pi$ に収束する。$\square$

正則性は収束のための十分条件であり、必要条件ではない。2 状態で $a=0< b$ の場合（状態 1 に入ると出られない）、$P^n$ の $(1,2)$ 成分はつねに $0$ なので正則ではないが、thm-mc-two-state によりどの初期分布からも $\pi=(1,0)$ に収束する。一方、正則性を外すと収束が崩れる例が次の反例の節にある。
2 状態の場合と比べると、lem-mc-contraction の係数 $1-m\delta$ は収束の速さの上からの評価にすぎない。天気の例では $\delta=\frac13$（$k=1$）で係数は $1-2\cdot\frac13=\frac13$ だが、実際の比は $|\lambda|=\frac16$ である。正則な連鎖では、正確な速さは $1$ 以外の固有値の絶対値の最大値で決まることが知られている（本記事では証明しない）。

例

三角形の頂点を動く点

三角形の 3 頂点の上を点が動き、毎回、他の 2 頂点のどちらかへ確率 $\frac12$ ずつで移る。推移行列は、すべての成分が $1$ の 3 次正方行列を $J$、単位行列を $I$ として
$$ P=\frac12(J-I)=\begin{pmatrix}0&\frac12&\frac12\\\frac12&0&\frac12\\\frac12&\frac12&0\end{pmatrix} $$
である。$P$ 自身は対角成分が $0$ だが、$P^2$ は対角成分 $\frac12$、それ以外 $\frac14$ で、すべて正である。よって $P$ は正則（$k=2$、$\delta=\frac14$）であり、thm-mc-convergence により定常分布はただ 1 つ、どこから出発しても分布はそれに収束する。各列の和も $1$ なので、一様分布 $\left(\frac13,\frac13,\frac13\right)$ が $\pi P=\pi$ を満たし、これが定常分布である。
正確な値も求まる。$J^2=3J$ なので、$E:=\frac13J$、$F:=I-\frac13J$ は $E^2=E$、$F^2=F$、$EF=FE=O$ を満たし、$P=E-\frac12F$ である。したがって $P^n=E+\left(-\frac12\right)^nF$ であり、頂点 A から出発して $n$ 回後に A にいる確率は
$$ a_n=\frac13+\frac23\Bigl(-\frac12\Bigr)^n $$
である（$a_0,\dots,a_5=1,0,\frac12,\frac14,\frac38,\frac5{16}$）。$P$ の固有値は $1$ と $-\frac12$（重複度 2）で、公比 $-\frac12$ が 2 つめの固有値である。高校では対称性から「A にいない確率 $1-a_n$ のうち半分が次に A へ来る」として $a_{n+1}=\frac12(1-a_n)$ を立てるが、これは 3 状態の連鎖を「A にいる／いない」の 2 状態に縮めたもので、$a=1$、$b=\frac12$ の thm-mc-two-state にあたる（$\lambda=-\frac12$、$\pi_1=\frac13$）。

反例：収束しない連鎖と定常分布が一つでない連鎖

thm-mc-convergence の結論は「定常分布の一意性」と「どこからでも収束」の 2 つである。正則性を外すと、それぞれが別の仕方で崩れる。

反例：交互に入れ替わる連鎖

2 状態で $a=b=1$、すなわち
$$ P=\begin{pmatrix}0&1\\1&0\end{pmatrix} $$
とする（毎回必ず他方の状態へ移る）。状態 1 から出発すると $\pi^{(n)}$ は $(1,0),(0,1),(1,0),\dots$ と交互になり、収束しない。$P^n$ も $I$ と $P$ を交互にとり、収束しない。定常分布は $\left(\frac12,\frac12\right)$ ただ 1 つであり、どの状態からどの状態へも移れる。しかし $P^k$ は $I$ か $P$ のどちらかで、つねに $0$ の成分をもつので、$P$ は正則であるという性質を満たさない。したがって「正則」の仮定を「どこからどこへも（回数を問わず）移れる」に弱めると、thm-mc-convergence の 2・3 の結論「どの初期分布からも収束する」は成り立たない。固有値で見ると、$P$ の固有値は $1$ と $\lambda=-1$ であり、$|\lambda|<1$ でないことが thm-mc-two-state の 3 の $\lambda^n$ の項を消えなくしている。
ただし時間平均は収束する。$\frac1N\sum_{n=0}^{N-1}\pi^{(n)}$ は $N$ が偶数なら $\left(\frac12,\frac12\right)$ に等しく、奇数でも差は $\frac1N$ 以下である。thm-mc-existence の証明で時間平均を使ったのは、このように分布そのものが収束しない場合にも使えるからである。

反例：3 状態の巡回

状態 $1\to2\to3\to1$ と確率 $1$ で巡回する連鎖 $P=\begin{pmatrix}0&1&0\\0&0&1\\1&0&0\end{pmatrix}$ では、分布は 3 回ごとに元に戻り、状態 1 から出発した $\pi^{(n)}$ は収束しない。定常分布は $\left(\frac13,\frac13,\frac13\right)$ ただ 1 つで、どの状態からどの状態へも移れる。しかし $P^k$ はつねに $0$ の成分をもつ置換行列なので $P$ は正則ではなく、thm-mc-convergence の 2 の結論が成り立たない。$P$ の固有値は $t^3=1$ の解 $1,\;\omega,\;\overline\omega$（$\omega=\frac{-1+\sqrt3\,i}2$）で、$|\omega|=1$ である。一般に、状態 $i$ から $i$ に戻れる回数 $n$（$(P^n)_{ii}>0$ となる $n\ge1$）の最大公約数をその状態の周期という。この例ではどの状態の周期も $3$、ex-mc-flip では $2$ である。どちらでも、出発点にいる確率は周期の倍数の時刻に $1$、それ以外の時刻に $0$ となって振動する。どの状態からどの状態へも（回数を問わず）移れる連鎖では、「正則であること」と「すべての状態の周期が $1$ であること」は同値であることが知られている（本記事では証明しない）。

反例：定常分布が一つでない連鎖

2 状態で $a=b=0$、すなわち $P=I$ とすると、すべての確率ベクトルが定常分布である。3 状態で
$$ P=\begin{pmatrix}1&0&0\\0&1&0\\\frac12&\frac12&0\end{pmatrix} $$
とすると（状態 1・2 に入ると出られず、状態 3 からは半々で 1 か 2 に移る）、$\pi^{(n)}$ は $n\ge1$ で $\bigl(\mu_1+\frac{\mu_3}2,\;\mu_2+\frac{\mu_3}2,\;0\bigr)$ に等しく、収束はするが極限が初期分布 $\mu$ によって異なる。$(1,0,0)$ も $(0,1,0)$ も定常分布である。これらの $P$ はどの冪にも $0$ の成分があり、正則ではない（状態 1 から状態 2 へは決して移れない）。正則性を外すと、thm-mc-convergence の 1 の結論「定常分布はただ 1 つ」が成り立たない。thm-mc-existence が保証するのは存在だけである。

さらに先へ

以下は案内であり、いずれも本記事では証明しない。

Perron–Frobenius の定理：成分が正の正方行列には、絶対値が最大の固有値として正の実数がただ 1 つあり、その固有空間は 1 次元で、固有ベクトルは成分をすべて正にとれる（左固有ベクトルについても同じ）。この定理を $P^k$ に適用し、$P$ の定常分布が $P^k$ の定常分布でもあることを使うと、thm-mc-convergence の 1 のうち「定常分布がただ 1 つで、成分がすべて正であること」が得られる。成分が $\delta$ 以上という評価は、この定理には含まれない。
エルゴード定理：どの状態からどの状態へも移れる有限の連鎖では、周期があっても、状態 $j$ に滞在した時間の割合が確率 $1$ で $\pi_j$ に近づく（ex-mc-flip の時間平均の一般化）。
吸収と到達時間：ex-mc-reducible のように出られない状態があり、どの状態からも出られない状態のどれかへ移れる連鎖では、どの状態に吸収されるかの確率や、吸収までの平均回数を、吸収されない状態どうしの推移確率を並べた部分行列を $T$ として、行列 $(I-T)^{-1}$ を使って求められる。
混合時間：分布が定常分布に十分近づくまでの回数。カードのシャッフルの回数の評価や、無作為抽出の計算法（Markov 連鎖モンテカルロ法）で中心的な量になる。
無限個の状態：整数の上の酔歩のように状態が無限個あると、定常分布が存在しないこともある。
推移行列による分布の時間発展は GS06 §11.1（Theorem 11.2、p. 409）、正則な連鎖の定義は同 §11.3（Definition 11.5、p. 433）、$P^n$ がすべての行の等しい行列に収束することと定常分布の一意性は同 Theorem 11.7・11.8（pp. 434–435）、どこからどこへも移れる連鎖の定常分布の一意性は同 Theorem 11.10（p. 438）、吸収的な連鎖は同 §11.2（p. 416 以降）にある。本記事の thm-mc-convergence は、これらを縮小の補題による初等的な証明で述べ直したものである。