エルゴード定理

同義語：ergodic theorem

概要

前提知識: 確率空間, Lebesgue積分, 条件付き期待値, Hilbert空間

ある系の状態が時間とともに規則 $T$ に従って $\omega,\ T\omega,\ T^2\omega,\ \dots$ と移り変わるとき、ある量 $f$ を長い時間にわたって観測した平均（時間平均）
$$ \frac1n\sum_{m=0}^{n-1}f(T^m\omega) $$
は、$n\to\infty$ で収束するだろうか。収束するなら、その極限は、状態の空間全体にわたる $f$ の平均（空間平均）$\int f\,dP$ と一致するだろうか。エルゴード定理 はこの問いに答える定理の総称である。代表的なものは、変換 $T$ が確率を保つとき可積分な $f$ の時間平均がほとんどすべての $\omega$ で収束することを述べる Birkhoff の個別エルゴード定理と、2 乗可積分な関数について平均 2 乗の意味の収束を述べる von Neumann の平均エルゴード定理である。$T$ が エルゴード的（空間が $T$ で動かない 2 つの部分に本質的に分かれない）なら、極限は空間平均に等しい。
身近な例は Markov 連鎖である。確率漸化式と定常分布で扱うように、どの状態からどの状態へも移れる有限の連鎖では、ある状態に滞在した時間の割合が定常分布の値に近づく。独立な試行の列では、時間平均の収束は大数の強法則そのものである。この記事では、測度を保つ変換とエルゴード性を定義し、円周の回転と 2 倍写像のエルゴード性、Birkhoff の定理、平均エルゴード定理を証明する。応用として、ほとんどすべての実数の 2 進展開には長さ $\ell$ のどの 0 と 1 の並びも頻度 $2^{-\ell}$ で現れること、有限で既約な Markov 連鎖ではどの初期分布から出発しても、周期があっても、滞在時間の割合が確率 $1$ で定常分布に近づくことを示す。

測度を保つ変換とエルゴード性

以下、$(\Omega,\mathcal F,P)$ は確率空間である。

測度を保つ変換

可測写像 $T\colon\Omega\to\Omega$ が、すべての $A\in\mathcal F$ について $P(T^{-1}A)=P(A)$ を満たすとき、$T$ は $P$ を保つ（measure-preserving）という。$T^0:=\mathrm{id}$、$T^m:=T\circ T^{m-1}$ とし、実数値の可測関数 $f$ について
$$ A_nf:=\frac1n\sum_{m=0}^{n-1}f\circ T^m\qquad(n\ge1) $$
を $f$ の 時間平均 という。

積分は変換で変わらない

$T$ が $P$ を保つとき、可測関数 $f\ge0$ について $\int f\circ T\,dP=\int f\,dP$ である。とくに $f$ が可積分なら $f\circ T$ も可積分で、同じ等式が成り立つ。

$f=\mathbf 1_A$ なら $\mathbf 1_A\circ T=\mathbf 1_{T^{-1}A}$ なので定義そのものである。線形性により非負の単関数で成り立ち、非負の単関数の増加列で $f$ を近似して単調収束定理を使うと $f\ge0$ で成り立つ。可積分な $f$ は $f=f^+-f^-$ に分けて、それぞれに使う。$\square$

不変集合とエルゴード性

$T$ が $P$ を保つとする。$A\in\mathcal F$ が $T^{-1}A=A$ を満たすとき 不変集合 という。不変集合の全体を $\mathcal I$ と書く。逆像は補集合と可算和を保つので、$\mathcal I$ は σ-代数である。すべての $A\in\mathcal I$ について $P(A)\in\{0,1\}$ となるとき、$T$ は エルゴード的（ergodic）であるという。

$T$ がエルゴード的でなければ、確率が正の 2 つの集合 $A$ と $\Omega\setminus A$ に分かれ、どちらからも出られない。この場合、$A$ から出発した軌道は $A$ のことしか知らないので、時間平均が空間全体の平均に一致することは期待できない。

不変な関数

$T$ が $P$ を保つとし、$g\colon\Omega\to\mathbb R$ を可測関数とする。

$g$ が $\mathcal I$-可測であることと、すべての $\omega$ で $g(T\omega)=g(\omega)$ であることは同値である。
$T$ がエルゴード的で $g$ が $\mathcal I$-可測なら、$g$ はほとんど確実に定数である。

1。 $r\in\mathbb R$ について $T^{-1}\{g>r\}=\{g\circ T>r\}$ である。$g$ が $\mathcal I$-可測なら、これが $\{g>r\}$ に等しいので、$g(T\omega)>r$ と $g(\omega)>r$ がすべての $r$ で同値になり、$g\circ T=g$ である。逆に $g\circ T=g$ なら $T^{-1}\{g>r\}=\{g>r\}$ なので $\{g>r\}\in\mathcal I$ である。
2。 $F(r):=P(g\le r)$ は $\{0,1\}$ に値をとる非減少関数で、$r\to-\infty$ で $0$、$r\to\infty$ で $1$ に近づく。$c:=\inf\{r\mid F(r)=1\}$ は実数で、$P(g\le c+\frac1k)=1$、$P(g\le c-\frac1k)=0$（$k\ge1$）から $P(g=c)=1$ である。$\square$

例：回転と 2 倍写像

区間 $[0,1)$ に Lebesgue 測度 $\lambda$ を考える。$\alpha\in[0,1)$ について回転 $R_\alpha(x):=x+\alpha\bmod1$、2 倍写像 $D(x):=2x\bmod1$ とおく（$y\bmod1:=y-\lfloor y\rfloor$）。

$R_\alpha$ は $\lambda$ を保つ。$R_\alpha^{-1}A=\bigl((A\cap[\alpha,1))-\alpha\bigr)\cup\bigl((A\cap[0,\alpha))+1-\alpha\bigr)$ は互いに交わらない和で、Lebesgue測度は平行移動で変わらないからである。
$D$ は $\lambda$ を保つ。$D^{-1}A=\frac12A\cup\bigl(\frac12A+\frac12\bigr)$ は互いに交わらない和で、$\lambda(\frac12A)=\frac12\lambda(A)$ だからである。
$\alpha=\frac pq$（$p,q$ は整数、$q\ge2$）なら $R_\alpha$ はエルゴード的でない。$A:=\bigcup_{j=0}^{q-1}\bigl[\frac jq,\frac jq+\frac1{2q}\bigr)$ は $\frac1q$ の倍数の平行移動で変わらないので不変で、$\lambda(A)=\frac12$ である。

無理数回転と 2 倍写像のエルゴード性

$\alpha$ が無理数なら $R_\alpha$ はエルゴード的である。2 倍写像 $D$ もエルゴード的である。

要点：不変集合の指示関数の Fourier 係数が、$0$ 番以外すべて $0$ になることを示す。

詳しい証明を開く

$A$ を不変集合とし $f:=\mathbf 1_A$、$c_k:=\int_0^1f(x)e^{-2\pi ikx}\,dx$（$k\in\mathbb Z$）とおく。関数の族 $(e^{2\pi ikx})_{k\in\mathbb Z}$ は $L^2([0,1))$ の正規直交基底なので（Axl26 11.30（p. 355）。単位円周の上で述べられたものを $x\mapsto e^{2\pi ix}$ で写す）、$c_k=0$（$k\ne0$）が示せれば $f-c_0$ はすべての基底と直交して $0$ になり、$f=c_0$ がほとんどいたるところ成り立つ。$f$ は $0,1$ しかとらないので $c_0=\lambda(A)\in\{0,1\}$ である。

回転。 $g(y):=f(y)e^{-2\pi ik(y-\alpha)}$ に（実部と虚部に分けて）lem-erg-integral を使う。$R_\alpha x-\alpha-x$ は整数なので $g(R_\alpha x)=f(R_\alpha x)e^{-2\pi ikx}$ であり、$f\circ R_\alpha=f$ から $c_k=\int g\circ R_\alpha\,d\lambda=\int g\,d\lambda=e^{2\pi ik\alpha}c_k$ である。$\alpha$ が無理数で $k\ne0$ なら $k\alpha$ は整数でないので $e^{2\pi ik\alpha}\ne1$、よって $c_k=0$ である。

2 倍写像。 区間 $[0,\frac12)$ と $[\frac12,1)$ に分けて $y=2x$、$y=2x-1$ と置換すると、$k=2l$ について $\int_0^1f(Dx)e^{-4\pi ilx}\,dx=\frac12\int_0^1f(y)e^{-2\pi ily}dy+\frac12\int_0^1f(y)e^{-2\pi il(y+1)}dy=c_l$ である。$f\circ D=f$ なので $c_{2l}=c_l$、繰り返して $c_l=c_{2^jl}$（$j\ge1$）である。Bessel の不等式 $\sum_k|c_k|^2\le\int|f|^2< \infty$（Besselの不等式）により、$l\ne0$ なら相異なる番号 $2^jl$ の係数は $j\to\infty$ で $0$ に近づくので、$c_l=0$ である。$\square$

ほかに、独立で同じ分布に従う確率変数の列をずらす変換（$(\omega_0,\omega_1,\dots)\mapsto(\omega_1,\omega_2,\dots)$）は、列の空間の積の確率を保ちエルゴード的である（この記事では証明しない。Kolmogorov の 0-1 法則による。Dur19 Example 6.1.5（p. 333））。

Birkhoff の個別エルゴード定理

証明の鍵は次の不等式である。$S_k:=\sum_{m=0}^{k-1}f\circ T^m$ は時刻 $k$ までの和、$M_k$ はその途中の最大値（$0$ との大きい方）である。

最大エルゴード補題

$T$ が $P$ を保つとし、$f$ を可積分な実数値関数とする。$S_k:=\sum_{m=0}^{k-1}f\circ T^m$、$M_k:=\max(0,S_1,\dots,S_k)$ とおくと、すべての $k\ge1$ について
$$ \int_{\{M_k>0\}}f\,dP\ge0 $$
である。

$1\le j\le k$ なら $M_k\circ T\ge S_j\circ T$ なので、$f+M_k\circ T\ge f+S_j\circ T=S_{j+1}$ である。また $M_k\circ T\ge0$ より $f+M_k\circ T\ge f=S_1$ である。よって $f\ge\max(S_1,\dots,S_{k})-M_k\circ T$ であり、集合 $\{M_k>0\}$ の上では右辺は $M_k-M_k\circ T$ に等しい。したがって
$$ \int_{\{M_k>0\}}f\,dP\ge\int_{\{M_k>0\}}(M_k-M_k\circ T)\,dP\ge\int_\Omega(M_k-M_k\circ T)\,dP=0 $$
である。2 つ目の不等号は、$\{M_k=0\}$ の上で被積分関数が $-M_k\circ T\le0$ であることによる。最後の等号は lem-erg-integral による（$0\le M_k\le\sum_{m< k}|f\circ T^m|$ なので $M_k$ は可積分である）。$\square$

Birkhoff の個別エルゴード定理

$T$ が $P$ を保つとし、$f$ を可積分な実数値関数とする。このとき、ほとんど確実に、かつ $L^1$ で
$$ \lim_{n\to\infty}A_nf=E[f\mid\mathcal I] $$
である。とくに $T$ がエルゴード的なら、ほとんど確実に $A_nf\to\int f\,dP$ である。

段 1：極限が $0$ の場合への帰着。 $g$ を $E[f\mid\mathcal I]$ の実数値の版とする（条件付き期待値）。$g$ は $\mathcal I$-可測なので lem-erg-invariant-functions の 1 により $g\circ T=g$、よって $A_ng=g$ である。$f':=f-g$ は可積分で $E[f'\mid\mathcal I]=0$、$A_nf=A_nf'+g$ なので、$E[f\mid\mathcal I]=0$ のときに $A_nf\to0$（ほとんど確実に）を示せばよい。
段 2：上極限が $0$ 以下であること。 $\bar f:=\limsup_nA_nf$（$[-\infty,\infty]$ に値をとる）とおく。$A_nf\circ T=\frac{n+1}nA_{n+1}f-\frac fn$ であり、$f$ は実数値なので $\bar f\circ T=\bar f$ である。$\varepsilon>0$ とし $\Lambda:=\{\bar f>\varepsilon\}$ とおくと、$T^{-1}\Lambda=\Lambda$ なので $\Lambda\in\mathcal I$ である。$f^*:=(f-\varepsilon)\mathbf 1_\Lambda$ に lem-erg-maximal を使う。$\mathbf 1_\Lambda\circ T^m=\mathbf 1_\Lambda$ なので $f^*$ の和は $S^*_k=\mathbf 1_\Lambda(S_k-k\varepsilon)$ であり、
$$ F_k:=\{\max(0,S^*_1,\dots,S^*_k)>0\}=\Lambda\cap\Bigl\{\max_{1\le j\le k}A_jf>\varepsilon\Bigr\} $$
である。$F_k$ は $k$ について増加し、その和集合は $\Lambda\cap\{\sup_jA_jf>\varepsilon\}=\Lambda$ である（$\Lambda$ の上では上極限が $\varepsilon$ を超えるので上限も超える）。補題により $\int_{F_k}f^*\,dP\ge0$ であり、$|f^*\mathbf 1_{F_k}|\le|f|+\varepsilon$ なので優収束定理により $\int_\Lambda f^*\,dP\ge0$、すなわち
$$ 0\le\int_\Lambda(f-\varepsilon)\,dP=\int_\Lambda E[f\mid\mathcal I]\,dP-\varepsilon P(\Lambda)=-\varepsilon P(\Lambda) $$
である（$\Lambda\in\mathcal I$ なので条件付き期待値の定義により $\int_\Lambda f\,dP=\int_\Lambda E[f\mid\mathcal I]\,dP$）。よって $P(\Lambda)=0$ である。$\varepsilon=\frac1j$（$j\ge1$）にわたる可算和をとると、ほとんど確実に $\bar f\le0$ である。
段 3：収束。 同じことを $-f$ に使うと、ほとんど確実に $\liminf_nA_nf\ge0$ である。段 2 と合わせて $A_nf\to0$ がほとんど確実に成り立つ。
段 4：$L^1$ の収束。 $M>0$ について $f_M:=f\mathbf 1_{\{|f|\le M\}}$、$f^M:=f-f_M$ とおく。段 1–3 により $A_nf_M\to E[f_M\mid\mathcal I]$ がほとんど確実に成り立ち、両辺の絶対値は $M$ 以下なので優収束定理により $L^1$ でも収束する。一方 lem-erg-integral により $\int|A_nf^M|\,dP\le\int|f^M|\,dP$ であり、条件付き期待値の定理「条件付き期待値の基本性質」の 2 により $\int|E[f^M\mid\mathcal I]|\,dP\le\int|f^M|\,dP$ である。よって
$$ \limsup_{n\to\infty}\int\bigl|A_nf-E[f\mid\mathcal I]\bigr|\,dP\le2\int|f^M|\,dP $$
であり、右辺は $M\to\infty$ で優収束定理により $0$ に近づく。
エルゴード的な場合。 $E[f\mid\mathcal I]$ は lem-erg-invariant-functions の 2 によりほとんど確実に定数 $c$ で、$c=E\bigl[E[f\mid\mathcal I]\bigr]=\int f\,dP$ である。$\square$

$f=\mathbf 1_B$ とすると、$T$ がエルゴード的なら、ほとんどすべての $\omega$ について、軌道 $\omega,T\omega,\dots,T^{n-1}\omega$ のうち $B$ に入るものの割合が $P(B)$ に近づく。独立で同じ分布に従う可積分な確率変数の列をずらす変換に使うと、大数の強法則が得られる（Dur19 Example 6.2.3（p. 337））。より一般に、確率変数の列 $(X_n)_{n\ge0}$ が定常（ずらしても同時分布が変わらない）なら、列の空間の上でずらす変換は列の分布を保ち、$X_0$ が可積分なら Birkhoff の定理により $\frac1n\sum_{m=0}^{n-1}X_m$ は不変 σ-代数に関する条件付き期待値にほとんど確実に収束する。極限が定数 $E[X_0]$ になることを保証するのがエルゴード性である（Dur19 Example 6.1.4（p. 332））。この証明は Dur19 Theorem 6.2.1・Lemma 6.2.2（p. 335）の方針による。

von Neumann の平均エルゴード定理

平均エルゴード定理

$H$ を Hilbert空間、$U\colon H\to H$ を線形な等長写像（すべての $x$ で $\|Ux\|=\|x\|$）とし、$F:=\{x\in H\mid Ux=x\}$ とおく。$F$ は閉部分空間であり、$F$ への直交射影を $\Pi$ とすると、すべての $x\in H$ について
$$ \lim_{n\to\infty}\Bigl\|\frac1n\sum_{m=0}^{n-1}U^mx-\Pi x\Bigr\|=0 $$
である。

要点：$H$ は $F$ と $I-U$ の像の閉包の直交和であり、前者の上では平均は動かず、後者の上では平均が $0$ に近づく。

詳しい証明を開く

$F$ は連続な線形写像 $I-U$ の核なので閉である。$R:=\{y-Uy\mid y\in H\}$ とおき、$R^\perp=F$ を示す。等長写像は内積を保つ（偏極恒等式）ので、$x\in F$ なら $\langle x,y-Uy\rangle=\langle Ux,Uy\rangle-\langle x,Uy\rangle=0$ である。逆に $x\in R^\perp$ なら $\langle x,x-Ux\rangle=0$ より $\langle x,Ux\rangle=\|x\|^2$ であり、$\|Ux-x\|^2=\|Ux\|^2-2\operatorname{Re}\langle Ux,x\rangle+\|x\|^2=0$ なので $x\in F$ である。

$W$ を $R$ の閉包とすると $W^\perp=R^\perp=F$ であり、直交射影の定理「Hilbert 空間での存在」により $H=W\oplus W^\perp=W\oplus F$ である。$W\subset F^\perp$ なので、$x=w+v$（$w\in W$、$v\in F$）と分けたとき $v=\Pi x$ である。

$B_n:=\frac1n\sum_{m=0}^{n-1}U^m$ とおくと $\|B_nz\|\le\|z\|$ である。$v\in F$ なら $B_nv=v$。$z=y-Uy\in R$ なら和が打ち消し合って $B_nz=\frac1n(y-U^ny)$、$\|B_nz\|\le\frac2n\|y\|\to0$ である。$w\in W$ と $\delta>0$ について $\|w-z\|< \delta$ となる $z\in R$ をとると $\|B_nw\|\le\delta+\|B_nz\|$ なので $\limsup_n\|B_nw\|\le\delta$、よって $B_nw\to0$ である。以上から $B_nx=B_nw+v\to v=\Pi x$ である。$\square$

$U$ がユニタリ作用素の場合の同じ定理と証明は HN01 Theorem 8.35（pp. 201–202）にある。上の証明は $U^*$ を使わずに $R^\perp=F$ を示しているので、等長写像でそのまま通る。

$L^2$ の時間平均

$T$ が $P$ を保つとき、2 乗可積分な実数値関数 $f$ について $A_nf\to E[f\mid\mathcal I]$ が $L^2$ で成り立つ。とくに $L^2$ で $f\circ T=f$（ほとんど確実に）を満たす関数の全体への直交射影は、$E[\,\cdot\mid\mathcal I]$ に一致する。

$Uf:=f\circ T$ は $L^2(\Omega,\mathcal F,P)$ の線形写像として定まり（$f=f'$ がほとんど確実に成り立てば $P(T^{-1}\{f\ne f'\})=0$）、lem-erg-integral を $|f|^2$ に使うと等長である。thm-erg-mean により $A_nf=B_nf$ は $L^2$ で $\Pi f$ に収束し、$L^2$ の収束は $L^1$ の収束を導く。thm-erg-birkhoff により $A_nf$ は $L^1$ で $E[f\mid\mathcal I]$ にも収束するので、$\Pi f=E[f\mid\mathcal I]$ がほとんど確実に成り立つ。$\square$

応用

2 進展開に現れる並びの頻度

$x\in[0,1)$ の 2 進展開の第 $k$ 桁を $d_k(x):=\lfloor2^kx\rfloor-2\lfloor2^{k-1}x\rfloor$ とする（確率論の例「2 進展開と硬貨投げ」と同じ）。$y:=D^mx=2^mx-N$（$N$ は整数）について $\lfloor2^jy\rfloor=\lfloor2^{j+m}x\rfloor-2^jN$ なので、$d_j(D^mx)=d_{j+m}(x)$ である。すなわち 2 倍写像は桁を 1 つずつ左にずらす。

2 進正規数

Lebesgue 測度についてほとんどすべての $x\in[0,1)$ は次を満たす：長さ $\ell\ge1$ のどの 0 と 1 の並び $w=(w_1,\dots,w_\ell)$ についても、$x$ の 2 進展開の桁の列で $w$ が現れる頻度は $2^{-\ell}$ に近づく。すなわち
$$ \lim_{n\to\infty}\frac1n\#\bigl\{0\le m< n\bigm|(d_{m+1}(x),\dots,d_{m+\ell}(x))=w\bigr\}=2^{-\ell}. $$

$B_w:=\{y\in[0,1)\mid(d_1(y),\dots,d_\ell(y))=w\}$ は長さ $2^{-\ell}$ の区間である（確率論の命題「2 進展開の桁は独立な公平な硬貨投げ」の 1）。上で見たとおり $(d_{m+1}(x),\dots,d_{m+\ell}(x))=w$ と $D^mx\in B_w$ は同値なので、左辺は $A_n\mathbf 1_{B_w}(x)$ である。prop-erg-rotation により $D$ はエルゴード的なので、thm-erg-birkhoff によりほとんどすべての $x$ で左辺は $\lambda(B_w)=2^{-\ell}$ に近づく。並び $w$ は可算個なので、例外の集合の和も測度 $0$ である。$\square$

$\ell=1$、$w=(1)$ の場合が、ほとんどすべての実数で桁 $1$ の割合が $\frac12$ に近づくという主張である（確率論では独立性と 4 乗の期待値で証明している）。

Markov 連鎖のエルゴード定理

有限集合 $S$ 上の推移行列 $P=(p_{ij})$ が既約（どの状態からどの状態へも、正の確率の経路で移れる）なら、定常分布 $\pi$（$\pi P=\pi$ を満たす分布）はただ 1 つで、すべての成分が正である（Markov連鎖の定理「既約な有限連鎖の定常分布」）。この節では確率を $\Pr$ と書き、$P$ は推移行列を表す。

有限 Markov 連鎖のエルゴード定理

$(X_n)_{n\ge0}$ を有限集合 $S$ 上の既約な推移行列 $P$ をもつ Markov 連鎖とし、$\pi$ を定常分布とする。初期分布は任意とする。このとき関数 $h\colon S\to\mathbb R$ について、ほとんど確実に
$$ \lim_{n\to\infty}\frac1n\sum_{m=0}^{n-1}h(X_m)=\sum_{j\in S}\pi_jh(j) $$
である。とくに $h=\mathbf 1_{\{j\}}$ として、状態 $j$ に滞在した時間の割合は確率 $1$ で $\pi_j$ に近づく。$P$ が周期的でもよい。

要点：中心化した和 $W_n$ の 2 乗の期待値が $n$ の定数倍以下であることを示し、$n=k^2$ の部分列で Borel–Cantelli の補題を使う。

詳しい証明を開く

段 1（基本行列）。 列ベクトル $\mathbf 1$ ですべての行が $\pi$ の行列 $Q:=\mathbf 1\pi$ を作る。$PQ=Q$（$P$ の行和が $1$）、$QP=Q$（$\pi P=\pi$）、$Q^2=Q$ なので、帰納法により $(P-Q)^m=P^m-Q$（$m\ge1$）である。$Z:=I-P+Q$ は正則である。実際 $Zv=0$ とすると、$\pi Z=\pi$ より $\pi v=\pi Zv=0$、よって $Qv=0$ で $Pv=v$ である。$v_i$ が最大の成分なら $v_i=\sum_kp_{ik}v_k$ から $p_{ik}>0$ となる $k$ で $v_k=v_i$ であり、既約性により $v$ は定数 $c\mathbf 1$、$0=\pi v=c$ である。$\sum_{m=0}^{M-1}(P-Q)^m\,Z=I-(P-Q)^M$ より、$G_M:=\sum_{m=1}^{M-1}(P^m-Q)=(I-(P^M-Q))Z^{-1}-I$ であり、$P^M-Q$ の成分は $[-1,1]$ にあるので、$G_M$ の成分は $M$ によらない定数 $C$ で抑えられる。

段 2（2 乗の期待値）。 $\bar h:=h-\sum_j\pi_jh(j)$ とおくと $Q\bar h=0$（$\bar h$ を列ベクトルとみる）なので、$r\ge1$ で $P^r\bar h=(P^r-Q)\bar h$ である。$W_n:=\sum_{m=0}^{n-1}\bar h(X_m)$、$K:=\max_i|\bar h(i)|$ とおく。Markov連鎖の定理「Chapman–Kolmogorov の等式」により $s< t$ で $E[\bar h(X_s)\bar h(X_t)]=\sum_i\Pr(X_s=i)\bar h(i)(P^{t-s}\bar h)(i)$ であり、$t$ について $s+1$ から $n-1$ まで足すと $\sum_i\Pr(X_s=i)\bar h(i)(G_{n-s}\bar h)(i)$ となって、絶対値は $K\cdot C\,\#S\,K$ 以下である。よって $E[W_n^2]\le nK^2+2n\,C\,\#S\,K^2=:Bn$ である。

段 3（部分列）。 $\varepsilon>0$ について、Markov の不等式（Chebyshevの不等式）により $\Pr(|W_{k^2}|\ge\varepsilon k^2)\le\frac{Bk^2}{\varepsilon^2k^4}$ であり、和が有限なので Borel–Cantelli の補題（測度）により、ほとんど確実に $W_{k^2}/k^2\to0$ である。$k^2\le n< (k+1)^2$ なら $|W_n-W_{k^2}|\le(2k+1)K$ なので $\bigl|\frac{W_n}n-\frac{W_{k^2}}{k^2}\bigr|\le\frac{(2k+1)K}{k^2}+\frac{|W_{k^2}|}{k^2}$ であり、ほとんど確実に $W_n/n\to0$ である。これは主張と同値である。$\square$

初期分布が $\pi$ なら $(X_n)$ をずらす変換は列の空間の確率を保ちエルゴード的であり、thm-erg-birkhoff から同じ結論が出る（Dur19 Example 6.1.6（p. 333）・Example 6.2.4（p. 337）。状態が可算個の場合も扱っている）。上の証明は Birkhoff の定理を使わず、初期分布が任意の場合をそのまま扱う。

条件を外した反例

外す条件	反例	成り立たなくなること
$T$ が $P$ を保つ（thm-erg-birkhoff）	$\Omega=\{0,1,2,\dots\}$、$P(\{n\})=2^{-n-1}$、$T(n)=n+1$、$f$ は $[4^k,2\cdot4^k)$（$k\ge0$）の整数の上で $1$、ほかで $0$	どの $\omega$ でも $A_nf(\omega)$ は収束しない
エルゴード性（極限が空間平均）	回転 $R_{1/2}$、$f:=\mathbf 1_{[0,1/4)\cup[1/2,3/4)}$	$A_nf=f$ で、極限は $\int f\,d\lambda=\frac12$ にならない
$f$ の可積分性	2 倍写像 $D$、$f(x):=1/x$（$f(0):=0$）	ほとんどすべての $x$ で $A_nf(x)\to\infty$
既約性（thm-erg-markov）	$S=\{1,2\}$、$P=I$（単位行列）	状態 $1$ にいる割合は $X_0=1$ なら $1$、$X_0=2$ なら $0$ で、定常分布も 1 つに決まらない

反例の確かめ

1 行目では $P(T^{-1}\{0\})=0\ne\frac12$ である。

各行の確かめを開く

1 行目：$f$ の $0\le m< N$ での和を $c(N)$ とすると、$c(2\cdot4^K)=c(4^{K+1})=\sum_{k=0}^K4^k=\frac{4^{K+1}-1}3$ なので、$c(N)/N$ は $N=2\cdot4^K$ で $\frac23$ に、$N=4^{K+1}$ で $\frac13$ に近づく。$A_nf(\omega)=\frac1n\bigl(c(\omega+n)-c(\omega)\bigr)$ と $\frac{c(n)}n$ の差は $\frac{2\omega}n$ 以下なので、どの $\omega$ でも上極限は $\frac23$ 以上、下極限は $\frac13$ 以下である。$f$ は有界なので可積分である。

2 行目：$f(x+\frac12\bmod1)=f(x)$ なので $A_nf=f$ である。集合 $[0,\frac14)\cup[\frac12,\frac34)$ は不変で測度 $\frac12$ であり、$R_{1/2}$ はエルゴード的でない。

3 行目：$f_M:=\min(f,M)$ は可積分で $\int f_M\,d\lambda=1+\log M$ である。$D$ はエルゴード的なので、ほとんどすべての $x$ で $\liminf_nA_nf(x)\ge\lim_nA_nf_M(x)=1+\log M$ であり、$M=1,2,\dots$ にわたって例外の集合を合わせると $A_nf\to\infty$ である。

4 行目：$X_n=X_0$ なので割合は $\mathbf 1_{\{X_0=1\}}$ である。どの分布も $\pi I=\pi$ を満たす。$\square$

補足

すべての点での収束：無理数回転では、区間 $B=[a,b)$ について、例外の点なしにすべての $x$ で $\frac1n\#\{m< n\mid R_\alpha^mx\in B\}\to b-a$ が成り立つ（Dur19 Theorem 6.2.6（p. 338）。この記事では証明しない）。数列 $(m\alpha\bmod1)$ の一様分布として知られる結果である。
劣加法的エルゴード定理：和 $S_n$ を、$X_{0,m+n}\le X_{0,m}+X_{m,m+n}$ を満たす量に置き換えた一般化がある（Dur19 Theorem 6.4.1（p. 343）。この記事では証明しない）。
エントロピー：測度を保つ変換には、時間とともに増える情報の速さを測る測度論的エントロピーが定義される。分布のエントロピーの力学系版である。
統計力学との関係：統計力学では、気体の分子の運動のような力学系で、観測量の時間平均を相空間の平均で置き換えて計算する。この置き換えが許されるかどうかは、その力学系がエルゴード的かどうかという問題である。