測度論的エントロピー(measure-theoretic entropy)とは、確率空間の上の可測な変換 $T$ で測度を保つものについて、有限な分割 $\xi$ による軌道の記録 $\xi\vee T^{-1}\xi\vee\dots\vee T^{-(n-1)}\xi$ のエントロピーの増え方 $h(T,\xi)=\lim\frac1nH(\cdot)$ の、分割についての上限 $h_\mu(T)$ である。Kolmogorov–Sinai エントロピーとも呼ぶ。同型で不変で、生成分割 $\xi$ があれば $h_\mu(T)=h(T,\xi)$ となる。確率ベクトル $p$ の Bernoulli シフトでは $-\sum p_i\log p_i$ に等しく、円周の回転では $0$ である。
測度論的エントロピー(measure-theoretic entropy)は、確率測度を保つ変換 $T$ が 1 回の時間発展ごとに生み出す「新しい情報」の平均の量である。Kolmogorov–Sinai エントロピー、計量エントロピー(metric entropy)とも呼ばれ、$h_\mu(T)$ と書く。metric entropy の語は、全有界な距離空間を半径 $\varepsilon$ の球で覆うのに要る個数の対数(Kolmogorov の $\varepsilon$-エントロピー)を指すこともあり、それとは別の量である。空間を有限個の部分 $\xi=\{A_1,\dots,A_r\}$ に分け、点 $x$ の軌道 $x,Tx,\dots,T^{n-1}x$ がどの部分を通ったかの記録を考える。その記録の エントロピー は $n$ についてほぼ線形に増え、その傾き $h(T,\xi)$ の分割についての上限が $h_\mu(T)$ である。
測度論的エントロピーは同型で不変なので、同型でない系を区別する道具になる。たとえば、公平な硬貨を投げ続ける系($(1/2,1/2)$ の Bernoulli シフト)と、3 つの値が等確率で出る試行を続ける系($(1/3,1/3,1/3)$ の Bernoulli シフト)は、どちらも独立な試行の列という同じ種類の系だが、エントロピーが $\log2$ と $\log3$ で異なるので同型でない。
この記事では、分割のエントロピーの性質を確かめ、Kolmogorov–Sinai エントロピーを定義し、生成分割の定理(thm-mte-generator)を証明する。これを使って Bernoulli シフト、Markov シフト、円周の回転、2 倍写像のエントロピーを計算する。Ornstein の同型定理などは主張を述べる。
以下 $(X,\mathcal B,\mu)$ は確率空間とする。
可測写像 $T\colon X\to X$ が 測度を保つ とは、すべての $A\in\mathcal B$ について $\mu(T^{-1}A)=\mu(A)$ であることをいう。2 つの測度を保つ変換 $T$($(X,\mathcal B,\mu)$ 上)と $S$($(Y,\mathcal C,\nu)$ 上)が 同型 であるとは、測度 $1$ の部分集合 $X'\subset X$、$Y'\subset Y$ で $TX'\subset X'$、$SY'\subset Y'$ となるものと、全単射 $\phi\colon X'\to Y'$ で、$\phi$ と $\phi^{-1}$ が可測で測度を保ち、$X'$ の上で $\phi\circ T=S\circ\phi$ となるものがあることをいう。
分割 は、$X$ を有限個の可測集合に分けたもの $\xi=\{A_1,\dots,A_r\}$ をいう。2 つの分割の 結び $\xi\vee\eta$ は $A\cap C$($A\in\xi$、$C\in\eta$)の全体である。$\eta$ の各元が $\xi$ のある元に(測度 $0$ の差を除いて)含まれるとき、$\eta$ は $\xi$ の 細分 といい、$\xi\le\eta$ と書く。
$\varphi(t)=-t\log t$($\varphi(0)=0$)とする。分割 $\xi$ の エントロピー を
$$
H(\xi)=\sum_{A\in\xi}\varphi(\mu(A)),
$$
$\eta$ に関する 条件付きエントロピー を
$$
H(\xi\mid\eta)=\sum_{C\in\eta,\ \mu(C)>0}\mu(C)\sum_{A\in\xi}\varphi\Bigl(\frac{\mu(A\cap C)}{\mu(C)}\Bigr)
$$
と定める。
$H(\xi)$ は、点がどの元に入るかという確率分布 $(\mu(A))_{A\in\xi}$ の エントロピー そのものであり、$H(\xi\mid\eta)$ は条件付きエントロピーである。とくに連鎖律 $H(\xi\vee\eta)=H(\eta)+H(\xi\mid\eta)$ と劣加法性 $H(\xi\vee\eta)\le H(\xi)+H(\eta)$ は、エントロピー の定理「連鎖律と劣加法性」そのものである。以下ではさらに次を使う。
$\xi,\eta,\zeta$ を分割とする。
分割 $\xi$ に対し $\xi^n=\xi\vee T^{-1}\xi\vee\dots\vee T^{-(n-1)}\xi$ とおく。$\xi^n$ の元は $\{x:x\in A_{i_0},Tx\in A_{i_1},\dots,T^{n-1}x\in A_{i_{n-1}}\}$ の形で、長さ $n$ の軌道の「記録」が同じ点の集まりである。
$T$ が測度を保つとき、極限
$$
h(T,\xi)=\lim_{n\to\infty}\frac1nH(\xi^n)
$$
が存在し、$\inf_n\frac1nH(\xi^n)$ に等しい。また $0\le h(T,\xi)\le H(\xi)$ である。
$a_n=H(\xi^n)$ とおく。$\xi^{m+n}=\xi^m\vee T^{-m}\xi^n$ だから、劣加法性と prop-mte-basic の 5 により $a_{m+n}\le a_m+H(T^{-m}\xi^n)=a_m+a_n$ である。Feketeの補題 により $a_n/n$ は $\inf_na_n/n$ に収束する。$n=1$ から $h(T,\xi)\le H(\xi)$ である。$\square$
$h(T,\xi)$ を $T$ の 分割 $\xi$ に関するエントロピー、有限な分割すべてについての上限
$$
h_\mu(T)=\sup_\xi h(T,\xi)\in[0,\infty]
$$
を $T$ の 測度論的エントロピー(Kolmogorov–Sinai エントロピー)という。
同型 $\phi$ は分割を測度 $0$ の差を除いて対応させ、$H$ と $\xi^n$ の構成を保つので、同型な変換の測度論的エントロピーは等しい。
上限をとる定義のままでは計算できない。計算の鍵は、2 つの分割の比較である。
$\xi,\eta$ を分割とすると $h(T,\xi)\le h(T,\eta)+H(\xi\mid\eta)$ である。さらに $k\ge1$ について $h(T,\xi^k)=h(T,\xi)$ であり、$T$ が可逆で $T^{-1}$ も可測なら $h\bigl(T,\bigvee_{i=-k}^kT^{-i}\xi\bigr)=h(T,\xi)$ である。
連鎖律と prop-mte-basic の 2 から $H(\xi^n)\le H(\xi^n\vee\eta^n)=H(\eta^n)+H(\xi^n\mid\eta^n)$ である。prop-mte-basic の 4 を繰り返し、5 を使うと
$$
H(\xi^n\mid\eta^n)\le\sum_{i=0}^{n-1}H(T^{-i}\xi\mid T^{-i}\eta)=nH(\xi\mid\eta)
$$
である。$n$ で割って極限をとれば第 1 の主張を得る。$(\xi^k)^n=\xi^{n+k-1}$ だから $\frac1nH((\xi^k)^n)\to h(T,\xi)$ である。可逆な場合は、$\zeta=\bigvee_{-k}^kT^{-i}\xi$ について $\zeta^n=T^{k}\xi^{n+2k}$ で、$T$ は測度を保つから $H(\zeta^n)=H(\xi^{n+2k})$ である。$\square$
分割 $\xi$ が (片側の)生成分割 であるとは、$\bigcup_n\xi^n$ の元が生成する σ-代数が、測度 $0$ の差を除いて $\mathcal B$ に一致することをいう。すなわち、任意の $B\in\mathcal B$ に対し、その σ-代数の元 $B'$ で $\mu(B\triangle B')=0$ となるものがある。$T$ が可逆なとき、$\bigcup_k\bigvee_{i=-k}^kT^{-i}\xi$ について同じことが成り立つなら 両側の生成分割 という。
証明の要は、細かくなる分割で条件をつけると、どの分割の不確かさも消えていくことである。
分割の列 $\zeta_1\le\zeta_2\le\cdots$ の元が生成する σ-代数が、測度 $0$ の差を除いて $\mathcal B$ に一致するとする。このとき任意の分割 $\eta$ について $H(\eta\mid\zeta_n)\to0$ である。
$\mathcal F_n$ を $\zeta_n$ が生成する有限な σ-代数、$P_n$ を $L^2(\mu)$ から $\mathcal F_n$-可測な関数の空間への直交射影とする。$P_n$ は 条件付き期待値 $E[\,\cdot\mid\mathcal F_n]$ で、$A\in\eta$ について $g_n^A=P_n1_A=\sum_{C\in\zeta_n}\frac{\mu(A\cap C)}{\mu(C)}1_C$ であるから
$$
H(\eta\mid\zeta_n)=\sum_{A\in\eta}\int\varphi(g_n^A)\,d\mu
$$
である。
$P_nf\to f$。 $\mathcal G_n$ を $\zeta_1\vee\dots\vee\zeta_n$ が生成する有限な σ-代数とすると、$\bigcup_n\mathcal G_n$ は集合の代数で、$\mathcal B$ を測度 $0$ の差を除いて生成する。細分の仮定から、$\mathcal G_n$ の各元は測度 $0$ の差を除いて $\mathcal F_n$ の元に等しい。測度の近似定理により、任意の $B\in\mathcal B$ と $\varepsilon>0$ に対し $C\in\bigcup_n\mathcal G_n$ で $\mu(B\triangle C)<\varepsilon$ となるものがある。ゆえに単関数、したがって $L^2(\mu)$ の全体が、部分空間の和 $\bigcup_n\operatorname{ran}P_n$ の閉包に含まれる。$f\in L^2$ と $\varepsilon>0$ に対し $g\in\operatorname{ran}P_N$ を $\|f-g\|_2<\varepsilon$ ととると、$n\ge N$ で $g\in\operatorname{ran}P_n$ であり、$P_nf$ は $\operatorname{ran}P_n$ の中で $f$ に最も近いので $\|f-P_nf\|_2\le\|f-g\|_2<\varepsilon$ である。
結論。 よって $g_n^A\to1_A$ が $L^2$ で、したがって測度で成り立つ。$\varphi$ は $[0,1]$ で連続、$\varphi(0)=\varphi(1)=0$、$0\le\varphi\le1/e$ だから、$\varphi(g_n^A)$ は $0$ に測度で収束する一様に有界な列であり、積分は $0$ に収束する。$A$ について有限和をとる。$\square$
$T$ を確率空間 $(X,\mathcal B,\mu)$ の測度を保つ変換、$\xi$ を有限な分割とする。
$h(T,\xi)\le h_\mu(T)$ は定義から明らかなので、任意の有限な分割 $\eta$ について $h(T,\eta)\le h(T,\xi)$ を示せばよい。
1 の場合は $\zeta_k=\xi^k$、2 の場合は $\zeta_k=\bigvee_{i=-k}^kT^{-i}\xi$ とおく。どちらも $\zeta_1\le\zeta_2\le\cdots$ で、生成分割の仮定により、その元が生成する σ-代数は測度 $0$ の差を除いて $\mathcal B$ に一致する。
lem-mte-compare の第 1 の主張を $\xi$ の代わりに $\eta$、$\eta$ の代わりに $\zeta_k$ として当てると
$$
h(T,\eta)\le h(T,\zeta_k)+H(\eta\mid\zeta_k)
$$
である。lem-mte-compare の後半により $h(T,\zeta_k)=h(T,\xi)$ である。lem-mte-continuity により $H(\eta\mid\zeta_k)\to0$($k\to\infty$)である。ゆえに $h(T,\eta)\le h(T,\xi)$ である。$\eta$ について上限をとって $h_\mu(T)\le h(T,\xi)$ を得る。$\square$
thm-mte-generator の 2 と $h(T,\xi)\le H(\xi)\le\log k$ から、$k$ 個の元からなる両側の生成分割があれば $h_\mu(T)\le\log k$ である。逆向きに、標準確率空間の可逆でエルゴード的な $T$(ほとんどすべての点が周期点でないもの)で $h_\mu(T)<\log k$ なら、$k$ 個の元からなる両側の生成分割があることが知られている(Kriegerの生成元定理)。
$B(p_1,\dots,p_k)$(両側でも片側でもよい)のエントロピーは
$$
h_{\mu_p}(\sigma)=-\sum_{i=1}^kp_i\log p_i
$$
である。
$\xi=\{[1],\dots,[k]\}$、$[i]=\{x:x_0=i\}$ とする。$\sigma^{-j}[i]=\{x:x_j=i\}$ だから、$\bigvee_{j=-m}^m\sigma^{-j}\xi$ の元は座標 $-m,\dots,m$ を指定した柱状集合であり、それらの全体は直積の σ-代数を生成する。よって $\xi$ は両側の生成分割である(片側のシフトでは $\xi^n$ の元が座標 $0,\dots,n-1$ の柱状集合で、片側の生成分割である)。$\xi^n$ の元 $\{x:x_0=i_0,\dots,x_{n-1}=i_{n-1}\}$ の測度は $p_{i_0}\cdots p_{i_{n-1}}$ だから、直積分布のエントロピーは和になり(エントロピー の連鎖律で独立な場合)、$H(\xi^n)=nH(p)$ である。thm-mte-generator により $h_{\mu_p}(\sigma)=h(\sigma,\xi)=H(p)$ である。$\square$
$B(1/2,1/2)$ と $B(1/3,1/3,1/3)$ は同型でない。エントロピーはそれぞれ $\log2$、$\log3$ である。
これは、Kolmogorov と Sinai がエントロピーを測度を保つ変換に持ち込んで得た非同型の結果の代表例である(Aus18 arXiv 版 p. 3)。逆に両側の $B(1/4,1/4,1/4,1/4)$ と $B(1/2,1/8,1/8,1/8,1/8)$ はどちらもエントロピー $2\log2$ をもち、下の Ornstein の定理により同型である。
$k\times k$ の確率行列 $P=(P_{ij})$ と、$\pi P=\pi$ を満たす確率ベクトル $\pi$ に対し、$\Sigma_k$ の上の測度を $\mu([i_0,\dots,i_{n-1}])=\pi_{i_0}P_{i_0i_1}\cdots P_{i_{n-2}i_{n-1}}$(座標 $0,\dots,n-1$ の柱状集合)で定める。これは定常な Markov連鎖 の分布で、シフトで不変である。同じ分割 $\xi$ について、連鎖律から
$$
H(\xi^{n+1})-H(\xi^n)=\sum_{i_0,\dots,i_{n-1}}\mu([i_0,\dots,i_{n-1}])\sum_j\varphi(P_{i_{n-1}j})=\sum_i\pi_i\sum_j\varphi(P_{ij})
$$
である(最後の座標の分布は $\pi$)。ゆえに $h_\mu(\sigma)=-\sum_{i,j}\pi_iP_{ij}\log P_{ij}$ である。たとえば 2 状態で $P=\begin{pmatrix}1-a&a\\a&1-a\end{pmatrix}$ なら $\pi=(1/2,1/2)$ で、$h=-a\log a-(1-a)\log(1-a)$ である。各座標の分布は $B(1/2,1/2)$ と同じだが、$a\ne1/2$ ならエントロピーは $\log2$ より小さい。
$D(x)=2x\bmod1$ と $\xi=\{[0,1/2),[1/2,1)\}$ について、$x\in D^{-i}[0,1/2)$ は $x$ の 2 進展開の第 $i+1$ 桁が $0$ であることと同値である。ゆえに $\xi^n$ は長さ $2^{-n}$ の 2 進区間の全体で、$H(\xi^n)=n\log2$ である。2 進区間は Borel 集合族を生成するので $\xi$ は片側の生成分割であり、$h(D)=\log2$ である。2 進展開は $D$ を片側の $B(1/2,1/2)$ に移す同型を与える。
任意の $\alpha$ について $h(R_\alpha)=0$ である。
$\alpha$ が有理数 $p/q$ なら $R_\alpha^{-q}$ は恒等写像なので、任意の分割 $\eta$ について $n\ge q$ で $\eta^n=\eta^q$ であり、$h(R_\alpha,\eta)=\lim H(\eta^q)/n=0$ である。
$\alpha$ が無理数なら $\xi=\{[0,1/2),[1/2,1)\}$ をとる。$R_\alpha^{-j}\xi$ は点 $-j\alpha$ と $1/2-j\alpha$ で円周を 2 つの弧に分けるので、$\xi^n$ の元は $2n$ 個以下の点で区切られた弧であり、個数は $2n$ 以下である。よって $H(\xi^n)\le\log(2n)$ で $h(R_\alpha,\xi)=0$ である。一方、区切りの点の集合 $\{-j\alpha,1/2-j\alpha:j\ge0\}$ は円周で稠密なので、任意の開いた弧はこれらの点を端点とする弧の可算和であり、$\xi$ は片側の生成分割である。thm-mte-generator により $h(R_\alpha)=0$ である。$\square$
次の 2 つの定理は主張だけを述べる(この記事では証明しない)。
$T$ がエルゴード的(不変集合の測度が $0$ か $1$)で、$\xi$ が有限な分割のとき、$\xi^n(x)$ を $x$ を含む $\xi^n$ の元とすると
$$
-\frac1n\log\mu(\xi^n(x))\to h(T,\xi)
$$
が、ほとんどすべての $x$ について、また $L^1$ で成り立つ(You03 Theorem 1、p. 3)。
つまり、典型的な軌道の長さ $n$ の記録はおよそ $e^{nh}$ 通りあり、それぞれの確率はおよそ $e^{-nh}$ である。これは独立な記号列の典型的な列の定理(エントロピー の定理「典型的な列の個数」)を、エルゴード的な系へ広げたものであり、証明には エルゴード定理 を使う。
エントロピーが等しい 2 つの両側 Bernoulli シフトは同型である(1970 年。Aus18 arXiv 版 p. 3)。
thm-mte-bernoulli と合わせると、両側 Bernoulli シフトはエントロピーだけで同型を除いて分類される。一般の系ではエントロピーは完全な不変量ではない(ex-mte-table)。同型問題の経緯と、有限的な同型、Sinai の因子定理、Bernoulli でない K 自己同型などのその後の結果は Bernoulliシフト の節「同型問題と Ornstein の定理」にまとめてある。標準確率空間のエルゴード的な自己同型はどれも、任意の $\varepsilon>0$ について「Bernoulli シフトとエントロピー $\varepsilon$ 未満の系の直積」に分解できる(Thouvenot の弱 Pinsker 性。Austin、2018 年。Aus18 の要旨)。
コンパクト距離空間の連続写像 $T$ については、位相エントロピー $h_{\mathrm{top}}(T)$ が不変 Borel 確率測度 $\mu$ についての $h_\mu(T)$ の上限に等しい(変分原理。You03 Theorem 2、p. 3)。
各行は、ある主張の仮定をちょうど 1 つ外す。
| 主張と外す仮定 | 例 | 成り立たなくなること |
|---|---|---|
| thm-mte-generator:$\xi$ が生成分割 | $B(1/4,1/4,1/4,1/4)$ と、$x_0\in\{1,2\}$ かどうかによる分割 $\xi$ | $h(\sigma,\xi)=\log2$ だが $h_\mu(\sigma)=2\log2$ |
| thm-mte-generator:$\xi$ が有限な分割 | $X=\mathbb Z_{\ge2}$、$\mu(\{m\})=c/(m\log^2m)$、$T=\mathrm{id}$、$\xi$ は 1 点集合の分割(生成分割で $H(\xi)=\infty$) | $\frac1nH(\xi^n)=\infty$ だが、有限な $\eta$ では $\eta^n=\eta$ なので $h_\mu(T)=0$ |
| thm-mte-bernoulli:座標の独立性 | 2 状態で $a\ne1/2$ の Markov シフト(各座標の分布は $(1/2,1/2)$) | エントロピーは $-a\log a-(1-a)\log(1-a)<\log2=H(1/2,1/2)$ |
| thm-mte-ornstein:Bernoulli シフトであること | $[0,1)$ の恒等写像と無理数の回転 $R_\alpha$ | どちらもエントロピー $0$ だが、$R_\alpha$ はエルゴード的で恒等写像はそうでないので同型でない |
| lem-mte-continuity:分割の列が $\mathcal B$ を生成 | すべての $k$ で $\zeta_k=\{X\}$ | $H(\eta)>0$ の $\eta$ について $H(\eta\mid\zeta_k)=H(\eta)$ は $0$ に近づかない |
2 行目の $H(\xi)=\sum_mc\,\frac{\log m+2\log\log m-\log c}{m\log^2m}$ は、$\sum1/(m\log m)=\infty$ により発散する。
定義と Shannon–McMillan–Breiman の定理、変分原理は You03 の §1(Definition 1.2、Theorem 1・2、pp. 2–3)にある。Ornstein の定理の歴史的な位置づけと弱 Pinsker 性は Aus18 の要旨と序文(pp. 1–3)による。lem-mte-continuity の直交射影による証明はこの記事の組み立てである。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する