大偏差原理

同義語:large deviation principle

概要

大偏差原理(large deviation principle)とは、確率測度の族 $(\mu_\varepsilon)$ について、閉集合 $F$ では $\limsup\varepsilon\log\mu_\varepsilon(F)\le-\inf_FI$、開集合 $G$ では $\liminf\varepsilon\log\mu_\varepsilon(G)\ge-\inf_GI$ が成り立つことをいう。下半連続な関数 $I$ を率関数と呼び、稀な事象の確率が指数の速さで小さくなる割合を与える。率関数は族から一意に決まる。縮約原理、Varadhan の補題、Gärtner–Ellis の定理が基本の道具で、Cramér・Sanov・Schilder の定理はその例である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Cramérの定理(大偏差), 距離空間, 下半連続, Legendre変換

大偏差原理(large deviation principle)とは、確率測度の族 $(\mu_\varepsilon)_{\varepsilon>0}$ が $\varepsilon\to0$ で 1 点に集中していくとき、その点から離れた集合 $A$ の確率が
$$ \mu_\varepsilon(A)\approx\exp\Bigl(-\frac1\varepsilon\inf_{x\in A}I(x)\Bigr) $$
のように指数の速さで小さくなることを、閉集合での上からの評価と開集合での下からの評価の組として述べる枠組みである。関数 $I$ を 率関数 という。大数の法則 が「平均から離れる確率は $0$ に近づく」と言い、中心極限定理 が平均の近くの $1/\sqrt n$ の程度の揺れを述べるのに対し、大偏差原理は「平均から一定の距離だけ離れる」という稀な事象の確率の指数の割合を与える。
独立同分布の和についての Cramérの定理(大偏差)、経験分布についての Sanovの定理、小さくした Brown 運動の道についての Schilderの定理、小さな雑音を加えた力学系についての Freidlin–Wentzell理論 は、どれもこの枠組みの例である。この記事はそれらを束ねる一般論を扱う。

  • 定義と基本性質。率関数は族から一意に決まり(prop-ldp-unique)、良い率関数なら測度は $I$ の零点の近くに指数の速さで集中する(prop-ldp-basic)。
  • 小さな球の確率から弱い形の原理を得る判定法(prop-ldp-balls)と、弱い形を 指数的緊密性 で完全な形に上げる定理(thm-ldp-weak-to-full)。
  • 写像で移す縮約原理(thm-ldp-contraction)と、指数関数の積分の割合を $\sup(\Phi-I)$ で与える Varadhan の補題(thm-ldp-varadhan)、その系として重みをつけた測度の大偏差原理(cor-ldp-tilt)。
  • 対数積率母関数の極限の Legendre 変換を率関数とする Gärtner–Ellis の定理(thm-ldp-ge)。証明は prop-ldp-ge-upper と prop-ldp-ge-lower で与える。

定義

$(\mathcal X,d)$ を距離空間とし、$\mathcal X$ の上の Borel 確率測度の族 $(\mu_\varepsilon)_{\varepsilon>0}$ を考える。集合 $A$ の閉包を $\overline A$、内部を $A^\circ$ と書き、空集合の上の下限は $+\infty$ とする。$B(x,\delta)$ は中心 $x$、半径 $\delta$ の開球である。

率関数と大偏差原理
  1. 関数 $I\colon\mathcal X\to[0,\infty]$ が 下半連続 であるとき 率関数 という。すべての $a\ge0$ について水準集合 $\{x\mid I(x)\le a\}$ がコンパクトなら 良い率関数 という。
  2. 率関数 $I$ について、すべての閉集合 $F$ で
    $$ \limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(F)\le-\inf_{x\in F}I(x) $$
    (上からの評価)が成り立ち、すべての開集合 $G$ で
    $$ \liminf_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(G)\ge-\inf_{x\in G}I(x) $$
    (下からの評価)が成り立つとき、$(\mu_\varepsilon)$ は 速さ $1/\varepsilon$、率関数 $I$ の大偏差原理 を満たすという。確率変数の族 $(X_\varepsilon)$ については、その分布の族について同じ言い方をする。

測度の列 $(\mu_n)$ と $a_n\to\infty$ については、$\varepsilon$ を $1/a_n$ に替えて 速さ $a_n$ の大偏差原理 という(AGZ10 Definition D.1、p. 431)。独立な和の平均では $a_n=n$ で、これが Cramérの定理(大偏差) の定義「大偏差原理」の形である。以下の結果は列の形でも同じ証明で成り立つ。$\log0=-\infty$ と約束する。
2 つの評価を合わせると、$\inf_{A^\circ}I=\inf_{\overline A}I$ となる Borel 集合 $A$ については
$$ \lim_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(A)=-\inf_{x\in A}I(x) $$
が成り立つ。上からの評価を閉でない集合へ、下からの評価を開でない集合へ広げることはできない(ex-ldp-counter)。点の確率 $\mu_\varepsilon(\{x\})$ は $0$ であることが多いので、等式を集合ごとに要求すると例がほとんど残らない。開と閉で評価を分けるのはこのためである。

正規分布の族

$\mu_\varepsilon:=N(0,\varepsilon)$($\mathbb R$ 上)は、速さ $1/\varepsilon$、良い率関数 $I(x)=x^2/2$ の大偏差原理を満たす。実際 $a>0$ について、$Z\sim N(0,1)$ の裾の評価 $\frac{t}{1+t^2}\varphi(t)\le P(Z\ge t)\le\varphi(t)/t$($\varphi$ は標準正規分布の密度、$t>0$)を $t=a/\sqrt\varepsilon$ で使うと $\varepsilon\log\mu_\varepsilon([a,\infty))\to-a^2/2$ であり、区間 $(a,b)$($0\le a< b$)についても $\mu_\varepsilon((a,b))\ge\mu_\varepsilon((a,a+\eta))\ge\eta\,\varphi((a+\eta)/\sqrt\varepsilon)/\sqrt\varepsilon$ から $\liminf\varepsilon\log\mu_\varepsilon((a,b))\ge-(a+\eta)^2/2$ である($\eta< b-a$ は任意)。閉集合 $F$ は $0$ を含まなければ $(-\infty,-a]\cup[a,\infty)$($a:=\min_F\lvert x\rvert$)に含まれ、開集合は区間の和なので、評価は一般の集合に広がる。

基本性質

率関数の基本性質

$(\mu_\varepsilon)$ が率関数 $I$ の大偏差原理を満たすとする。

  1. $\inf_{x\in\mathcal X}I(x)=0$ である。
  2. $I$ が良い率関数なら、零点の集合 $N:=\{x\mid I(x)=0\}$ は空でないコンパクト集合で、$N$ を含む任意の開集合 $U$ について $\limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(\mathcal X\setminus U)< 0$ である。とくに $\mu_\varepsilon(\mathcal X\setminus U)\to0$ である。
全体の集合と、水準集合のコンパクト性

要点:全体の集合に上からの評価を当てると $\inf I=0$ が出る。2 は、零点を避ける閉集合の上で $I$ が正の下限をもつことを、水準集合のコンパクト性から示す。

詳しい証明を開く

1。 $\mathcal X$ は閉集合なので、上からの評価から $0=\limsup\varepsilon\log\mu_\varepsilon(\mathcal X)\le-\inf I$ で、$\inf I\le0$ である。$I\ge0$ なので等号が成り立つ。

2。 $\{I\le1\}$ はコンパクトで、1 から $I(x_k)\to0$ となる点列がその中にとれる。収束する部分列の極限 $x$ では、下半連続性から $I(x)\le\liminf I(x_k)=0$ なので $N\ne\emptyset$ である。$N=\{I\le0\}$ はコンパクトである。次に $F:=\mathcal X\setminus U$ は閉集合で $N$ と交わらない。もし $\inf_FI=0$ なら、$F$ の点列 $y_k$ で $I(y_k)\to0$ となるものがコンパクトな $\{I\le1\}$ にとれ、部分列の極限 $y$ は $F$ が閉なので $F$ に属し、$I(y)=0$ となって矛盾する。よって $c:=\inf_FI>0$ で、上からの評価から $\limsup\varepsilon\log\mu_\varepsilon(F)\le-c< 0$ である。$\square$

2 は大数の法則の型の主張である。$N$ が 1 点 $\{x_0\}$ なら $\mu_\varepsilon$ は $\delta_{x_0}$ に弱収束し、しかも $x_0$ から離れる確率は指数の速さで小さくなる。

率関数の一意性

$(\mu_\varepsilon)$ が率関数 $I$ の大偏差原理を満たすとき、すべての $x\in\mathcal X$ について
$$ -I(x)=\lim_{\delta\to0}\liminf_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(B(x,\delta))=\lim_{\delta\to0}\limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(B(x,\delta)) $$
である。とくに、大偏差原理を満たす率関数は 1 つしかない。

開球で下から、閉球で上から挟む

要点:開球には下からの評価、閉球には上からの評価を当て、下半連続性で閉球の上の下限が $I(x)$ に近づくことを使う。

詳しい証明を開く

2 つの量は $\delta$ について単調なので、$\delta\to0$ の極限は存在する。開球 $B(x,\delta)$ は $x$ を含むので、下からの評価から $\liminf\varepsilon\log\mu_\varepsilon(B(x,\delta))\ge-\inf_{B(x,\delta)}I\ge-I(x)$ である。一方、閉球 $\overline B_\delta:=\{y\mid d(x,y)\le\delta\}$ は $B(x,\delta)$ を含む閉集合なので、上からの評価から

$$\limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(B(x,\delta))\le-\inf_{\overline B_\delta}I$$

である。$c< I(x)$ を任意にとると、下半連続性から $x$ のある近傍で $I>c$ なので、十分小さい $\delta$ で $\inf_{\overline B_\delta}I\ge c$ である。よって右辺は $\delta\to0$ で $-I(x)$ 以下に近づく。2 つの評価で挟まれて、2 つの極限はともに $-I(x)$ である。左辺は族 $(\mu_\varepsilon)$ だけで決まるので、率関数は一意である。$\square$

弱い大偏差原理と指数的緊密性

大偏差原理を示すときは、まず小さな球や有限次元の量の確率を計算し、コンパクト集合についての評価を得てから、全体の空間へ広げることが多い。

弱い大偏差原理と指数的緊密性
  1. 率関数 $I$ について、下からの評価がすべての開集合で、上からの評価がすべての コンパクト 集合で成り立つとき、$(\mu_\varepsilon)$ は 弱い大偏差原理 を満たすという。
  2. すべての $L< \infty$ について、コンパクト集合 $K_L$ で $\limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(\mathcal X\setminus K_L)\le-L$ となるものがあるとき、$(\mu_\varepsilon)$ は 指数的に緊密 であるという。

指数的緊密性は、Prokhorovの定理 の緊密性を、はみ出す確率が指数の速さで小さいことに強めたものである。$\mathcal X=\mathbb R^d$ なら、$K_L$ を大きな閉球にとれば、$\limsup\varepsilon\log\mu_\varepsilon(\{\lvert x\rvert>R\})\to-\infty$($R\to\infty$)と同値である。
評価を合わせるときには、次の初等的な事実を何度も使う。

最大の項の原理

$a^{(1)}_\varepsilon,\dots,a^{(k)}_\varepsilon\ge0$ について
$$ \limsup_{\varepsilon\to0}\varepsilon\log\sum_{j=1}^ka^{(j)}_\varepsilon=\max_{1\le j\le k}\limsup_{\varepsilon\to0}\varepsilon\log a^{(j)}_\varepsilon . $$

$\max_ja^{(j)}_\varepsilon\le\sum_ja^{(j)}_\varepsilon\le k\max_ja^{(j)}_\varepsilon$ の対数をとって $\varepsilon$ を掛け、$\varepsilon\log k\to0$ を使う。有限個の量の $\limsup$ について $\limsup_\varepsilon\max_j=\max_j\limsup_\varepsilon$ である。$\square$

小さな球による判定

関数 $I\colon\mathcal X\to[0,\infty]$ が、すべての $x\in\mathcal X$ で
$$ -I(x)=\lim_{\delta\to0}\liminf_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(B(x,\delta))=\lim_{\delta\to0}\limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(B(x,\delta)) $$
を満たすとする。このとき $I$ は率関数であり、$(\mu_\varepsilon)$ は率関数 $I$ の弱い大偏差原理を満たす。

球で覆い、最大の項をとる

要点:下からの評価は開集合に含まれる小さな球から、コンパクト集合の上からの評価は有限個の球の被覆と lem-ldp-max から出る。下半連続性も球の包含から出る。

詳しい証明を開く

$\ell(x,\delta):=\liminf_\varepsilon\varepsilon\log\mu_\varepsilon(B(x,\delta))$、$u(x,\delta):=\limsup_\varepsilon\varepsilon\log\mu_\varepsilon(B(x,\delta))$ とおく。どちらも $\delta$ について非減少で、$\delta\downarrow0$ で $-I(x)$ に近づくので、すべての $\delta>0$ で $\ell(x,\delta)\ge-I(x)$、$u(x,\delta)\ge-I(x)$ である。

下半連続性。 $d(x,y)< \delta/2$ なら $B(y,\delta/2)\subset B(x,\delta)$ なので $-I(y)\le u(y,\delta/2)\le u(x,\delta)$ である。よって $\liminf_{y\to x}I(y)\ge-u(x,\delta)$ で、$\delta\to0$ として $\liminf_{y\to x}I(y)\ge I(x)$ である。

下からの評価。 $G$ が開集合で $x\in G$ なら、$B(x,\delta)\subset G$ となる $\delta$ をとって $\liminf\varepsilon\log\mu_\varepsilon(G)\ge\ell(x,\delta)\ge-I(x)$ である。$x\in G$ について上限をとればよい。

コンパクト集合の上からの評価。 $K$ をコンパクト、$\eta>0$ とし、$I^\eta:=\min(I,1/\eta)$ とおく。各 $x\in K$ について $u(x,\delta_x)\le-I^\eta(x)+\eta$ となる $\delta_x>0$ をとる。有限個の球 $B(x_i,\delta_{x_i})$ で $K$ を覆うと、lem-ldp-max から $\limsup\varepsilon\log\mu_\varepsilon(K)\le\max_i(-I^\eta(x_i)+\eta)\le-\inf_KI^\eta+\eta$ である。$\eta\to0$ で $\inf_KI^\eta\to\inf_KI$(値が $\infty$ の場合も含む)なので、評価が得られる。$\square$

この判定法は AGZ10 Corollary D.6(p. 432)と同じ主張である。

弱い大偏差原理から完全な大偏差原理へ

$(\mu_\varepsilon)$ が率関数 $I$ の弱い大偏差原理を満たし、指数的に緊密なら、$(\mu_\varepsilon)$ は率関数 $I$ の大偏差原理を満たし、$I$ は良い率関数である。

コンパクト集合の外は指数的に小さい

上からの評価。 $F$ を閉集合、$L< \infty$ とし、$K_L$ を指数的緊密性の定義のコンパクト集合とする。$F\cap K_L$ はコンパクトなので、$\mu_\varepsilon(F)\le\mu_\varepsilon(F\cap K_L)+\mu_\varepsilon(\mathcal X\setminus K_L)$ と lem-ldp-max から
$$ \limsup_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(F)\le\max\Bigl(-\inf_{F\cap K_L}I,\ -L\Bigr)\le\max\Bigl(-\inf_FI,\ -L\Bigr) $$
である。$L\to\infty$ として閉集合の上からの評価を得る。
良い率関数。 $a\ge0$ とし、$L>a$ をとる。$\mathcal X\setminus K_L$ は開集合なので、下からの評価から
$$ -\inf_{\mathcal X\setminus K_L}I\le\liminf_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(\mathcal X\setminus K_L)\le-L $$
である。よって $K_L$ の外では $I\ge L>a$ で、$\{I\le a\}\subset K_L$ である。$\{I\le a\}$ は下半連続性から閉集合で、コンパクト集合の閉部分集合なのでコンパクトである。$\square$

これは AGZ10 Theorem D.4 (a)(p. 432)の主張である。逆に、Polish 空間の上の測度の列 $(\mu_N)$ が良い率関数の上からの評価を満たせば、その列は指数的に緊密になる(同 Theorem D.4 (b)。この記事では証明しない)。指数的緊密性を外すと結論は成り立たない(ex-ldp-counter の 2 行目)。

縮約原理と Varadhan の補題

大偏差原理は連続写像で移せる。率関数は「像の点に写る点のうち、最も起こりやすいもの」の値になる。

縮約原理

$(\mu_\varepsilon)$ が $\mathcal X$ の上で良い率関数 $I$ の大偏差原理を満たし、$f\colon\mathcal X\to\mathcal Y$ が距離空間への連続写像なら、像の測度の族 $(\mu_\varepsilon\circ f^{-1})$ は良い率関数
$$ J(y):=\inf\{I(x)\mid f(x)=y\} $$
の大偏差原理を満たす。

証明の所在

証明は Schilderの定理 の命題「縮約原理」にあり、この記事と同じ仮定で示されている(AGZ10 Theorem D.7、pp. 432–433 も同じ主張)。要点は、$f^{-1}$ が開集合と閉集合を保ち、$\inf_{f^{-1}(B)}I=\inf_BJ$ となることである。$I$ が良いことは、$J$ が下半連続であることを示すのに使う。

次の Varadhan の補題は、有限次元の Laplaceの方法 を大偏差原理の言葉に移したものである。証明では、上からの評価と下からの評価をそれぞれ閉集合と開集合の上の積分に分けて示す。

閉集合と開集合の上の指数積分

$(\mu_\varepsilon)$ が率関数 $I$ の大偏差原理を満たし、$\Phi\colon\mathcal X\to\mathbb R$ が有界な連続関数とする。

  1. 閉集合 $F$ について $\displaystyle\limsup_{\varepsilon\to0}\varepsilon\log\int_Fe^{\Phi/\varepsilon}\,d\mu_\varepsilon\le\sup_{x\in F}\bigl(\Phi(x)-I(x)\bigr)$。
  2. 開集合 $G$ について $\displaystyle\liminf_{\varepsilon\to0}\varepsilon\log\int_Ge^{\Phi/\varepsilon}\,d\mu_\varepsilon\ge\sup_{x\in G}\bigl(\Phi(x)-I(x)\bigr)$。
    ここで $I(x)=\infty$ の点では $\Phi(x)-I(x)=-\infty$ と読む。
値の範囲を細かく分ける

要点:閉集合の側は $\Phi$ の値の範囲を幅 $\eta$ の区間に分けて各片に上からの評価を当て、最大の項をとる。開集合の側は 1 点の近くで $\Phi$ がほぼ一定の開集合に下からの評価を当てる。

詳しい証明を開く

1。 $M:=\sup\lvert\Phi\rvert$、$\eta>0$ とし、$c_j:=-M+j\eta$($j=0,1,\dots,k$、$c_k\ge M$)とおく。$F_j:=F\cap\Phi^{-1}([c_{j-1},c_j])$($j=1,\dots,k$)は $\Phi$ の連続性から閉集合で、$F$ を覆う。$F_j$ の上では $\Phi\le c_j$ なので

$$\int_Fe^{\Phi/\varepsilon}\,d\mu_\varepsilon\le\sum_{j=1}^ke^{c_j/\varepsilon}\mu_\varepsilon(F_j)$$

である。lem-ldp-max と上からの評価から、左辺の $\limsup\varepsilon\log$ は $\max_j\bigl(c_j-\inf_{F_j}I\bigr)$ 以下である。$F_j$ の上では $c_j\le\Phi+\eta$ なので $c_j-\inf_{F_j}I=\sup_{x\in F_j}(c_j-I(x))\le\sup_F(\Phi-I)+\eta$ である($F_j=\emptyset$ の項は $-\infty$)。$\eta\to0$ とすればよい。

2。 $x\in G$ で $I(x)< \infty$ とし、$\eta>0$ をとる。$U:=G\cap\{\Phi>\Phi(x)-\eta\}$ は $x$ を含む開集合なので、下からの評価から

$$\liminf_{\varepsilon\to0}\varepsilon\log\int_Ge^{\Phi/\varepsilon}\,d\mu_\varepsilon\ge\Phi(x)-\eta+\liminf_{\varepsilon\to0}\varepsilon\log\mu_\varepsilon(U)\ge\Phi(x)-\eta-I(x)$$

である。$\eta\to0$ とし、$x\in G$ について上限をとる。$\square$

Varadhanの補題

$(\mu_\varepsilon)$ が率関数 $I$ の大偏差原理を満たし、$\Phi\colon\mathcal X\to\mathbb R$ が有界な連続関数なら
$$ \lim_{\varepsilon\to0}\varepsilon\log\int_{\mathcal X}e^{\Phi(x)/\varepsilon}\,\mu_\varepsilon(dx)=\sup_{x\in\mathcal X}\bigl(\Phi(x)-I(x)\bigr) $$
である。

全体の空間に当てる

$\mathcal X$ は開集合でも閉集合でもあるので、lem-ldp-varadhan-parts の 1 と 2 を $F=G=\mathcal X$ に当てると、$\limsup$ と $\liminf$ が同じ値で挟まれる。右辺は prop-ldp-basic の 1 から $-\sup\lvert\Phi\rvert$ 以上で有限である。$\square$

AGZ10 Theorem D.8(p. 433)は良い率関数を仮定して述べているが、$\Phi$ が有界で連続なら上の証明のとおり良さは使わない。$\Phi$ が有界でないときは、$\Phi$ の大きな値の寄与が指数的に小さいという裾の条件が要る。連続性を外すと結論は成り立たない(ex-ldp-counter の 3 行目)。

重みをつけた測度の大偏差原理

thm-ldp-varadhan の仮定のもとで、$Z_\varepsilon:=\int e^{\Phi/\varepsilon}d\mu_\varepsilon$、$\nu_\varepsilon(dx):=Z_\varepsilon^{-1}e^{\Phi(x)/\varepsilon}\mu_\varepsilon(dx)$ とおく。$(\nu_\varepsilon)$ は率関数
$$ J(x):=I(x)-\Phi(x)+\sup_{y\in\mathcal X}\bigl(\Phi(y)-I(y)\bigr) $$
の大偏差原理を満たす。$I$ が良い率関数なら $J$ も良い率関数である。

$c:=\sup(\Phi-I)$ とおく。$J\ge0$ で、$I$ が下半連続、$\Phi$ が連続なので $J$ は下半連続である。閉集合 $F$ について、lem-ldp-varadhan-parts の 1 と thm-ldp-varadhan から $\limsup\varepsilon\log\nu_\varepsilon(F)\le\sup_F(\Phi-I)-c=-\inf_FJ$ である。開集合も 2 から同じである。$I$ が良いなら、$\{J\le a\}=\{I\le\Phi+a-c\}$ は閉集合で $\{I\le\sup\Phi+a-c\}$ に含まれるのでコンパクトである。$\square$

統計力学では $\mu_\varepsilon$ を何も相互作用のない系の分布、$\Phi$ を(符号を変えた)エネルギーと読む。$\nu_\varepsilon$ は Gibbs測度 にあたり、$J$ の零点が平衡状態を与える。Curie–Weissモデル の相転移は、$J$ の零点が 1 つから 2 つに分かれることとして見ることができる。

Gärtner–Ellis の定理

Cramérの定理(大偏差) は独立な和の率関数を対数積率母関数の Legendre変換 で与える。独立性を外しても、対数積率母関数の極限が存在して十分なめらかなら同じ形の結論が成り立つ。
以下 $(X_\varepsilon)$ を $\mathbb R^d$ 値の確率変数の族とし、$\theta\in\mathbb R^d$ について
$$ \Lambda(\theta):=\lim_{\varepsilon\to0}\varepsilon\log E\bigl[e^{\langle\theta,X_\varepsilon\rangle/\varepsilon}\bigr],\qquad\Lambda^*(x):=\sup_{\theta\in\mathbb R^d}\bigl(\langle\theta,x\rangle-\Lambda(\theta)\bigr) $$
とおく。極限が存在すれば $\Lambda$ は Hölderの不等式 から凸で、$\Lambda(0)=0$ なので $\Lambda^*\ge0$ である。

Gärtner–Ellisの定理

$d=1$ とする。すべての $\theta\in\mathbb R$ について $\Lambda(\theta)$ が実数として存在し、$\Lambda$ が $\mathbb R$ の上で微分可能なら、$(X_\varepsilon)$ は良い率関数 $\Lambda^*$ の大偏差原理を満たす。

出典と、ここで証明する範囲

Tou09 §III.C.1(arXiv 版 pp. 13–14)は、実数値の確率変数の列 $(A_n)$ について同じ仮定のもとで同じ率関数を与えているが、大偏差原理を密度の形 $P(A_n\in da)\approx e^{-nI(a)}da$ に簡略化して述べている。閉集合と開集合の評価による定式化は同論文の付録 B(pp. 81–82)にある。同 §III.G(p. 23)によれば、この定理は Gärtner の結果を Ellis が一般化したもので、$\Lambda$ が一部の区間でしか有限・微分可能でない場合にも、急峻性(steepness)と呼ばれる条件のもとで成り立つ。以下では、上からの評価と率関数の良さを一般の $d$ で微分可能性を仮定せずに prop-ldp-ge-upper で示し、下からの評価を $d=1$ の場合に prop-ldp-ge-lower で示す。$d\ge2$ の下からの評価はこの記事では扱わない。

Gärtner–Ellis の上からの評価

すべての $\theta\in\mathbb R^d$ について $\Lambda(\theta)$ が実数として存在するとする。このとき $\Lambda^*$ は良い率関数で、すべての閉集合 $F\subset\mathbb R^d$ について
$$ \limsup_{\varepsilon\to0}\varepsilon\log P(X_\varepsilon\in F)\le-\inf_{x\in F}\Lambda^*(x) $$
である。

指数型の Chebyshev の不等式を小さな球に当てる

要点:$\Lambda^*$ はアフィン関数の上限なので下半連続で、座標方向の $\theta=\pm e_i$ から水準集合は有界である。各点の小さな球の確率を指数型の Chebyshev の不等式で抑え、有限個の球で覆う。座標ごとの Chebyshev の不等式から指数的緊密性も出るので、thm-ldp-weak-to-full の前半と同じ議論で閉集合へ広がる。

詳しい証明を開く

良い率関数。 $\Lambda^*$ はアフィン関数 $x\mapsto\langle\theta,x\rangle-\Lambda(\theta)$ の上限なので下半連続である。$e_i$ を標準基底、$C:=\max_i\max(\Lambda(e_i),\Lambda(-e_i))$ とすると、$\theta=\pm e_i$ を代入して $\Lambda^*(x)\ge\lvert x_i\rvert-C$ である。よって $\{\Lambda^*\le a\}$ は有界な閉集合でコンパクトである。

指数的緊密性。 $R>0$ について、Markov の不等式から $P(\pm X^{(i)}_\varepsilon\ge R)\le e^{-R/\varepsilon}E\bigl[e^{\pm X^{(i)}_\varepsilon/\varepsilon}\bigr]$ なので、$\limsup\varepsilon\log P(\pm X^{(i)}_\varepsilon\ge R)\le-R+C$ である。$\lvert x\rvert>\sqrt dR$ ならある成分が $\lvert x_i\rvert>R$ なので、lem-ldp-max から $\limsup\varepsilon\log P(\lvert X_\varepsilon\rvert>\sqrt dR)\le-R+C\to-\infty$ である。

コンパクト集合の評価。 $K$ をコンパクト、$\eta>0$ とし、$\Lambda^{*\eta}:=\min(\Lambda^*,1/\eta)$ とおく。各 $x\in K$ について $\langle\theta_x,x\rangle-\Lambda(\theta_x)\ge\Lambda^{*\eta}(x)-\eta$ となる $\theta_x$ をとり、$\delta_x\lvert\theta_x\rvert\le\eta$ となる $\delta_x>0$ をとる。$y\in B(x,\delta_x)$ なら $\langle\theta_x,y\rangle\ge\langle\theta_x,x\rangle-\eta$ なので、Markov の不等式から

$$P\bigl(X_\varepsilon\in B(x,\delta_x)\bigr)\le e^{-(\langle\theta_x,x\rangle-\eta)/\varepsilon}E\bigl[e^{\langle\theta_x,X_\varepsilon\rangle/\varepsilon}\bigr]$$

で、$\limsup\varepsilon\log P(X_\varepsilon\in B(x,\delta_x))\le\Lambda(\theta_x)-\langle\theta_x,x\rangle+\eta\le-\Lambda^{*\eta}(x)+2\eta$ である。有限個の球で $K$ を覆い lem-ldp-max を使うと、$\limsup\varepsilon\log P(X_\varepsilon\in K)\le-\inf_K\Lambda^{*\eta}+2\eta$ である。$\eta\to0$ とする。

閉集合へ。 prf-ldp-weak-to-full の前半は、コンパクト集合の上からの評価と指数的緊密性しか使っていない。同じ議論で閉集合の評価を得る。$\square$

Gärtner–Ellis の下からの評価

$d=1$ とし、すべての $\theta\in\mathbb R$ について $\Lambda(\theta)$ が実数として存在し、$\Lambda$ が $\mathbb R$ の上で微分可能であるとする。このとき、すべての開集合 $G\subset\mathbb R$ について
$$ \liminf_{\varepsilon\to0}\varepsilon\log P(X_\varepsilon\in G)\ge-\inf_{x\in G}\Lambda^*(x) $$
である。

傾けた族に上からの評価を当てる

要点:$x=\Lambda'(\eta)$ なら、重み $e^{\eta y/\varepsilon}$ で傾けた族に prop-ldp-ge-upper を当てる。微分可能性からその率関数の零点は $x$ だけなので、傾けた族は $x$ の近くに集中し、重みを戻すと下からの評価が出る。$\Lambda'$ の値域の外の点は値域の点で近似する。

詳しい証明を開く

準備。 $\Lambda_\varepsilon(\theta):=\varepsilon\log E[e^{\theta X_\varepsilon/\varepsilon}]$ とおくと $\Lambda_\varepsilon(\theta)\to\Lambda(\theta)$ である。微分可能な凸関数 $\Lambda$ は接線の上にあり、$\Lambda(s)\ge\Lambda(\theta)+\Lambda'(\theta)(s-\theta)$ である。とくに $\Lambda'$ は非減少で、$\theta_n\to\theta$ のとき $\Lambda'(\theta_n)$ の極限点 $L$ はすべての $s$ で $\Lambda(s)\ge\Lambda(\theta)+L(s-\theta)$ を満たすので、$s\to\theta$ を両側からとって $L=\Lambda'(\theta)$ である。よって $\Lambda'$ は連続で、値域 $R':=\Lambda'(\mathbb R)$ は区間である。開集合 $G$ と $x\in G$ について $\liminf\varepsilon\log P(X_\varepsilon\in G)\ge-\Lambda^*(x)$ を示せば、$x$ について上限をとって主張になる。$\Lambda^*(x)=\infty$ なら自明なので、$\Lambda^*(x)< \infty$ とする。

手順 1:$x=\Lambda'(\eta)$ の場合。 $\theta\mapsto\theta x-\Lambda(\theta)$ は凹で $\theta=\eta$ で微分が $0$ なので、そこで最大になり $\Lambda^*(x)=\eta x-\Lambda(\eta)$ である。$\varepsilon$ が十分小さければ $\Lambda_\varepsilon(\eta)$ は有限なので、確率測度

$$\nu_\varepsilon(dy):=e^{(\eta y-\Lambda_\varepsilon(\eta))/\varepsilon}\,P(X_\varepsilon\in dy)$$

が定まる。$\varepsilon\log\int e^{\theta y/\varepsilon}\,\nu_\varepsilon(dy)=\Lambda_\varepsilon(\theta+\eta)-\Lambda_\varepsilon(\eta)\to\widetilde\Lambda(\theta):=\Lambda(\theta+\eta)-\Lambda(\eta)$ はすべての $\theta$ で有限なので、$\nu_\varepsilon$ に従う確率変数の族に prop-ldp-ge-upper を当てられる。率関数は

$$\widetilde\Lambda^*(y)=\sup_\theta\bigl((\theta+\eta)y-\Lambda(\theta+\eta)\bigr)-\eta y+\Lambda(\eta)=\Lambda^*(y)-\eta y+\Lambda(\eta)$$

で、良い率関数である。$\widetilde\Lambda(0)=0$ なので $\widetilde\Lambda^*\ge0$ で、$\widetilde\Lambda^*(y)=0$ は「すべての $\theta$ で $\theta y\le\widetilde\Lambda(\theta)$」と同値である。両辺を $\theta>0$、$\theta< 0$ で割って $\theta\to0$ とすると $y\le\widetilde\Lambda'(0)$ と $y\ge\widetilde\Lambda'(0)$ が出るので、$y=\widetilde\Lambda'(0)=\Lambda'(\eta)=x$ である。逆に $y=x$ では接線の不等式から成り立つ。よって $\widetilde\Lambda^*$ の零点は $x$ だけである。

$\delta>0$ について閉集合 $F:=\{y\mid\lvert y-x\rvert\ge\delta\}$ を考えると、$\inf_F\widetilde\Lambda^*>0$ である。実際、そうでなければ $F$ の点列 $y_k$ で $\widetilde\Lambda^*(y_k)\to0$ となるものがコンパクトな $\{\widetilde\Lambda^*\le1\}$ の中にとれ、部分列の極限 $y\in F$ で下半連続性から $\widetilde\Lambda^*(y)=0$ となって、零点が $x$ だけであることに反する(prf-ldp-basic の 2 と同じ議論)。上からの評価から $\nu_\varepsilon(F)\to0$、つまり $\nu_\varepsilon((x-\delta,x+\delta))\to1$ である。

$(x-\delta,x+\delta)\subset G$ となる $\delta$ をとる。この区間の $y$ では $\eta y\le\eta x+\lvert\eta\rvert\delta$ なので

$$P(X_\varepsilon\in G)\ge\int_{(x-\delta,x+\delta)}e^{-(\eta y-\Lambda_\varepsilon(\eta))/\varepsilon}\,\nu_\varepsilon(dy)\ge e^{-(\eta x+\lvert\eta\rvert\delta-\Lambda_\varepsilon(\eta))/\varepsilon}\,\nu_\varepsilon\bigl((x-\delta,x+\delta)\bigr)$$

で、$\liminf\varepsilon\log P(X_\varepsilon\in G)\ge-(\eta x-\Lambda(\eta))-\lvert\eta\rvert\delta=-\Lambda^*(x)-\lvert\eta\rvert\delta$ である。$\delta$ はいくらでも小さくとれる。

手順 2:$x\notin R'$ の場合。 $a_+:=\sup R'$、$a_-:=\inf R'$ とする。$x>a_+$ なら、平均値の定理から $\theta>0$ で $\Lambda(\theta)=\Lambda(0)+\theta\Lambda'(\xi)\le a_+\theta$ なので $\theta x-\Lambda(\theta)\ge\theta(x-a_+)\to\infty$ となり、$\Lambda^*(x)< \infty$ に反する。$x< a_-$ も同じである。$R'$ は区間なので、$x$ は $R'$ に属さない端点である。$x=a_+$ の場合を示す($x=a_-$ は $\Lambda'(-n)$ を使って同じ)。$x_n:=\Lambda'(n)$ は非減少で $x$ に収束し、$x_n< x$ である。手順 1 から $\Lambda^*(x_n)=nx_n-\Lambda(n)< \infty$ である。$\Lambda^*$ はアフィン関数の上限なので凸で、$x_n=(1-t_n)x_1+t_nx$($t_n\in[0,1]$、$t_n\to1$)と書けば $\Lambda^*(x_n)\le(1-t_n)\Lambda^*(x_1)+t_n\Lambda^*(x)\to\Lambda^*(x)$ である。$n$ が大きければ $x_n\in G$ なので、手順 1 を $x_n$ に当てて $\liminf\varepsilon\log P(X_\varepsilon\in G)\ge-\Lambda^*(x_n)$ で、$n\to\infty$ として $-\Lambda^*(x)$ 以上を得る。$\square$

Poisson 過程の平均

$(N_t)$ を強度 $1$ の Poisson過程 とし、$X_\varepsilon:=\varepsilon N_{1/\varepsilon}$ とおく。$E[e^{\theta N_t}]=\exp(t(e^\theta-1))$ なので、$\varepsilon\log E[e^{\theta X_\varepsilon/\varepsilon}]=e^\theta-1$ が $\varepsilon$ によらず成り立ち、$\Lambda(\theta)=e^\theta-1$ は微分可能である。$\theta x-e^\theta+1$ の最大は $x>0$ なら $\theta=\log x$ でとられ、
$$ \Lambda^*(x)=x\log x-x+1\quad(x>0),\qquad\Lambda^*(0)=1,\qquad\Lambda^*(x)=\infty\quad(x< 0) $$
である。thm-ldp-ge から、たとえば $\varepsilon\log P(X_\varepsilon\ge2)\to-(2\log2-1)\approx-0.386$ である。$\varepsilon=1/n$ なら $X_\varepsilon$ は平均 $1$ の Poisson 分布に従う独立な $n$ 個の和の平均と同じ分布なので、これは Cramér の定理の例でもある。

主な例

次の表の結果は、それぞれの記事で証明されている。どれも上の一般論の型に当てはまる。

族空間速さ率関数記事
独立同分布の和の平均 $S_n/n$$\mathbb R$$n$$\Lambda^*(x)=\sup_\theta(\theta x-\log Ee^{\theta X_1})$Cramérの定理(大偏差)
経験分布 $L_n$有限集合の上の確率分布$n$相対エントロピー $D(Q\Vert P)$Sanovの定理
$\sqrt\varepsilon\,W$($W$ は Brown 運動)$C([0,T];\mathbb R^d)$$1/\varepsilon$$\frac12\int_0^T\lvert\varphi'\rvert^2dt$Schilderの定理
$dX=b(X)dt+\sqrt\varepsilon\,dW$ の解$C([0,T];\mathbb R^d)$$1/\varepsilon$$\frac12\int_0^T\lvert\varphi'-b(\varphi)\rvert^2dt$Freidlin–Wentzell理論
$N(0,\varepsilon)$$\mathbb R$$1/\varepsilon$$x^2/2$ex-ldp-gauss

一般論は例どうしの関係も与える。$X_1$ が有限集合 $\mathcal A\subset\mathbb R$ の値をとるとき、平均をとる写像 $Q\mapsto\sum_xxQ(x)$ は連続なので、Sanov の定理と thm-ldp-contraction から $S_n/n$ は率関数 $J(y)=\inf\{D(Q\Vert P)\mid\sum_xxQ(x)=y\}$ の大偏差原理を満たす。Cramér の定理からは率関数 $\Lambda^*$ の大偏差原理が出るので、prop-ldp-unique により $J=\Lambda^*$ である。この等式を直接確かめる計算は Sanovの定理 の命題「傾けた分布と変分公式」にある。Schilder の定理から Freidlin–Wentzell の定理を得る議論も、解写像による縮約原理である。

反例:条件を外すと成り立たないこと

主張外す条件例成り立たなくなること
def-ldp-main の上からの評価$F$ が閉集合$\mu_\varepsilon=\delta_\varepsilon$(点 $\varepsilon$ の点測度)、$I(0)=0$、$x\ne0$ で $I(x)=\infty$、$A=(0,1)$$\mu_\varepsilon(A)=1$($\varepsilon< 1$)だが $-\inf_AI=-\infty$
thm-ldp-weak-to-full指数的緊密性$\mu_\varepsilon=(1-e^{-1/\varepsilon})\delta_0+e^{-1/\varepsilon}\delta_{1/\varepsilon}$($\mathbb R$ 上)、$I$ は 1 行目と同じ弱い大偏差原理は成り立つが、閉集合 $[1,\infty)$ で $\varepsilon\log\mu_\varepsilon=-1>-\infty=-\inf I$
thm-ldp-varadhan$\Phi$ の連続性$\mu_\varepsilon=N(0,\varepsilon)$、$\Phi=1_{\{0\}}$(有界)左辺は $\varepsilon\log1=0$、右辺は $\Phi(0)-I(0)=1$
thm-ldp-ge$\Lambda$ の微分可能性$X_\varepsilon=\pm1$(確率 $\frac12$ ずつ、$\varepsilon$ によらない)$\Lambda(\theta)=\lvert\theta\rvert$、$\Lambda^*=0$($\lvert x\rvert\le1$)。開集合 $(-\frac12,\frac12)$ の確率は $0$ で、下からの評価 $\ge-\inf\Lambda^*=0$ が成り立たない
表の反例の確かめ

各行で主張が本当に成り立たないことの確かめ。

詳しく開く

1 行目:族 $(\delta_\varepsilon)$ は表の $I$ で大偏差原理を満たす。閉集合 $F$ が $0$ を含まなければ $0$ からの距離が正で、小さい $\varepsilon$ では $\delta_\varepsilon(F)=0$ である。開集合 $G$ が $0$ を含めば小さい $\varepsilon$ で $\delta_\varepsilon(G)=1$ である。他の場合は評価の右辺が $0$ か $-\infty$ で自明である。上からの評価を閉でない $A$ に当てると成り立たない。

2 行目:コンパクト集合 $K$ は有界なので、$0\notin K$ なら小さい $\varepsilon$ で $\mu_\varepsilon(K)=0$ であり、コンパクト集合の上からの評価が成り立つ。開集合の下からの評価は 1 行目と同じである。指数的緊密性は、どのコンパクト集合 $K$ についても $\mu_\varepsilon(\mathbb R\setminus K)\ge e^{-1/\varepsilon}$($1/\varepsilon\notin K$ のとき)なので $\limsup\varepsilon\log\mu_\varepsilon(\mathbb R\setminus K)\ge-1$ となって成り立たない。

3 行目:$\mu_\varepsilon(\{0\})=0$ なので $\int e^{\Phi/\varepsilon}d\mu_\varepsilon=1$ である。一方 $\Phi-I$ は $x=0$ で $1$、それ以外で $-x^2/2< 0$ である。

4 行目:$\varepsilon\log E[e^{\theta X_\varepsilon/\varepsilon}]=\varepsilon\log\cosh(\theta/\varepsilon)\to\lvert\theta\rvert$ で、$\Lambda$ は $\theta=0$ で微分できない。$\Lambda^*(x)=\sup_\theta(\theta x-\lvert\theta\rvert)$ は $\lvert x\rvert\le1$ で $0$、それ以外で $\infty$ である。prop-ldp-ge-upper の上からの評価は成り立つ(実際の率関数は $I(\pm1)=0$、それ以外で $\infty$ で、$\Lambda^*$ はその凸包にあたる)。$\Lambda^*$ が凸関数にしかなれないことが、凸でない率関数の族では Gärtner–Ellis の定理が使えない理由である。prf-ldp-ge-lower の手順 1 の議論は、この例では使えない。傾けない族($\eta=0$)でも $\Lambda^*$ の零点は $[-1,1]$ 全体で、族が 1 点に集中することを率関数から引き出せないからである。

歴史と出典

指数の速さの確率の評価は、独立和についての H. Cramér(1938 年)に始まる。率関数による上からの評価と下からの評価の組という現在の定式化は S. R. S. Varadhan(1966 年)の仕事に由来し、Varadhan の補題もこの論文による。一般の理論は 1960〜70 年代に Donsker–Varadhan と Freidlin–Wentzell の仕事から形づくられた。Gärtner–Ellis の定理は J. Gärtner(1977 年)の結果を R. S. Ellis(1984 年)が一般化したものである(以上は Tou09 §III.C、§III.G の記述による)。一般論の定義と主要な定理の主張は AGZ10 Appendix D(pp. 431–433)に簡潔にまとめられている。この記事の prop-ldp-balls、thm-ldp-weak-to-full、lem-ldp-varadhan-parts、prop-ldp-ge-upper、prop-ldp-ge-lower の証明は、主張を照らし合わせたうえで書き下ろしたものである。

関連項目

参考文献

[1]
Greg W. Anderson, Alice Guionnet, Ofer Zeitouni, An Introduction to Random Matrices, Cambridge Studies in Advanced Mathematics 118, Cambridge University Press, 2010, Appendix D:Definition D.1–D.3 p. 431、Theorem D.4・Corollary D.6 p. 432、Theorem D.7 pp. 432–433、Theorem D.8 p. 433
[2]
Hugo Touchette, The large deviation approach to statistical mechanics, Physics Reports, 2009, §III.C.1 The Gärtner–Ellis Theorem(pp. 13–14)、Appendix B Rigorous formulation of the large deviation principle(pp. 81–82)、§III.G Historical notes(p. 23)。頁は arXiv 版 v2 による

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する