Cramérの定理(大偏差)

要点：$M(\theta):=E[e^{\theta X}]$ は期待値の中で微分でき、$\Lambda=\log M$ の導関数は傾けた分布の平均と分散になる。3 は凸性から $\Lambda'(\theta)\ge\Lambda(\theta)/\theta$ を使う。

要点：Jensenの不等式 から $\Lambda(\theta)\ge\theta m$ であり、ここから 1 と 2 が出る。3 では $g(\theta):=\theta x-\Lambda(\theta)$ が凹で $g'(\theta_x)=0$ となることを使う。

$\Lambda(\theta)=\infty$ なら右辺は $\infty$ で、主張は自明である。$\Lambda(\theta)<\infty$ とする。$\theta\ge0$ なので $\{S_n\ge na\}\subset\{e^{\theta S_n}\ge e^{\theta na}\}$ であり、Chebyshevの不等式 の定理「Markov の不等式」から
$$ P(S_n\ge na)\le e^{-\theta na}E\bigl[e^{\theta S_n}\bigr]=e^{-\theta na}\prod_{i=1}^{n}E\bigl[e^{\theta X_i}\bigr]=e^{-n(\theta a-\Lambda(\theta))} $$
となる。積への分解は、互いに独立な $0$ 以上の確率変数 $e^{\theta X_i}$ の積の期待値が期待値の積になることによる（Dur19 Theorem 2.1.13、p. 49）。右辺の下限を $\theta\ge0$ についてとり、prop-cr-rate の 2 を使えば $a\ge m$ の主張になる。$a\le m$ の主張は $-X_i$ に当てればよい（$-X$ の率関数は $I(-x)$ である）。$\square$

要点：$\rho_\theta^{\otimes n}$ は $(X_1,\dots,X_n)$ の分布 $\rho^{\otimes n}$ に対して密度 $e^{\theta t_n(y)-n\Lambda(\theta)}$ をもつ。

上からの評価 $\limsup_n\frac1n\log P(S_n\ge na)\le-I(a)$ は prop-cr-chernoff による。$I(a)>0$ は prop-cr-rate の 5 である。下からの評価を、$a$ の位置で場合に分けて示す。
$a>x_+$ のとき。 $S_n\le nx_+< na$（確率 $1$）なので $P(S_n\ge na)=0$ であり、prop-cr-rate の 4 から $I(a)=\infty$ である。
$a=x_+$ のとき。 $X_i\le x_+$（確率 $1$）なので、$S_n\ge nx_+$ はすべての $i$ で $X_i=x_+$ となることと（確率 $0$ の差を除いて）同じであり、独立性から $P(S_n\ge nx_+)=P(X=x_+)^n$ である。よって $\frac1n\log P(S_n\ge nx_+)=\log P(X=x_+)=-I(x_+)$ が、すべての $n$ で成り立つ。
$m\le a< x_+$ のとき。 まず $x_-< a$ である。実際、$a=x_-$ なら $m=x_-$ で、$X\ge m$ と $E[X]=m$ から $X=m$（確率 $1$）となり、$x_+=m=a$ に反する。prop-cr-rate の 3 の $\theta_a$ をとると、$\Lambda'(\theta_a)=a\ge m=\Lambda'(0)$ と $\Lambda'$ の単調性から $\theta_a\ge0$ である。
$\theta>\theta_a$ を 1 つとり、$b:=\Lambda'(\theta)$、$v:=2b-a$ とおく。prop-cr-lambda の 2 から $b>a$ である。lem-cr-tilt を $B=[na,nv]$ に使い、この集合の上で $e^{-\theta t_n}\ge e^{-\theta nv}$（$\theta>0$）であることを使うと
$$ P(S_n\ge na)\ge P\bigl(S_n\in[na,nv]\bigr)\ge e^{n(\Lambda(\theta)-\theta v)}\,\rho_\theta^{\otimes n}\Bigl(\Bigl\lvert\frac{t_n}{n}-b\Bigr\rvert< b-a\Bigr) $$
である（$\lvert t_n/n-b\rvert< b-a$ なら $a< t_n/n< v$ である）。$Y_i$ は平均 $b$ と有限の分散をもつので、大数の法則 の定理「大数の弱法則」により右辺の確率は $1$ に近づく。したがって
$$ \liminf_{n\to\infty}\frac1n\log P(S_n\ge na)\ge\Lambda(\theta)-\theta\bigl(2\Lambda'(\theta)-a\bigr) $$
である。$\theta$ を $\theta_a$ に右から近づけると、$\Lambda$ と $\Lambda'$ の連続性により右辺は $\Lambda(\theta_a)-\theta_a a=-I(a)$ に近づく。
上下の評価を合わせて、極限が存在して $-I(a)$ に等しい。$a\le m$ の主張は $-X_i$ に当てればよい。$\square$

閉集合。 $m\in F$ なら $\inf_FI=I(m)=0$ で、$\log\mu_n(F)\le0$ だから主張は成り立つ。$m\notin F$ とする。$F\cap[m,\infty)$ が空でなければ、それは閉集合で $m$ を含まないので最小の元 $x_1>m$ をもつ。同様に $F\cap(-\infty,m]$ が空でなければ最大の元 $x_2< m$ をもつ。prop-cr-rate の 1 の単調性から、$I(x_1)$ と $I(x_2)$ はそれぞれの側での $I$ の下限であり、$\inf_FI$ はその小さい方に等しい。prop-cr-chernoff から
$$ \mu_n(F)\le P(S_n\ge nx_1)+P(S_n\le nx_2)\le e^{-nI(x_1)}+e^{-nI(x_2)}\le2e^{-n\inf_FI} $$
であり（空の側の項は除く）、$\frac1n\log\mu_n(F)\le\frac{\log2}n-\inf_FI$ から主張が従う。
開集合。 $x\in G$ で $I(x)<\infty$ となる点ごとに、$(x-\delta,x+\delta)\subset G$ となる $\delta>0$ について $\liminf_n\frac1n\log\mu_n((x-\delta,x+\delta))\ge-I(x)$ を示せば、$x$ について上限をとって主張になる。prop-cr-rate の 4 により $x_-\le x\le x_+$ である。
$x=x_+$ なら、すべての $i$ で $X_i=x_+$ となる事象の上で $S_n/n=x_+$ なので、$\mu_n((x-\delta,x+\delta))\ge P(X=x_+)^n=e^{-nI(x_+)}$ である。$x=x_-$ も同じである。
$x_-< x< x_+$ なら、$\theta:=\theta_x$（$\Lambda'(\theta)=x$）とし、$0< \eta\le\delta$ をとる。$\lvert t_n/n-x\rvert< \eta$ の上で $-\theta t_n\ge-n\theta x-n\lvert\theta\rvert\eta$ なので、lem-cr-tilt から
$$ \mu_n\bigl((x-\eta,x+\eta)\bigr)\ge e^{-n(\theta x-\Lambda(\theta))-n\lvert\theta\rvert\eta}\,\rho_\theta^{\otimes n}\Bigl(\Bigl\lvert\frac{t_n}{n}-x\Bigr\rvert< \eta\Bigr) $$
である。$Y_i$ の平均は $x$ なので、大数の弱法則により右辺の確率は $1$ に近づく。prop-cr-rate の 3 から $\theta x-\Lambda(\theta)=I(x)$ であり、$\liminf_n\frac1n\log\mu_n((x-\delta,x+\delta))\ge-I(x)-\lvert\theta\rvert\eta$ を得る。$\eta\to0$ とすればよい。$\square$