中心極限定理

同義語：central limit theorem

概要

前提知識: 二項分布, Stirlingの公式, 分散, 確率変数, Riemann積分

動機と具体例

公平な硬貨を 100 回投げて、表の回数が 40 回以上 60 回以下になる確率を考える。二項分布の確率 $\binom{100}k/2^{100}$ を $k=40,\dots,60$ について足すと $0.96480\ldots$ である。一方、表の回数の期待値は $50$、標準偏差は $\sqrt{100\cdot\frac12\cdot\frac12}=5$ で、釣鐘形の曲線
$$ \varphi(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2} $$
の下で $x=\frac{39.5-50}5=-2.1$ から $\frac{60.5-50}5=2.1$ までの面積を計算すると $0.96427\ldots$ になり、よく一致する（ex-clt-coin-40-60）。$n$ 回の試行の和は、平均のまわりに $\sqrt n$ 程度の幅で散らばり、その散らばり方は $n$ が大きいと元の試行の詳しい分布によらず同じ曲線で近似される。これが中心極限定理（central limit theorem）である。
大数の法則は、独立に繰り返した平均 $\frac{S_n}n$ が期待値 $\mu$ に近づくことを述べる。中心極限定理はその次の段階として、ずれ $S_n-n\mu$ を $\sqrt n$ で割って拡大したものの分布を記述する。公平な硬貨 100 回で表の回数が 50 からどれだけずれるかについて、分散の記事の定理「Chebyshevの不等式」からは「10 以上ずれる確率は $\frac{25}{10^2}=\frac14$ 以下」という粗い評価しか得られない（実際の確率は $0.0568\ldots$）。中心極限定理は、ずれを標準偏差で割った $\frac{S-50}5$ の分布そのものを標準正規分布で近似する。

正規分布

標準正規分布の密度と分布関数

$$ \varphi(x):=\frac1{\sqrt{2\pi}}e^{-x^2/2},\qquad\Phi(x):=\int_{-\infty}^x\varphi(t)\,dt\qquad(x\in\mathbb{R}) $$
をそれぞれ標準正規分布の密度、分布関数という。$\Phi$ を分布関数にもつ確率変数（確率変数の記事の定義「離散型の確率変数と密度」の意味で密度 $\varphi$ をもつもの）は標準正規分布に従うという。実数 $\mu$ と $\sigma>0$ について、$\frac{X-\mu}\sigma$ が標準正規分布に従うとき、$X$ は平均 $\mu$、分散 $\sigma^2$ の正規分布に従うという。

$\Phi(x)$ の定義の広義積分が収束することと $\Phi(x)\to1$（$x\to\infty$）、すなわち $\int_{-\infty}^\infty\varphi=1$ は、本記事の中で証明する（prop-clt-normal-total）。$\varphi$ は偶関数で、$x=0$ で最大値 $\frac1{\sqrt{2\pi}}=0.3989\ldots$ をとる。$\Phi$ の値は初等関数で書けないので、数表や数値積分で求める（GrS06 Figure 9.4、p. 331 に $\int_0^z\varphi$ の表がある）。たとえば $\Phi(1)-\Phi(-1)=0.6826\ldots$、$\Phi(2)-\Phi(-2)=0.9544\ldots$、$\Phi(3)-\Phi(-3)=0.9973\ldots$ である。

仮定と定理

確率変数 $X_1,X_2,\dots$ が互いに独立で同じ分布に従い、期待値 $\mu$、分散 $\sigma^2$（$0<\sigma^2<\infty$）をもつとする。和 $S_n:=X_1+\cdots+X_n$ は期待値 $n\mu$、分散 $n\sigma^2$ をもつ（分散の記事の定理「独立な確率変数の和の分散」）ので、
$$ Z_n:=\frac{S_n-n\mu}{\sigma\sqrt n} $$
は期待値 $0$、分散 $1$ をもつ。これを $S_n$ の標準化という。

中心極限定理

上の仮定のもとで、すべての実数 $x$ について
$$ \lim_{n\to\infty}P(Z_n\leq x)=\Phi(x) $$
である。したがって、$a< b$ について $P(a< Z_n\leq b)\to\Phi(b)-\Phi(a)$ である。

一般の場合の出典と本記事で証明する範囲

thm-clt は Dur19 Theorem 3.4.1（p. 144）にある。同書は結論を「$Z_n$ の分布関数が、極限の分布関数の連続点で収束する」（弱収束、同書 §3.2、p. 116）の形で述べており、$\Phi$ はすべての点で連続なので上の形になる。証明には特性関数 $E[e^{itX}]$ と、その収束から分布の収束を導く連続性定理（同書 Theorem 3.3.17、p. 132）を使う。互いに独立な確率変数の無限列は、有限または可算の標本空間の上では一般には作れない（独立性(確率論) の記事の命題「離散確率空間には無限個の独立な公平な事象がない」）ので、この定理は測度論に基づく一般の確率空間の上で述べられる。
本記事では一般の場合を証明しない。$X_i$ が $1$ を確率 $p$、$0$ を確率 $1-p$ でとる場合、すなわち $S_n$ が二項分布 $B(n,p)$ に従う場合（de Moivre–Laplace の定理、thm-clt-de-moivre-laplace と cor-clt-binomial-cdf）を、Stirlingの公式から完全に証明する。この場合、$S_n$ の分布は $B(n,p)$ だけで決まるので、$n$ ごとに有限の確率空間 $\{0,1\}^n$ の上で考えれば足りる。

二項分布の場合の証明

以下、$0< p<1$ を固定し、$q:=1-p$、$\sigma_n:=\sqrt{npq}$ とする。$b(n,p,k):=\binom nkp^kq^{n-k}$ は $B(n,p)$ の確率で、$S_n$ が $B(n,p)$ に従えば $E[S_n]=np$、$V[S_n]=npq$ である（二項分布の記事の命題「二項分布の期待値と分散」）。整数 $k$ に対し
$$ x_k:=\frac{k-np}{\sigma_n} $$
とおく。$Z_n:=\frac{S_n-np}{\sigma_n}$ は値 $x_0,x_1,\dots,x_n$ をとり、隣り合う値の間隔は $h_n:=\frac1{\sigma_n}$ である。

対数の評価

対数の2次の近似

$|t|\leq\frac12$ のとき
$$ \Bigl|\log(1+t)-t+\frac{t^2}2\Bigr|\leq\frac23|t|^3 $$
である。

$s>-1$ で $\frac{d}{ds}\bigl(\log(1+s)-s+\frac{s^2}2\bigr)=\frac1{1+s}-1+s=\frac{s^2}{1+s}$ である（対数関数の記事の定理「対数関数の導関数」と連鎖律）。微分積分学の基本定理の定理「原始関数による積分の計算」により
$$ \log(1+t)-t+\frac{t^2}2=\int_0^t\frac{s^2}{1+s}\,ds $$
である。$|s|\leq\frac12$ では $1+s\geq\frac12$ なので $0\leq\frac{s^2}{1+s}\leq2s^2$ であり、右辺の絶対値は $\bigl|\int_0^t2s^2\,ds\bigr|=\frac23|t|^3$ 以下である。$\blacksquare$

この補題から、$\lvert t\rvert\leq\frac12$ のとき
$$ (1+t)\log(1+t)=t+\frac{t^2}2+E(t),\qquad\lvert E(t)\rvert\leq\frac32\lvert t\rvert^3 $$
が従う。実際 $\log(1+t)=t-\frac{t^2}2+R(t)$（$\lvert R(t)\rvert\leq\frac23\lvert t\rvert^3$）とおくと $(1+t)\log(1+t)=t+\frac{t^2}2-\frac{t^3}2+(1+t)R(t)$ であり、$\lvert1+t\rvert\leq\frac32$ から $\bigl\lvert-\frac{t^3}2+(1+t)R(t)\bigr\rvert\leq\frac12\lvert t\rvert^3+\frac32\cdot\frac23\lvert t\rvert^3=\frac32\lvert t\rvert^3$ である。

局所極限定理

1 点の確率 $b(n,p,k)$ は、正規分布の密度の値に間隔 $h_n$ を掛けたものに近い。これが de Moivre–Laplace の定理の局所的な形である。

局所 de Moivre–Laplace の定理

$0< p<1$ と $A>0$ を固定する。$n\to\infty$ のとき
$$ \max_{k:\ \lvert x_k\rvert\leq A}\left\lvert\frac{b(n,p,k)}{h_n\varphi(x_k)}-1\right\rvert\to0 $$
である。すなわち $\lvert x_k\rvert\leq A$ の範囲で一様に
$$ b(n,p,k)\sim h_n\varphi(x_k)=\frac1{\sqrt{2\pi npq}}\,e^{-x_k^2/2} $$
が成り立つ。

段 1（Stirling の公式を当てる）。Stirlingの公式の記事の定理「Stirlingの公式」により、整数 $m\geq1$ について $m!=\sqrt{2\pi m}\,(m/e)^me^{r_m}$、$0< r_m<\frac1{12m}$ と書ける。$1\leq k\leq n-1$ なら、$n^n=n^kn^{n-k}$ に注意して
$$ b(n,p,k)=\frac{n!}{k!\,(n-k)!}p^kq^{n-k}=\sqrt{\frac{n}{2\pi k(n-k)}}\Bigl(\frac{np}k\Bigr)^k\Bigl(\frac{nq}{n-k}\Bigr)^{n-k}e^{r_n-r_k-r_{n-k}} $$
である。
段 2（小さい量 $t_1,t_2$）。$x:=x_k$ とすると $k=np+\sigma_nx$、$n-k=nq-\sigma_nx$ である。
$$ t_1:=\frac{\sigma_nx}{np}=x\sqrt{\frac q{np}},\qquad t_2:=-\frac{\sigma_nx}{nq}=-x\sqrt{\frac p{nq}} $$
とおくと $k=np(1+t_1)$、$n-k=nq(1+t_2)$ である。$\lvert x\rvert\leq A$ なら $\lvert t_1\rvert,\lvert t_2\rvert\leq\tau_n:=A/\sqrt{n\min(p,q)}$ で、$\tau_n\to0$ である。以下 $n$ は $\tau_n\leq\frac12$ となるほど大きいとする。このとき $k\geq\frac{np}2$、$n-k\geq\frac{nq}2$ なので $1\leq k\leq n-1$ も満たされる（$n$ が大きければ）。
段 3（前の因子）。$k(n-k)=n^2pq(1+t_1)(1+t_2)$ なので
$$ \sqrt{\frac n{2\pi k(n-k)}}=\frac{h_n}{\sqrt{2\pi}}\bigl((1+t_1)(1+t_2)\bigr)^{-1/2} $$
であり、右辺の最後の因子は $\lvert x\rvert\leq A$ について一様に $1$ に近づく。
段 4（冪の因子）。上で示した $(1+t)\log(1+t)$ の展開を使うと
$$ \log\Bigl[\Bigl(\frac{np}k\Bigr)^k\Bigl(\frac{nq}{n-k}\Bigr)^{n-k}\Bigr]=-np(1+t_1)\log(1+t_1)-nq(1+t_2)\log(1+t_2)=-(npt_1+nqt_2)-\frac{npt_1^2+nqt_2^2}2-\bigl(npE(t_1)+nqE(t_2)\bigr) $$
である。1 次の項は $npt_1+nqt_2=\sigma_nx-\sigma_nx=0$ で消える。2 次の項は $npt_1^2=qx^2$、$nqt_2^2=px^2$ より $\frac{(p+q)x^2}2=\frac{x^2}2$ である。残りは
$$ \bigl\lvert npE(t_1)+nqE(t_2)\bigr\rvert\leq\frac32(np+nq)\tau_n^3=\frac{3A^3}{2\min(p,q)^{3/2}\sqrt n}\to0 $$
である。よって冪の因子は $e^{-x^2/2}$ に、一様に $1$ に近づく因子を掛けたものである。
段 5（Stirling の公式の誤差）。$\lvert r_n-r_k-r_{n-k}\rvert\leq\frac1{12n}+\frac1{6np}+\frac1{6nq}\to0$ である。
段 1〜5 を合わせると、$\frac{b(n,p,k)}{h_n\varphi(x_k)}$ は、$\lvert x_k\rvert\leq A$ について一様に $1$ に近づく 3 つの因子の積である。$\blacksquare$

区間の確率と正規分布の全確率

局所極限定理の値を足し合わせると、$Z_n$ が区間に入る確率は $\varphi$ の積分で近似される。その和は間隔 $h_n$ の Riemann 和である。

区間の確率の極限

$a< b$ を固定すると、$n\to\infty$ のとき
$$ P(a< Z_n\leq b)\to\int_a^b\varphi(x)\,dx $$
である。

$K_n:=\{k:a< x_k\leq b\}$ とすると $P(a< Z_n\leq b)=\sum_{k\in K_n}b(n,p,k)$ である。$A:=\max(\lvert a\rvert,\lvert b\rvert)$ として thm-clt-de-moivre-laplace を使い、$b(n,p,k)=h_n\varphi(x_k)(1+\delta_{n,k})$、$\Delta_n:=\max_{k\in K_n}\lvert\delta_{n,k}\rvert\to0$ と書く。$K_n$ の元の個数は $\frac{b-a}{h_n}+1$ 以下で、$\varphi\leq\frac1{\sqrt{2\pi}}<1$ なので
$$ \Bigl\lvert P(a< Z_n\leq b)-\sum_{k\in K_n}h_n\varphi(x_k)\Bigr\rvert\leq\Delta_n\sum_{k\in K_n}h_n\varphi(x_k)\leq\Delta_n(b-a+h_n)\to0 $$
である。
次に、区間 $J_k:=(x_k-h_n,x_k]$（$k\in K_n$）は互いに交わらず、その合併は $(a,b-h_n]$ を含み $(a-h_n,b]$ に含まれる（$K_n$ の最小の $k$ では $x_k-h_n\leq a$、最大の $k$ では $x_k>b-h_n$ だから）。$\lvert\varphi'(x)\rvert=\lvert x\rvert\varphi(x)\leq1$ なので $J_k$ 上で $\lvert\varphi(x)-\varphi(x_k)\rvert\leq h_n$ であり、
$$ \Bigl\lvert\sum_{k\in K_n}h_n\varphi(x_k)-\int_a^b\varphi\Bigr\rvert\leq\sum_{k\in K_n}\int_{J_k}\lvert\varphi(x_k)-\varphi(x)\rvert\,dx+2h_n\leq(b-a+h_n)h_n+2h_n\to0 $$
である（第 2 項は両端のはみ出しと足りない部分で、それぞれ長さ $h_n$ 以下、$\varphi< 1$）。2 つを合わせて結論を得る。$\blacksquare$

正規分布の全確率

広義積分 $\int_{-\infty}^\infty\varphi(x)\,dx$ は収束し、その値は $1$ である。したがって $\Phi(x)\to1$（$x\to\infty$）、$\Phi(x)\to0$（$x\to-\infty$）であり、$A>0$ について $\Phi(-A)=1-\Phi(A)\leq\frac1{A^2}$ である。

収束：$\frac{x^2}2-\lvert x\rvert+\frac12=\frac{(\lvert x\rvert-1)^2}2\geq0$ なので $0<\varphi(x)\leq\frac{e^{1/2}}{\sqrt{2\pi}}e^{-\lvert x\rvert}$ であり、$\int_{-\infty}^\infty e^{-\lvert x\rvert}dx=2$ なので、広義積分の記事の定理「広義積分の比較判定法」により収束する。
値：$p=\frac12$ とし、$A>0$ を固定する。$Z_n$ は期待値 $0$、分散 $1$ なので、分散の記事の定理「Chebyshevの不等式」により $P(\lvert Z_n\rvert\geq A)\leq\frac1{A^2}$ である。$\{Z_n\leq-A\}\cup\{Z_n>A\}\subset\{\lvert Z_n\rvert\geq A\}$ なので
$$ 1-\frac1{A^2}\leq P(-A< Z_n\leq A)\leq1 $$
である。$n\to\infty$ とすると prop-clt-interval により $1-\frac1{A^2}\leq\int_{-A}^A\varphi\leq1$ である。$A\to\infty$ として $\int_{-\infty}^\infty\varphi=1$ を得る。$\varphi$ は偶関数なので $\Phi(-A)=\frac12\bigl(1-\int_{-A}^A\varphi\bigr)\leq\frac1{2A^2}\leq\frac1{A^2}$ であり、$\Phi(-A)=1-\Phi(A)$ も対称性から従う。$\blacksquare$

この証明では、密度の定数 $\frac1{\sqrt{2\pi}}$ が「全確率が $1$」を満たすことを、Stirling の公式の定数 $\sqrt{2\pi}$（Wallis の積から来る）を通して示した。2 重積分と極座標を使う通常の計算とは別の道である。

二項分布の分布関数の収束

$S_n$ が $B(n,p)$（$0< p<1$）に従うとき、すべての実数 $x$ について
$$ \lim_{n\to\infty}P\Bigl(\frac{S_n-np}{\sqrt{npq}}\leq x\Bigr)=\Phi(x) $$
である。これは thm-clt の、$X_i$ が $0,1$ の値をとる場合である。

$x$ を固定し、$A>\lvert x\rvert$ とする。
$$ P(Z_n\leq x)=P(Z_n\leq-A)+P(-A< Z_n\leq x) $$
であり、1 つ目は Chebyshev の不等式により $0$ 以上 $\frac1{A^2}$ 以下、2 つ目は prop-clt-interval により $\Phi(x)-\Phi(-A)$ に収束する。prop-clt-normal-total により $0\leq\Phi(-A)\leq\frac1{A^2}$ なので
$$ \limsup_{n\to\infty}\lvert P(Z_n\leq x)-\Phi(x)\rvert\leq\frac2{A^2} $$
である。$A$ は任意なので結論を得る。$\blacksquare$

例

硬貨 100 回で表が 40 回以上 60 回以下

$n=100$、$p=\frac12$ では $np=50$、$\sigma_n=5$ である。求める確率は $\sum_{k=40}^{60}\binom{100}k2^{-100}=0.96480\ldots$ である。$S_n$ は整数値なので、$40\leq S_n\leq60$ は $39.5< S_n\leq60.5$ と同じであり、標準化すると $-2.1< Z_n\leq2.1$ となる。正規近似は $\Phi(2.1)-\Phi(-2.1)=0.96427\ldots$ で、差は $0.0005$ 程度である。端を $\pm0.5$ ずらさずに $-2< Z_n\leq2$ とすると $\Phi(2)-\Phi(-2)=0.95450\ldots$ となり、誤差が $0.01$ に広がる。この $\pm0.5$ のずらしは、prop-clt-interval の証明で区間 $J_k$ の端が $x_k$ から $h_n$ だけずれていたことに当たる。

1 点の確率

同じ $n=100$、$p=\frac12$ で thm-clt-de-moivre-laplace を確かめる。$k=50$ では $x_k=0$ で、$b(100,\frac12,50)=0.079589\ldots$、$h_n\varphi(0)=\frac15\cdot\frac1{\sqrt{2\pi}}=0.079788\ldots$ である。$k=55$ では $x_k=1$ で、$b(100,\frac12,55)=0.048474\ldots$、$h_n\varphi(1)=0.048394\ldots$ である。どちらも比は $1$ から $0.3\%$ 以内である。

条件を外したときの反例

thm-clt の仮定（独立、同じ分布、正で有限の分散）や、二項分布の場合の「$p$ を固定する」を外すと、結論が崩れる。

外す条件	反例	成り立たなくなること
独立	公平な硬貨 $X_1$ について $X_i:=X_1$（すべての $i$）	$P(Z_n\leq x)\to\Phi(x)$（$x$ を固定すると $n>x^2$ で $P(Z_n\leq x)=\frac12$）
同じ分布	公平な硬貨 $X_1$ と $X_i:=0$（$i\geq2$）、和をその標準偏差で標準化	正規分布への収束（標準化した和は $\pm1$ しかとらない）
$p$ を固定	$B(n,\frac1n)$	$P(Z_n\leq-0.9)\to\Phi(-0.9)=0.1840\ldots$（実際は $e^{-1}=0.3678\ldots$ に収束）
分散が正	$X_i:=0$（定数）	$Z_n$ の定義（$\sigma=0$ で割れない）

表の反例の確かめ

1 行目：各 $X_i$ は公平な硬貨で同じ分布に従うが、互いに独立でない。$S_n=nX_1$、$\mu=\frac12$、$\sigma=\frac12$ なので $Z_n=\frac{nX_1-n/2}{\sqrt n/2}=\sqrt n(2X_1-1)$ は確率 $\frac12$ ずつで $\pm\sqrt n$ をとる。$x$ を固定し $n>x^2$ とすると $P(Z_n\leq x)=P(Z_n=-\sqrt n)=\frac12$ であり、$x\neq0$ なら $\Phi(x)\neq\frac12$ である。ずれ $S_n-n\mu$ が $\sqrt n$ ではなく $n$ の程度に広がり、独立な場合の打ち消し合いが起きない。
3 行目：$Z_n=\frac{S_n-1}{\sqrt{1-1/n}}$ である。$S_n=0$ なら $Z_n=-\frac1{\sqrt{1-1/n}}\leq-1$、$S_n\geq1$ なら $Z_n\geq0$ なので、$P(Z_n\leq-0.9)=P(S_n=0)=\bigl(1-\frac1n\bigr)^n\to e^{-1}$ である。$S_n$ の分布は正規分布ではなく Poisson 分布に近づく（二項分布の記事の定理「Poissonの少数の法則」）。thm-clt-de-moivre-laplace の証明では $\tau_n=A/\sqrt{n\min(p,q)}\to0$ を使ったが、$p=\frac1n$ では $n\min(p,q)=1$ で $\tau_n$ が $0$ に近づかない。

$X_i$ が有限の分散をもたない場合には、中心極限定理は一般に成り立たない。たとえば独立な Cauchy 分布の平均 $\frac{S_n}n$ は $X_1$ と同じ分布に従い、$n$ を増やしても散らばりが縮まない（Dur19 Example 3.3.16 と Exercise 3.3.6、pp. 131–132。この記事では証明しない）。