Berry–Esseenの定理

前提知識: 中心極限定理, 特性関数(確率論), 正規分布, 期待値

中心極限定理 によれば、独立で同じ分布に従い分散が有限で正の確率変数の和を標準化すると、その分布関数は標準正規分布の分布関数 $\Phi$ に近づく。しかしこの定理は、$n$ 回の和でどれだけ近いかを何も述べていない。Berry–Esseen の定理（Berry–Esseen theorem）は、3 次の絶対積率が有限なら、標準化した和の分布関数と $\Phi$ の差が、$x$ について一様に
$$ \sup_{x\in\mathbb R}\bigl|F_n(x)-\Phi(x)\bigr|\le C\,\frac{\rho}{\sigma^3\sqrt n} $$
で抑えられることを主張する。ここで $\sigma^2$ は分散、$\rho$ は平均からのずれの 3 乗の絶対値の期待値、$C$ は分布にも $n$ にもよらない定数である。中心極限定理を、誤差の大きさまで込めた量的な定理にしたものである。
右辺は $n^{-1/2}$ の速さで $0$ に近づき、比 $\rho/\sigma^3$ は分布の「偏り・裾の重さ」を測る。$\pm1$ を等確率でとる場合には誤差は実際に $n^{-1/2}$ の定数倍以上あるので、すべての分布に通用する速さとしては $n^{-1/2}$ はこれ以上よくできない（正規分布のように誤差が $0$ になる分布もある）。一方、二項分布で成功確率が小さいときのように $\rho/\sigma^3$ が大きい分布では、正規分布による近似には大きな $n$ が要る。
この記事では定理の一般の証明はせず、主張・定数の意味と証明の筋を述べる。完全に証明するのは、速さ $n^{-1/2}$ が最良であること（prop-be-optimal）、3 回微分できる関数の期待値についての同じ速さの評価（thm-be-smooth）と、そこから分布関数の差について遅い速さの評価を導くこと（cor-be-weak-rate）である。

設定と主張

確率変数 $X_1,X_2,\dots$ は独立で同じ分布に従い、
$$ \mu:=E[X_1],\qquad\sigma^2:=\mathrm{Var}(X_1)>0,\qquad\rho:=E\bigl[|X_1-\mu|^3\bigr]<\infty $$
とする。$S_n:=X_1+\cdots+X_n$ を標準化したものの分布関数と、標準正規分布の分布関数を
$$ F_n(x):=P\Bigl(\frac{S_n-n\mu}{\sigma\sqrt n}\le x\Bigr),\qquad\Phi(x):=\frac1{\sqrt{2\pi}}\int_{-\infty}^xe^{-t^2/2}\,dt $$
と書く。2 つの分布関数 $F,G$ の差の上限 $\sup_x|F(x)-G(x)|$ を Kolmogorov 距離 という。

定理の名は A. C. Berry と C.-G. Esseen にちなむ。

定数の意味

この補題により $\rho/(\sigma^3\sqrt n)\ge1/\sqrt n$ である。$C=3$ の評価が $1$ より小さい値（自明でない情報）を与えるのは $3\rho/\sigma^3< \sqrt n$ のときで、とくに $n\ge10$ が必要である。また、$a\ne0$、$b\in\mathbb R$ について $X_i$ を $aX_i+b$ に取り替えても $\rho/\sigma^3$ は変わらない（$\rho$ は $|a|^3$ 倍、$\sigma^3$ も $|a|^3$ 倍になる）。$a>0$ なら $F_n$ も変わらない。$a< 0$ なら標準化した和の符号が変わって $F_n$ は一般には変わるが、$\Phi$ が $0$ について対称なので $\sup_x|F_n(x)-\Phi(x)|$ は変わらない。比 $\rho/\sigma^3$ は単位によらない分布の形の量である。

2 行目は $|X-p|^3$ が確率 $p$ で $q^3$、確率 $q$ で $p^3$ をとることから $\rho=pq^3+qp^3$ である。3 行目は $E[X^2]=\int_{-1}^1\frac{x^2}2\,dx=\frac13$、$E|X|^3=\int_0^1x^3\,dx=\frac14$ による。4 行目は $E|Z|^3=\frac{2}{\sqrt{2\pi}}\int_0^\infty z^3e^{-z^2/2}\,dz=\frac{4}{\sqrt{2\pi}}=2\sqrt{2/\pi}$ による（標準正規分布の和は標準化しても標準正規分布なので $F_n=\Phi$ で、左辺は $0$ である）。

証明の筋

Dur19 の証明（pp. 157–161）は 特性関数(確率論) による。

1. 平滑化。 分布関数どうしの差を直接扱うのは難しいので、特性関数が有界な区間 $[-L,L]$ の外で $0$ になる分布（Pólya の分布）を両方に畳み込む。$G$ の密度が $\lambda$ 以下なら、元の差の上限は、畳み込んだ後の差の上限の $2$ 倍に $\frac{24\lambda}{\pi L}$ を足したもので抑えられる（同書 Lemma 3.4.18、p. 158）。
2. 反転公式。 畳み込んだ後の差は、特性関数の差 $\varphi_F(t)-\varphi_G(t)$ を $t$ で割ったものの $[-L,L]$ 上の積分で書ける（同書 Lemma 3.4.19、p. 158）。1 と合わせて
   $$ \sup_x|F(x)-G(x)|\le\frac1\pi\int_{-L}^L\Bigl|\frac{\varphi_F(t)-\varphi_G(t)}t\Bigr|\,dt+\frac{24\lambda}{\pi L} $$
   を得る。これを Esseen の平滑化不等式という。
3. 特性関数の評価。 $F=F_n$、$G=\Phi$ とし、$\sigma=1$ に正規化する。$|t|\le L:=\frac{4\sqrt n}{3\rho}$ の範囲で、$X_1-\mu$ の特性関数 $\varphi$ の 3 次の Taylor 展開から、$\bigl|\varphi(t/\sqrt n)^n-e^{-t^2/2}\bigr|/|t|$ を $\frac\rho{\sqrt n}$ と $|t|$ の多項式と $e^{-t^2/4}$ の積で抑える（同書 pp. 160–161）。右辺の積分も $\frac1L$ も $\frac\rho{\sqrt n}$ の定数倍なので、$C\rho/\sqrt n$ の形を得る。
   3 次の積率は 3 の Taylor 展開の剰余に現れる。$L$ を $\sqrt n$ に比例させると、平滑化の誤差 $\frac{24\lambda}{\pi L}$ と特性関数の誤差の両方が $n^{-1/2}$ の速さになる。下の thm-be-smooth は特性関数を使わずに Taylor 展開だけで同じ速さを出すが、それは滑らかな関数の期待値についてであり、分布関数（不連続な指示関数の期待値）に移すと速さが落ちる（cor-be-weak-rate）。平滑化と反転公式による 1・2 が、この損失を防ぐ要の部分である。

速さ $n^{-1/2}$ は最良である

公平な硬貨の場合に、誤差が実際に $n^{-1/2}$ の定数倍以上あることを示す。$S_{2k}$ は値 $0$ を正の確率でとるので、$F_{2k}$ は $0$ で跳ぶ。連続な $\Phi$ は、跳びの上下の両方には近づけない。

Dur19 p. 157 の注意は、対称性とこの跳びの漸近形 $P(S_{2k}=0)\sim(\pi k)^{-1/2}$（Stirlingの公式 から従う）から同じ結論を述べている。lem-be-central-binomial は漸近形の代わりに、すべての $k$ で成り立つ下からの評価を与える。

滑らかな関数での評価

分布関数 $F_n(x)$ は指示関数 $\mathbf 1_{(-\infty,x]}$ の期待値である。指示関数を 3 回微分できる関数に取り替えると、特性関数を使わずに Taylor 展開だけで $n^{-1/2}$ の速さの評価が証明できる。こちらは同じ分布を仮定しない。

この議論は Lindeberg の置き換えの方法と呼ばれる。各項を 1 つずつ同じ平均・分散の正規分布に取り替え、2 次までの積率が一致することで誤差が 3 次の項だけになる。
指示関数を滑らかな関数ではさむと、分布関数の差の評価が得られる。ただし速さは $n^{-1/8}$ に落ちる。

thm-be-main の $n^{-1/2}$ と比べると、指数が 4 分の 1 になっている。滑らかな関数での誤差 $O(\delta^{-3}n^{-1/2})$ と、指示関数を幅 $\delta$ でぼかす誤差 $O(\delta)$ の釣り合いで決まる速さであり、特性関数を使う平滑化（上の証明の筋の 1・2）は、ぼかしの誤差を $1/L$ 程度に抑えつつ $L$ を $\sqrt n$ まで大きくできる点で優れている。

二項分布の場合

$X_i$ が $1$ を確率 $p$、$0$ を確率 $q=1-p$ でとるとき、$S_n$ は 二項分布 $B(n,p)$ に従い、thm-be-main は
$$ \sup_x\Bigl|P\Bigl(\frac{S_n-np}{\sqrt{npq}}\le x\Bigr)-\Phi(x)\Bigr|\le C\,\frac{p^2+q^2}{\sqrt{npq}} $$
を与える。$p$ を固定すれば右辺は $n^{-1/2}$ の速さで $0$ に近づくが、$p$ が $0$ や $1$ に近いと $\frac{p^2+q^2}{\sqrt{pq}}$ が大きく、$npq$ が十分大きくないと評価は意味をもたない。

左から 3 列目は、二項分布の確率を足し合わせて計算機で求めた値である（$F_n$ は跳びの点でだけ値が変わり $\Phi$ は単調なので、上限は各跳びの点の前後の差の最大値である）。$n=100$、$p=0.5$ の値は prop-be-optimal の跳びの半分 $\frac12\binom{100}{50}2^{-100}\approx0.0398$ に一致し、下からの評価 $\frac1{4\sqrt{50}}\approx0.0354$ を上回る。定数 $0.8$ の評価は実際の誤差の 2〜3.4 倍程度で、$C=3$ の評価は $p=0.01$、$n=100$ では $1$ を超えて何も述べない。

条件を外した反例

補足

• 仮定の強さと速さ。 分散が有限なら 中心極限定理 は成り立つが、速さについては何も言えない（上の節「条件を外した反例」の表の 2 行目）。3 次の絶対積率が有限であることが、一様な速さ $n^{-1/2}$ を得る標準的な仮定である。
• 同じ分布でない場合。 thm-be-smooth は同じ分布を仮定せず、$\sum\rho_i/s_n^3$ が小さければ滑らかな関数の期待値が正規分布の値に近いことを示す。$\sum\rho_i/s_n^3\to0$ という条件は、$X_i/s_n$ を三角配列とみて Lindeberg–Fellerの中心極限定理 の系「Lyapunovの条件による判定」で $\delta=1$ とした条件と同じである。
• 正規近似の実際。 二項分布の正規近似が $np$ と $nq$ がともにある程度大きいときに使われるのは、上の表と ex-be-small-p のとおり、誤差の上限が $\frac{p^2+q^2}{\sqrt{npq}}$ に比例するからである。成功確率が小さく $np$ が一定の場合には、二項分布は正規分布ではなく Poisson分布 で近似される。

関連項目

• 前提: 中心極限定理, 特性関数(確率論), 正規分布, 期待値
• 一般化: Lindeberg–Fellerの中心極限定理
• 例: 二項分布, 二項分布から正規分布へ
• 証明で使う: Jensenの不等式, Stirlingの公式