Lindeberg–Fellerの中心極限定理

同義語:Lindeberg–Fellerの定理リンデベルグ–フェラーの定理Lindeberg–Feller central limit theoremLindeberg–Feller theorem

概要

Lindeberg–Fellerの中心極限定理(Lindeberg–Feller central limit theorem)とは、各行が独立で平均 $0$ の確率変数 $X_{n,1},\dots,X_{n,k_n}$ からなる三角配列について、分散の和が $\sigma^2>0$ に収束し、すべての $\varepsilon>0$ で $\sum_mE[X_{n,m}^2;|X_{n,m}|>\varepsilon]\to0$(Lindeberg の条件)なら、行の和が $N(0,\sigma^2)$ に分布収束するという定理である。逆に、各項の分散の最大値が $0$ に近づくとき(Feller の条件)、正規分布への収束から Lindeberg の条件が従う。同じ分布でない独立な確率変数の和にも使え、Lyapunov の条件や独立同分布の中心極限定理を含む。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 中心極限定理, 特性関数(確率論), 独立性(確率論), 正規分布

中心極限定理 は、独立で同じ分布に従う確率変数の和を標準化すると、分布が標準正規分布に近づくことを述べる。しかし測定誤差や、記録の更新の回数のように、和をつくる項がそれぞれ違う分布に従うことは多い。そのような和でも、「どの 1 項も全体に比べて無視できるほど小さい」なら正規分布に近づく。この「小さい」をちょうど過不足なく言い表すのが Lindeberg の条件 であり、それによる中心極限定理が Lindeberg–Feller の中心極限定理(Lindeberg–Feller central limit theorem)である。
定理は 2 つの部分からなる。Lindeberg の条件が成り立てば和は正規分布に近づく(十分性)。逆に、各項の分散が全体に比べて一様に小さいという Feller の条件のもとで和が正規分布に近づくなら、Lindeberg の条件が成り立つ(必要性)。とくに、項の分散が一様に小さい和については、Lindeberg の条件が正規分布に近づくための必要十分条件である。
この記事では、各行が独立な確率変数からなる三角配列について Lindeberg の条件と Feller の条件を定義し、特性関数を使って定理の両方の部分を証明する。系として、独立な確率変数の列についての形、Lyapunov の条件、独立同分布の場合、一様に有界な項の場合を導き、重み付きの和と記録の回数に当てはめる。最後に、それぞれの条件を外すと結論が崩れる例と、分散で割ると正しくない極限が出る例を挙げる。

三角配列と Lindeberg の条件

以下、確率変数は実数値とする。$\mu_n\Rightarrow\mu$(確率測度の弱収束)と $Y_n\Rightarrow Y$(分布収束)は 特性関数(確率論) の定義「弱収束と分布収束」の意味で使い(ほかの収束との関係は 確率変数の収束)、平均 $0$、分散 $\sigma^2$ の正規分布を $N(0,\sigma^2)$、標準正規分布の分布関数を $\Phi$ と書く。確率変数 $Y$ と事象 $A$ について $E[Y;A]:=E[Y1_A]$ とする。

三角配列

自然数の列 $(k_n)_{n\ge1}$ と、各 $n$ について有限個の確率変数 $X_{n,1},\dots,X_{n,k_n}$ が与えられ、次を満たすとする。

  1. 各 $n$ について、$X_{n,1},\dots,X_{n,k_n}$ は互いに独立である。
  2. すべての $n,m$ について $E[X_{n,m}]=0$、$\sigma_{n,m}^2:=E[X_{n,m}^2]<\infty$ である。
    これを(行ごとに独立な)三角配列 という。$n$ 行目の和を $S_n:=X_{n,1}+\cdots+X_{n,k_n}$、その分散を $s_n^2:=\sum_{m=1}^{k_n}\sigma_{n,m}^2$ と書く。

行が違う確率変数どうしの関係は何も仮定しない。分布収束は各 $S_n$ の分布だけで決まるので、行ごとに別の確率空間の上で考えてもよい。$k_n=n$ のとき、$X_{n,m}$ を $n$ 行目に並べると三角形の形になる。

Lindeberg 条件と Feller の条件

三角配列について、$\varepsilon>0$ に対し
$$ L_n(\varepsilon):=\sum_{m=1}^{k_n}E\bigl[X_{n,m}^2;\ |X_{n,m}|>\varepsilon\bigr] $$
とおく。

  1. すべての $\varepsilon>0$ について $L_n(\varepsilon)\to0$($n\to\infty$)となることを Lindeberg の条件 という。
  2. $\displaystyle\max_{1\le m\le k_n}\sigma_{n,m}^2\to0$($n\to\infty$)となることを Feller の条件 という。

$L_n(\varepsilon)$ は、行の分散 $s_n^2$ のうち、絶対値が $\varepsilon$ を超える大きな値から来る部分である。Lindeberg の条件は、分散の和が大きな値の寄与で占められないことを、すべての水準 $\varepsilon$ で求める。

Lindeberg の条件から Feller の条件が従う

三角配列が Lindeberg の条件を満たせば、Feller の条件を満たし、すべての $\varepsilon>0$ について $\max_mP(|X_{n,m}|>\varepsilon)\to0$ である。

$\varepsilon>0$ とする。各 $m$ について、$X_{n,m}^2$ を $\{|X_{n,m}|\le\varepsilon\}$ と $\{|X_{n,m}|>\varepsilon\}$ に分けると
$$ \sigma_{n,m}^2\le\varepsilon^2+E\bigl[X_{n,m}^2;|X_{n,m}|>\varepsilon\bigr]\le\varepsilon^2+L_n(\varepsilon) $$
なので、$\limsup_n\max_m\sigma_{n,m}^2\le\varepsilon^2$ である。$\varepsilon$ は任意なので Feller の条件が成り立つ。後半は、分散 の記事の定理「Chebyshevの不等式」により $P(|X_{n,m}|>\varepsilon)\le\sigma_{n,m}^2/\varepsilon^2$ であることから従う。$\square$

逆は成り立たない。下の ex-lf-wrong-variance では、各項の分散は $2$ 以下で $s_n^2\to\infty$ なので Feller の条件が成り立つが、Lindeberg の条件は成り立たない。

主定理

主定理の証明には、特性関数(確率論) の Lévy の連続性定理と、次の初等的な評価を使う。

複素数の積と指数関数の評価
  1. 絶対値が $1$ 以下の複素数 $z_1,\dots,z_k$、$w_1,\dots,w_k$ について $\displaystyle\Bigl|\prod_{m=1}^kz_m-\prod_{m=1}^kw_m\Bigr|\le\sum_{m=1}^k|z_m-w_m|$ である。
  2. $|w|\le1$ を満たす複素数 $w$ について $|e^w-1-w|\le|w|^2$ である。
  3. 実数 $x$ について $|e^{ix}-1-ix|\le\dfrac{x^2}2$ であり、$0\le1-\cos x\le\dfrac{x^2}2$ である。

要点:1 は 1 項ずつ取り替える帰納法、2 は指数関数の級数、3 は剰余を積分 $i\int_0^x(e^{is}-1)\,ds$ で書いて評価する。

詳しい証明を開く

1. $k$ についての帰納法による。$k=1$ では明らかである。$P:=\prod_{m< k}z_m$、$Q:=\prod_{m< k}w_m$ とおくと $|z_k|\le1$、$|Q|\le1$ なので $$|z_kP-w_kQ|=|z_k(P-Q)+(z_k-w_k)Q|\le|P-Q|+|z_k-w_k|$$ であり、帰納法の仮定から結論を得る。

2. $e^w-1-w=\sum_{j\ge2}w^j/j!$ であり、$|w|\le1$ なら $|w^j|\le|w|^2$($j\ge2$)なので、絶対値は $|w|^2\sum_{j\ge2}1/j!=(e-2)|w|^2\le|w|^2$ 以下である。

3. $g(x):=e^{ix}-1-ix$ は $g(0)=0$、$g'(x)=i(e^{ix}-1)$ を満たすので $g(x)=i\int_0^x(e^{is}-1)\,ds$ である。特性関数(確率論) の補題「指数関数の Taylor 展開の剰余」により $|e^{is}-1|\le|s|$ なので、$|g(x)|\le\bigl|\int_0^x|s|\,ds\bigr|=x^2/2$ である。後半は $1-\cos x=\operatorname{Re}(-g(x))$ と $|{\operatorname{Re}}\,g|\le|g|$、および $\cos x\le1$ による。$\square$

$n$ を固定すると $X_{n,1},\dots,X_{n,k_n}$ は独立なので、各 $j$ について $X_{n,1}+\cdots+X_{n,j-1}$ と $X_{n,j}$ は独立であり(Dur19 Theorem 2.1.10、p. 47)、特性関数(確率論) の命題「特性関数の基本性質」の 4 を繰り返し使うと、$\varphi_{n,m}(t):=E[e^{itX_{n,m}}]$ について
$$ E\bigl[e^{itS_n}\bigr]=\prod_{m=1}^{k_n}\varphi_{n,m}(t) $$
である。

Lindeberg–Fellerの定理

三角配列について $s_n^2\to\sigma^2$($0<\sigma^2<\infty$)とする。

  1. (Lindeberg) Lindeberg の条件が成り立てば、$S_n\Rightarrow N(0,\sigma^2)$、すなわちすべての実数 $x$ について $P(S_n\le x)\to\Phi(x/\sigma)$ である。
  2. (Feller) Feller の条件が成り立ち、$S_n\Rightarrow N(0,\sigma^2)$ なら、Lindeberg の条件が成り立つ。
十分性:特性関数を 2 次の多項式で近似する

$t\in\mathbb R$ を固定する。$z_m:=\varphi_{n,m}(t)$、$b_m:=t^2\sigma_{n,m}^2/2$、$w_m:=1-b_m$ とおく($n$ への依存は書かない)。
段 1。 $E[X_{n,m}]=0$ なので、特性関数(確率論) の定理「積率と微分」の 2 により
$$ |z_m-w_m|\le t^2E\Bigl[\min\Bigl\{\frac{|t|\,|X_{n,m}|^3}6,\ X_{n,m}^2\Bigr\}\Bigr] $$
である。$\varepsilon>0$ とし、期待値を $\{|X_{n,m}|\le\varepsilon\}$ と $\{|X_{n,m}|>\varepsilon\}$ に分けて、前者では $|X_{n,m}|^3\le\varepsilon X_{n,m}^2$、後者では $X_{n,m}^2$ の側を使うと
$$ \sum_{m=1}^{k_n}|z_m-w_m|\le\frac{|t|^3\varepsilon}6s_n^2+t^2L_n(\varepsilon) $$
を得る。Lindeberg の条件と $s_n^2\to\sigma^2$ から、左辺の上極限は $|t|^3\varepsilon\sigma^2/6$ 以下であり、$\varepsilon$ は任意なので左辺は $0$ に近づく。
段 2。 prop-lf-negligible により $\beta_n:=\max_mb_m\to0$ なので、十分大きい $n$ では $0\le b_m\le1$ であり、$|w_m|\le1$ である。$|z_m|\le1$ でもあるので、lem-lf-estimates の 1 と段 1 から $\bigl|\prod_mz_m-\prod_mw_m\bigr|\to0$ である。
段 3。 同じく大きい $n$ では、lem-lf-estimates の 2 を $w=-b_m$ に使うと $|w_m-e^{-b_m}|\le b_m^2$ であり、$|e^{-b_m}|\le1$ なので、lem-lf-estimates の 1 から
$$ \Bigl|\prod_mw_m-\prod_me^{-b_m}\Bigr|\le\sum_mb_m^2\le\beta_n\sum_mb_m=\beta_n\frac{t^2s_n^2}2\to0 $$
である。$\prod_me^{-b_m}=e^{-t^2s_n^2/2}\to e^{-\sigma^2t^2/2}$ である。
段 2・3 から $E[e^{itS_n}]=\prod_mz_m\to e^{-\sigma^2t^2/2}$ である。正規分布 の定理「積率母関数と特性関数」により、右辺は $N(0,\sigma^2)$ の特性関数で、$t=0$ で連続である。特性関数(確率論) の定理「Lévy の連続性定理」の 2 と系「特性関数は分布を決める」により、$S_n$ の分布は $N(0,\sigma^2)$ に弱収束する。$N(0,\sigma^2)$ の分布関数 $x\mapsto\Phi(x/\sigma)$ はすべての点で連続なので、すべての $x$ で $P(S_n\le x)\to\Phi(x/\sigma)$ である。$\square$

段 1 で 3 次の積率を仮定しなくてよいのは、大きな値の上では $\min$ の $X^2$ の側を使い、その寄与を Lindeberg の条件で消しているからである。独立同分布の場合の証明(特性関数(確率論) の定理「独立同分布の和の中心極限定理」)では、同じ役割を 優収束定理 が果たしていた。
必要性の証明では、特性関数の積を指数関数 $\exp\bigl(\sum_m(\varphi_{n,m}(t)-1)\bigr)$ で近似し、その絶対値から $\sum_mE[1-\cos tX_{n,m}]$ の極限を読み取る。複素対数(複素対数関数)の枝を選ぶ必要がないように、絶対値だけを使う。

必要性:特性関数の実部から裾を読み取る

要点:Feller の条件のもとで $\prod_m\varphi_{n,m}(t)$ と $\exp\bigl(\sum_m(\varphi_{n,m}(t)-1)\bigr)$ の差が $0$ に近づくので、絶対値をとって $\sum_mE[1-\cos tX_{n,m}]\to\sigma^2t^2/2$ を得る。これと $\sum_mE[t^2X_{n,m}^2/2]\to\sigma^2t^2/2$ の差は、$|x|>\varepsilon$ の上で $X^2$ の定数倍以上になる。

詳しい証明を開く

段 1(指数関数による近似)。 $t\in\mathbb R$ を固定し、$a_m:=\varphi_{n,m}(t)-1$ とおく。$E[X_{n,m}]=0$ なので $a_m=E[e^{itX_{n,m}}-1-itX_{n,m}]$ であり、lem-lf-estimates の 3 により $|a_m|\le t^2\sigma_{n,m}^2/2$ である。よって $\alpha_n:=\max_m|a_m|\le\frac{t^2}2\max_m\sigma_{n,m}^2\to0$(Feller の条件)であり、$\sum_m|a_m|\le t^2s_n^2/2$ は有界である。$\operatorname{Re}a_m=E[\cos tX_{n,m}-1]\le0$ なので $|e^{a_m}|=e^{\operatorname{Re}a_m}\le1$ であり、$|1+a_m|=|\varphi_{n,m}(t)|\le1$ である。$\alpha_n\le1$ となる $n$ では、lem-lf-estimates の 1・2 により

$$\Bigl|\prod_m\varphi_{n,m}(t)-\exp\Bigl(\sum_ma_m\Bigr)\Bigr|\le\sum_m|1+a_m-e^{a_m}|\le\sum_m|a_m|^2\le\alpha_n\sum_m|a_m|\to0$$

である。

段 2(実部の極限)。 $S_n\Rightarrow N(0,\sigma^2)$ なので、特性関数(確率論) の定理「Lévy の連続性定理」の 1 と 正規分布 の定理「積率母関数と特性関数」により $\prod_m\varphi_{n,m}(t)=E[e^{itS_n}]\to e^{-\sigma^2t^2/2}$ である。段 1 から $\exp\bigl(\sum_ma_m\bigr)\to e^{-\sigma^2t^2/2}$ であり、絶対値をとると $\exp\bigl(\sum_m\operatorname{Re}a_m\bigr)\to e^{-\sigma^2t^2/2}$ である。対数は $(0,\infty)$ で連続なので $\sum_m\operatorname{Re}a_m\to-\sigma^2t^2/2$、すなわち

$$\sum_mE\bigl[1-\cos tX_{n,m}\bigr]\to\frac{\sigma^2t^2}2$$

である。

段 3(裾の評価)。 $h_t(x):=\frac{t^2x^2}2-(1-\cos tx)$ とおくと、lem-lf-estimates の 3 により $h_t\ge0$ である。$\sum_mE[t^2X_{n,m}^2/2]=t^2s_n^2/2\to\sigma^2t^2/2$ と段 2 から、$\sum_mE[h_t(X_{n,m})]\to0$ である。$\varepsilon>0$ とし $t:=3/\varepsilon$ とする。$|x|>\varepsilon$ なら $1-\cos tx\le2< 2x^2/\varepsilon^2$ なので

$$h_t(x)\ge\Bigl(\frac9{2\varepsilon^2}-\frac2{\varepsilon^2}\Bigr)x^2=\frac5{2\varepsilon^2}x^2$$

である。$h_t\ge0$ なので

$$\frac5{2\varepsilon^2}L_n(\varepsilon)\le\sum_mE\bigl[h_t(X_{n,m});|X_{n,m}|>\varepsilon\bigr]\le\sum_mE\bigl[h_t(X_{n,m})\bigr]\to0$$

であり、Lindeberg の条件が成り立つ。$\square$

必要性の証明の要は、$\sum_mE[1-\cos tX_{n,m}]$ が、2 次の近似 $\sum_mE[t^2X_{n,m}^2/2]$ から「大きな値の分だけ」小さくなることである。正規分布への収束はこの差が消えることを強制し、それが Lindeberg の条件にほかならない。Feller の条件は、段 1 で積を指数関数に替えるために使った。

系

実際によく使うのは、独立な確率変数の列を標準化した形である。

独立な列の中心極限定理

$X_1,X_2,\dots$ を独立な確率変数の列で、$\mu_k:=E[X_k]$、$\sigma_k^2:=\operatorname{Var}(X_k)<\infty$ とし、$S_n:=X_1+\cdots+X_n$、$s_n^2:=\sigma_1^2+\cdots+\sigma_n^2>0$ とする。すべての $\varepsilon>0$ について
$$ \frac1{s_n^2}\sum_{k=1}^nE\bigl[(X_k-\mu_k)^2;\ |X_k-\mu_k|>\varepsilon s_n\bigr]\to0 $$
が成り立てば、$\dfrac{S_n-(\mu_1+\cdots+\mu_n)}{s_n}\Rightarrow N(0,1)$ である。逆に、$\max_{k\le n}\sigma_k^2/s_n^2\to0$ のもとでこの分布収束が成り立てば、上の条件が成り立つ。

$k_n:=n$、$X_{n,m}:=(X_m-\mu_m)/s_n$ とおくと、各行は独立で平均 $0$ であり(独立な確率変数を 1 つずつ変換しても独立である。Dur19 Theorem 2.1.10、p. 47)、行の分散の和は $1$ である。$E[X_{n,m}^2;|X_{n,m}|>\varepsilon]$ を $s_n^2$ 倍したものは $E[(X_m-\mu_m)^2;|X_m-\mu_m|>\varepsilon s_n]$ なので、仮定は Lindeberg の条件そのものであり、Feller の条件は $\max_{k\le n}\sigma_k^2/s_n^2\to0$ である。thm-lf-main を $\sigma^2=1$ で使えばよい。$\square$

Lyapunovの条件による判定

三角配列について $s_n^2\to\sigma^2$($0<\sigma^2<\infty$)とし、ある $\delta>0$ について $\sum_{m=1}^{k_n}E\bigl[|X_{n,m}|^{2+\delta}\bigr]\to0$ とする。このとき $S_n\Rightarrow N(0,\sigma^2)$ である。

$|X_{n,m}|>\varepsilon$ の上では $X_{n,m}^2\le|X_{n,m}|^{2+\delta}/\varepsilon^\delta$ なので、$L_n(\varepsilon)\le\varepsilon^{-\delta}\sum_mE[|X_{n,m}|^{2+\delta}]\to0$ である。thm-lf-main の 1 による。$\square$

列の形では、条件は $s_n^{-(2+\delta)}\sum_{k\le n}E|X_k-\mu_k|^{2+\delta}\to0$ となる(Lyapunov の条件)。Lindeberg の条件より強いが、積率の計算だけで確かめられる。たとえば $E|X_k-\mu_k|^3\le C$ で $s_n^2\ge cn$($c>0$)なら、和は $Cn/(cn)^{3/2}\to0$ である。

独立同分布の場合と一様に有界な項の場合
  1. $X_1,X_2,\dots$ が独立で同じ分布に従い、平均 $\mu$、分散 $\sigma^2\in(0,\infty)$ をもつなら、$\dfrac{S_n-n\mu}{\sigma\sqrt n}\Rightarrow N(0,1)$ である。
  2. cor-lf-sequence の設定で、定数 $M$ があってすべての $k$ について $|X_k-\mu_k|\le M$ であり、$s_n\to\infty$ なら、$\dfrac{S_n-(\mu_1+\cdots+\mu_n)}{s_n}\Rightarrow N(0,1)$ である。
  1. $s_n^2=n\sigma^2$ なので、cor-lf-sequence の条件の左辺は $\sigma^{-2}E\bigl[(X_1-\mu)^2;|X_1-\mu|>\varepsilon\sigma\sqrt n\bigr]$ である。被積分関数は $(X_1-\mu)^2$ で抑えられ、各点で $0$ に近づくので、優収束定理 によりこれは $0$ に近づく。
  2. $\varepsilon s_n> M$ となる $n$ では、事象 $\{|X_k-\mu_k|>\varepsilon s_n\}$ はすべて空なので、条件の左辺は $0$ である。$\square$

1 は 中心極限定理 の定理「中心極限定理」であり、特性関数(確率論) の定理「独立同分布の和の中心極限定理」の別証明になっている。2 の条件 $s_n\to\infty$ は外せない。$X_1$ が $\pm1$ を確率 $\frac12$ ずつとり、$k\ge2$ では $X_k:=0$ なら、$|X_k-\mu_k|\le1$ で $s_n=1$ であり、標準化した和はいつまでも $X_1$ のままで正規分布に近づかない。

重み付きの和

$Y_1,Y_2,\dots$ を独立で同じ分布に従い、平均 $0$、分散 $1$ をもつ確率変数とし、実数列 $(a_k)$ について $s_n^2:=a_1^2+\cdots+a_n^2>0$、$r_n:=\max_{k\le n}|a_k|/s_n$ とおく。$r_n\to0$ なら
$$ \frac1{s_n}\sum_{k=1}^na_kY_k\Rightarrow N(0,1) $$
である。たとえば $a_k=k$ なら $s_n^2=n(n+1)(2n+1)/6$、$r_n^2=6n/((n+1)(2n+1))\to0$ なので、$\sum_{k\le n}kY_k$ を $s_n\sim n^{3/2}/\sqrt3$ で割ったものは標準正規分布に近づく。

$X_{n,k}:=a_kY_k/s_n$($k\le n$)は各行で独立、平均 $0$ で、分散の和は $1$ である。$|X_{n,k}|>\varepsilon$ なら $|Y_k|>\varepsilon s_n/|a_k|\ge\varepsilon/r_n$ なので($a_k=0$ の項は $0$)
$$ L_n(\varepsilon)\le\sum_{k=1}^n\frac{a_k^2}{s_n^2}E\bigl[Y_k^2;|Y_k|>\varepsilon/r_n\bigr]=E\bigl[Y_1^2;|Y_1|>\varepsilon/r_n\bigr] $$
である。$\varepsilon/r_n\to\infty$ なので、優収束定理 により右辺は $0$ に近づく。thm-lf-main の 1 による。$\square$

条件 $r_n\to0$ は、この配列の Feller の条件そのものである。$a_k=2^k$ のように最後の項が分散の一定の割合(ここでは $\frac34$ 以上)を占め続ける重みでは、この例の議論は使えない。

記録の回数

$Z_1,Z_2,\dots$ を独立で同じ連続な分布関数をもつ確率変数とし、$A_k:=\{Z_k>\max_{j< k}Z_j\}$($k$ 回目に記録が更新される事象、$A_1=\Omega$)、$R_n:=\sum_{k=1}^n1_{A_k}$($n$ 回目までの記録の回数)とする。事象 $A_1,A_2,\dots$ は独立で $P(A_k)=\frac1k$ である(Dur19 Example 2.3.10、p. 72。この記事では証明しない)。$H_n:=\sum_{k\le n}\frac1k$、$v_n:=\sum_{k\le n}\bigl(\frac1k-\frac1{k^2}\bigr)$ とおくと、
$$ \frac{R_n-H_n}{\sqrt{v_n}}\Rightarrow N(0,1) $$
である。

$X_k:=1_{A_k}$ は独立で、$\mu_k=\frac1k$、$\sigma_k^2=\frac1k-\frac1{k^2}$、$|X_k-\mu_k|\le1$ である。$v_n=H_n-\sum_{k\le n}k^{-2}\ge H_n-2$ であり、調和級数は発散するので $v_n\to\infty$ である。$X_1-\mu_1=0$ なので $R_n-H_n=\sum_{k=2}^n(X_k-\mu_k)$ であり、列 $X_2,X_3,\dots$ の分散の和 $v_n$ は $n\ge2$ で正である。この列に cor-lf-special の 2 を当てればよい。$\square$

$H_n-\log n$ は有界で $v_n/\log n\to1$ なので、結論は $(R_n-\log n)/\sqrt{\log n}\Rightarrow N(0,1)$ とも書ける(Dur19 Example 3.4.11、pp. 149–150)。$n$ 回の試行での記録の回数はおよそ $\log n$ で、その揺らぎは $\sqrt{\log n}$ の程度である。項の分布は $k$ ごとに違い、どれも同じ分布でないので、中心極限定理 の記事の定理は使えない。

反例:条件を外すと成り立たない

以下、$\xi,\eta_2,\eta_3,\dots$ は独立で、$\eta_m$ は $\pm1$ を確率 $\frac12$ ずつとり、$n\ge2$ とする。表の 1・2 行目では $X_{n,m}:=\eta_m/\sqrt{2(n-1)}$($2\le m\le n$)、$X_{n,1}:=\xi/\sqrt2$ とおく。1・2 行目の配列は $k_n=n$ で、各行は独立、平均 $0$、$s_n^2=1$ である。

外す条件反例成り立たなくなること
Lindeberg の条件(thm-lf-main の 1)$\xi$ は $\pm1$ を確率 $\frac12$ ずつとる$E[e^{itS_n}]\to\cos(t/\sqrt2)\,e^{-t^2/4}$ で、$S_n$ は $N(0,1)$ に分布収束しない
Feller の条件(thm-lf-main の 2)$\xi$ は $N(0,1)$ に従う$S_n\Rightarrow N(0,1)$ だが、Lindeberg の条件は成り立たない
行の中での独立性(thm-lf-main の 1)$\xi$ は $\pm1$ を確率 $\frac12$ ずつとり、$X_{n,m}:=\xi/\sqrt n$($1\le m\le n$)Lindeberg の条件は成り立つが、$S_n=\sqrt n\,\xi$ は分布収束しない
表の確かめ

各行の主張を確かめる。

確かめを開く

1・2 行目の共通部分:$T_n:=\sum_{m=2}^n\eta_m/\sqrt{n-1}$ は独立同分布の和の標準化なので、特性関数(確率論) の定理「独立同分布の和の中心極限定理」と「Lévy の連続性定理」の 1 により $E[e^{isT_n}]\to e^{-s^2/2}$ である。$\sum_{m\ge2}X_{n,m}=T_n/\sqrt2$ と $X_{n,1}$ は独立なので、$E[e^{itS_n}]=E[e^{itX_{n,1}}]\,E[e^{i(t/\sqrt2)T_n}]$ であり、第 2 因子は $e^{-t^2/4}$ に近づく。

1 行目:$E[e^{itX_{n,1}}]=\cos(t/\sqrt2)$ なので $E[e^{itS_n}]\to\cos(t/\sqrt2)e^{-t^2/4}$ である。$t=\pi/\sqrt2$ では極限は $0$ で、$e^{-\pi^2/4}\ne0$ と異なる。$S_n\Rightarrow N(0,1)$ なら Lévy の連続性定理の 1 により極限は $e^{-t^2/2}$ のはずなので、$S_n$ は $N(0,1)$ に分布収束しない。$0<\varepsilon<1/\sqrt2$ なら $L_n(\varepsilon)\ge E[X_{n,1}^2]=\frac12$ であり、Lindeberg の条件は成り立たない。ほかの仮定(行の独立性、平均 $0$、$s_n^2\to1$)は成り立っている。

2 行目:$E[e^{itX_{n,1}}]=e^{-t^2/4}$(正規分布 の定理「積率母関数と特性関数」)なので $E[e^{itS_n}]\to e^{-t^2/2}$ であり、Lévy の連続性定理の 2 と特性関数の一意性から $S_n\Rightarrow N(0,1)$ である。一方 $L_n(\varepsilon)\ge E[\xi^2/2;|\xi|>\sqrt2\varepsilon]$ は $n$ によらない正の数なので、Lindeberg の条件は成り立たない。$\max_m\sigma_{n,m}^2=\frac12$ なので Feller の条件が成り立たず、thm-lf-main の 2 は使えない。

3 行目:$\sigma_{n,m}^2=\frac1n$ なので $s_n^2=1$ である。$n>1/\varepsilon^2$ なら $|X_{n,m}|=1/\sqrt n\le\varepsilon$ なので $L_n(\varepsilon)=0$ であり、Lindeberg の条件は成り立つ。$S_n=\sqrt n\,\xi$ について、$x$ を固定すると $n>x^2$ で $P(S_n\le x)=\frac12$ であり、極限は分布関数でないので、$S_n$ はどの分布にも分布収束しない。行の中の項がすべて等しく、独立でない。

2 行目は、Feller の条件がなければ、正規分布への収束から Lindeberg の条件が出るとは限らないことを示す。1 つの項が分散の半分を占めていても、その項がたまたま正規分布に従えば和は正規分布になる。
分散で割ることが正しい標準化でない例もある。

分散で割ると正しくない極限が出る例

$X_1,X_2,\dots$ を独立とし、$X_1$ は $\pm1$ を確率 $\frac12$ ずつとり、$m\ge2$ では
$$ P(X_m=\pm m)=\frac1{2m^2},\qquad P(X_m=\pm1)=\frac12\Bigl(1-\frac1{m^2}\Bigr) $$
とする(複号同順)。$E[X_m]=0$、$\sigma_m^2=2-\frac1{m^2}$($m\ge2$)なので $s_n^2/n\to2$ である。このとき $S_n/s_n\Rightarrow N(0,\frac12)$ であり、$N(0,1)$ には分布収束しない。$X_{n,m}:=X_m/s_n$ の三角配列では、すべての $\varepsilon>0$ について $L_n(\varepsilon)\to\frac12$ である。

要点:まれに起こる大きな値 $\pm m$ を符号 $\pm1$ に取り替えても、Borel–Cantelli の補題により有限個の項しか変わらない。分散の半分は、この有限個の大きな値から来ている。

詳しい証明を開く

$Y_m:=X_m/|X_m|$($X_m$ の符号)とおくと、$Y_1,Y_2,\dots$ は独立で $\pm1$ を確率 $\frac12$ ずつとる。$P(X_m\ne Y_m)=P(|X_m|=m)=\frac1{m^2}$($m\ge2$)の和は有限なので、Borel–Cantelliの補題 の定理「第 1 の Borel–Cantelli の補題」により、ほとんど確実に $X_m\ne Y_m$ となる $m$ は有限個である。よって $D:=\sum_m(X_m-Y_m)$ はほとんど確実に有限和であり、$T_n:=Y_1+\cdots+Y_n$ とおくと $(S_n-T_n)/s_n\to0$ がほとんど確実に成り立つ。

$T_n/s_n$ の特性関数は $\cos(t/s_n)^n$ である。$u\to0$ で $\log\cos u=-\frac{u^2}2+O(u^4)$ であり、$n/s_n^2\to\frac12$ なので $n\log\cos(t/s_n)\to-t^2/4$、すなわち $E[e^{itT_n/s_n}]\to e^{-t^2/4}$ である。さらに

$$\bigl|E[e^{itS_n/s_n}]-E[e^{itT_n/s_n}]\bigr|\le E\bigl|e^{it(S_n-T_n)/s_n}-1\bigr|\to0$$

である(被積分関数は $2$ 以下で、ほとんど確実に $0$ に近づくので 優収束定理)。よって $E[e^{itS_n/s_n}]\to e^{-t^2/4}$ であり、Lévy の連続性定理の 2 と特性関数の一意性から $S_n/s_n\Rightarrow N(0,\frac12)$ である。

$L_n(\varepsilon)$ について:$m\ge2$ かつ $m>\varepsilon s_n\ge1$ なら、$|X_m|>\varepsilon s_n$ は $|X_m|=m$ と同値なので $E[X_m^2;|X_m|>\varepsilon s_n]=m^2\cdot\frac1{m^2}=1$ である。$\varepsilon s_n\ge1$ のとき $m\le\varepsilon s_n$ の項は $0$ なので、$L_n(\varepsilon)=\#\{m\le n\mid m>\varepsilon s_n\}/s_n^2$ である。$s_n\sim\sqrt{2n}$ なので $\varepsilon s_n=o(n)$ であり、$L_n(\varepsilon)\sim n/s_n^2\to\frac12$ である。$\square$

$S_n/\sqrt n$ で見れば、上の議論と同じく $S_n/\sqrt n\Rightarrow N(0,1)$ である。$X_m$ の分散のおよそ半分は確率 $\frac1{m^2}$ でしか起こらない大きな値 $\pm m$ から来るが、そのような値はほとんど確実に有限回しか現れず、和の揺らぎには効かない。分散は和の揺らぎの大きさを正しく測っておらず、Lindeberg の条件はこの食い違いを $L_n(\varepsilon)\to\frac12$ として検出する。

補足

  • 独立同分布で分散が無限大の場合。 独立同分布の列 $X_1,X_2,\dots$ について、定数 $a_n$、$b_n>0$ で $(S_n-a_n)/b_n\Rightarrow N(0,1)$ となるものが存在するための必要十分条件は、$y\to\infty$ のとき $y^2P(|X_1|>y)/E\bigl[X_1^2;|X_1|\le y\bigr]\to0$ となることである(Dur19 Theorem 3.4.14、p. 152。この記事では証明しない)。分散が無限大でも正規分布に近づく場合がある。たとえば $P(X_1>x)=P(X_1<-x)$、$P(|X_1|>x)=x^{-2}$($x\ge1$)なら、各項を水準 $\sqrt n\log\log n$ で切り捨ててから thm-lf-main の 1 を当てると、$S_n/\sqrt{n\log n}\Rightarrow N(0,1)$ が得られる(同書 Example 3.4.13、pp. 151–152)。
  • 収束の速さ。 独立同分布で $E|X_1|^3<\infty$ なら、標準化した和の分布関数と $\Phi$ の差は一様に $n^{-1/2}$ の定数倍で抑えられる(Berry–Esseen の定理、Dur19 Theorem 3.4.17、p. 157。この記事では証明しない)。
  • 別の証明。 thm-lf-main の 1 には、特性関数を使わない証明もある。Dur19 §3.4.3(pp. 153–155)は、Lindeberg の条件を水準 $\varepsilon_n\to0$ でも成り立つように強めてから各項をその水準で切り捨て、切り捨てた和の積率が正規分布の積率に近づくことを示している。
  • 応用。 整数の素因数の個数についての Erdős–Kacの定理 は、独立な有界の確率変数の和のモデルが正規分布に近づくことを経由して証明される。そのモデルは cor-lf-special の 2 の形をしている。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する