大数の法則

同義語：law of large numbers

概要

前提知識: 期待値, 分散, 独立性(確率論)

定義

公平な硬貨を投げ続けると、表の出た割合はしだいに $\frac12$ に近づいていく、と多くの人が感じている。実際、1000 回投げたとき表の割合が $0.45$ 以下または $0.55$ 以上になる確率は $0.0017\ldots$ しかない（二項係数を直接足した値）。10 回なら表が 4 回以下か 6 回以上になるのはごく普通のことだが、回数を増やすと割合は $\frac12$ のまわりに集中する。大数の法則（law of large numbers）は、この経験則を確率論の定理として述べたものである。確率 $\frac12$ という数学上の値が、「長く繰り返したときの割合」として読めることを、確率のモデルの中で保証する。
ただし大数の法則が述べるのは「割合」の集中であって、「表と裏の回数の差」が $0$ に戻ることではない。表の回数と $\frac n2$ の差が $10$ 以上になる確率は、100 回では $0.056\ldots$、10000 回では $0.849\ldots$ で、むしろ大きくなる（ex-lln-gambler）。
以下、期待値と分散の記事と同じく、離散確率空間（空でない有限集合または可算集合 $\Omega$ と、$\sum_\omega p(\omega)=1$ を満たす $p\colon\Omega\to[0,1]$ の組）の上の実数値の確率変数を考える。

標本平均

確率変数 $X_1,\dots,X_n$（$n\geq1$）に対し
$$ \bar X_n:=\frac{X_1+X_2+\cdots+X_n}n $$
を標本平均という。$X_i$ を同じ試行の $i$ 回目の結果の値と考えると、$\bar X_n$ は $n$ 回の結果の平均である。

確率収束

各 $n\geq1$ について確率空間 $(\Omega_n,p_n)$ とその上の確率変数 $Y_n$ が与えられ、$c$ を実数とする。すべての $\varepsilon>0$ について
$$ \lim_{n\to\infty}P_n\bigl(|Y_n-c|\geq\varepsilon\bigr)=0 $$
が成り立つとき（$P_n$ は $(\Omega_n,p_n)$ の確率）、$Y_n$ は $c$ に確率収束するという。

確率空間が $n$ ごとに違ってよいことに注意する。公平な硬貨を「限りなく投げ続ける」試行は、有限または可算の標本空間では表せない（独立性(確率論) の記事の命題「離散確率空間には無限個の独立な公平な事象がない」）。しかし「$n$ 回投げる」試行は、$n$ ごとに $\{0,1\}^n$ 上の確率空間で表せる。確率収束はこのような $n$ ごとの確率だけで述べられるので、離散確率空間の範囲で扱える。
大数の法則（弱法則）は、次の形で述べられる（thm-lln-weak）：確率変数 $X_1,\dots,X_n$ が対ごとに独立で、どれも同じ期待値 $\mu$ と有限な同じ分散 $\sigma^2$ をもつならば、すべての $\varepsilon>0$ について
$$ P\bigl(|\bar X_n-\mu|\geq\varepsilon\bigr)\leq\frac{\sigma^2}{n\varepsilon^2} $$
であり、特に $\bar X_n$ は $\mu$ に確率収束する。

直感

独立な確率変数を足すと、期待値は $n$ 倍になるが、分散も $n$ 倍にしかならない（分散の記事の定理「独立な確率変数の和の分散」）。散らばりの幅を表す標準偏差は $\sqrt n$ 倍である。和を $n$ で割った平均では、期待値は $\mu$ のまま、標準偏差は $\sigma/\sqrt n$ に縮む。1 回ごとの結果がどれほど予測できなくても、平均をとれば個々のずれが打ち消し合い、平均の散らばりは回数とともに小さくなる。Chebyshev の不等式は、分散が小さい確率変数が期待値から大きく離れる確率は小さい、ということを数量的に保証する。この 2 つを合わせたものが大数の法則である。
一方、和そのもの（たとえば表の回数）の散らばりは $\sqrt n$ に比例して大きくなる。「割合は近づくが、回数の差は広がりうる」という 2 つの事実は、この $\sqrt n$ と $n$ の違いから来ている。

大数の法則

大数の弱法則

$n\geq1$ とし、確率変数 $X_1,\dots,X_n$ が対ごとに独立で、どれも期待値 $\mu$ と有限な分散 $\sigma^2$ をもつとする。このとき、すべての $\varepsilon>0$ について
$$ P\bigl(|\bar X_n-\mu|\geq\varepsilon\bigr)\leq\frac{\sigma^2}{n\varepsilon^2},\qquad P\bigl(|\bar X_n-\mu|<\varepsilon\bigr)\geq1-\frac{\sigma^2}{n\varepsilon^2} $$
である。したがって、各 $n$ についてこの仮定を満たす確率変数 $X_1,\dots,X_n$（$\mu$ と $\sigma^2$ は $n$ によらない）が与えられていれば、$\bar X_n$ は $\mu$ に確率収束する。

平均の分散と Chebyshev の不等式

分散の記事の系「平均の分散」により $E[\bar X_n]=\mu$、$V[\bar X_n]=\frac{\sigma^2}n$ である。これは、線形性から $E[\bar X_n]=\frac1n\sum_iE[X_i]=\mu$ となることと、対ごとの独立性から和の分散が分散の和 $n\sigma^2$ になり、$\frac1n$ 倍した確率変数の分散は $\frac1{n^2}$ 倍になることによる。同記事の定理「Chebyshevの不等式」を $\bar X_n$ と $a=\varepsilon$ に使うと
$$ P\bigl(|\bar X_n-\mu|\geq\varepsilon\bigr)\leq\frac{V[\bar X_n]}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2} $$
を得る。2 つ目の不等式は、事象 $\{|\bar X_n-\mu|<\varepsilon\}$ が $\{|\bar X_n-\mu|\geq\varepsilon\}$ の余事象（補集合）であることによる。$\varepsilon$ を固定して $n\to\infty$ とすると右辺は $0$ に近づき、確率は $0$ 以上なので、$\bar X_n$ は $\mu$ に確率収束する。

この定理とその証明は Sho08 の式 (8.25)・(8.26)（pp. 241–242。有限の標本空間で、対ごとに独立で同じ分布に従う族について）と GrS06 Theorem 8.2（p. 307、互いに独立で同じ分布に従う場合）にある。本記事の仮定は、同じ分布でなくても期待値と分散が共通なら足り、互いに独立でなくても対ごとに独立なら足りるという形で、証明はどの場合も同じである。$\sigma^2=0$ なら各 $X_i$ は確率 $1$ で $\mu$ に等しく（分散の記事の命題「分散の基本公式」の 4）、主張は自明である。

相対頻度の法則

ある試行を独立に $n$ 回繰り返し、各回に事象が起こる確率が $q$（$0\leq q\leq1$）であるとする。すなわち、$i$ 回目に起これば $1$、起こらなければ $0$ をとる確率変数 $X_1,\dots,X_n$ が対ごとに独立で、$P(X_i=1)=q$ であるとする。事象の起こった割合 $F_n:=\bar X_n$ について、すべての $\varepsilon>0$ で
$$ P\bigl(|F_n-q|\geq\varepsilon\bigr)\leq\frac{q(1-q)}{n\varepsilon^2}\leq\frac1{4n\varepsilon^2} $$
である。

指示確率変数の分散

$E[X_i]=q$、$V[X_i]=q(1-q)$（分散の記事の例「一様な分布と指示確率変数」）なので、thm-lln-weak を $\mu=q$、$\sigma^2=q(1-q)$ で使う。2 つ目の不等式は $q(1-q)=\frac14-\bigl(q-\frac12\bigr)^2\leq\frac14$ による。

右辺の $\frac1{4n\varepsilon^2}$ は $q$ によらないので、確率 $q$ を知らなくても、回数 $n$ を十分大きくとれば割合 $F_n$ が $q$ の $\varepsilon$ 以内に入る確率を保証できる。確率を「長く繰り返したときの割合」と解釈すること（頻度解釈）は、確率の公理から導かれる定理としてこの形で正当化される（GrS06 §8.1、p. 305・316 の説明）。

例と反例

硬貨 1000 回

公平な硬貨を 1000 回投げる（$\{0,1\}^{1000}$ 上の一様な確率。独立性(確率論) の記事の定理「積の確率空間の座標は互いに独立」により各回の表の指示確率変数は互いに独立）。表の割合 $F_{1000}$ について、cor-lln-frequency を $q=\frac12$、$\varepsilon=0.05$ で使うと
$$ P\bigl(|F_{1000}-0.5|\geq0.05\bigr)\leq\frac{1/4}{1000\cdot0.0025}=0.1 $$
である。左辺は「表の回数 $H$ が $450$ 以下または $550$ 以上」の確率 $\sum_{|k-500|\geq50}\binom{1000}k2^{-1000}$ で、実際に計算すると $0.00173\ldots$ である。Chebyshev の不等式による評価は正しいが粗く、実際の確率は評価の約 $\frac1{58}$ である。

必要な回数の見積もり

cor-lln-frequency により、確率 $q$ が未知でも、$n\geq\frac1{4\delta\varepsilon^2}$ なら $P(|F_n-q|\geq\varepsilon)\leq\delta$ である。たとえば割合の誤差 $\varepsilon=0.01$ を確率 $1-\delta=0.95$ 以上で保証するには $n\geq\frac1{4\cdot0.05\cdot0.0001}=50000$ 回で足りる。さいころの目の平均では $\sigma^2=\frac{35}{12}$（分散の記事の例「一様な分布と指示確率変数」）なので、$n=10000$ 回振ったとき平均が $3.5$ から $0.1$ 以上ずれる確率は $\frac{35/12}{10000\cdot0.01}=\frac7{240}=0.029\ldots$ 以下である。どちらも回数の十分条件であり、ex-lln-coin のように Chebyshev の不等式による評価は粗いことが多いので、実際に必要な回数はこれより少なくて済むことが多い。

割合は近づくが差は広がる

公平な硬貨を $n$ 回投げたときの表の回数を $H_n$ とする。分散の記事の例「二項分布の分散」により $V[H_n]=\frac n4$ であり、$H_n-\frac n2$ の標準偏差は $\frac{\sqrt n}2$ で、$n$ とともに大きくなる。二項係数を直接足すと
$$ P\Bigl(\Bigl|H_n-\frac n2\Bigr|\geq10\Bigr)=\begin{cases}0.056\ldots&(n=100)\\0.849\ldots&(n=10000)\end{cases},\qquad P\Bigl(H_n=\frac n2\Bigr)=\begin{cases}0.0795\ldots&(n=100)\\0.00797\ldots&(n=10000)\end{cases} $$
である（$n=100$ で表がちょうど 50 回になる確率 $0.0795\ldots$ は KT17 Discussion 10.14、p. 218 にもある）。割合 $H_n/n$ は $\frac12$ に確率収束するが、回数の差 $H_n-\frac n2$ は $0$ に戻っていくわけではない。
これは「表が 10 回続いたから、次は裏が出やすい」という考え（ギャンブラーの誤謬）が誤りであることとも結びつく。独立性(確率論) の記事の定理「積の確率空間の座標は互いに独立」の 2 により、「$i$ 回目が表」（$i=1,\dots,10$）と「11 回目が裏」の 11 個の事象は互いに独立なので、最初の 10 回がすべて表という事象を $A$、11 回目が裏という事象を $B$ とすると $P(A\cap B)=2^{-10}\cdot\frac12=P(A)P(B)$ であり、$A$ が起こったときの $B$ の条件付き確率は $\frac12$ のままである。割合が $\frac12$ に近づくのは、過去の偏りが後で取り返されるからではなく、偏りの大きさが回数に比べて相対的に小さくなるからである。

反例：独立性がない場合

公平な硬貨を 1 回だけ投げ、表なら $1$、裏なら $0$ をとる確率変数 $X$ を作り、$X_1=X_2=\cdots=X_n=X$ とする。どの $X_i$ も期待値 $\frac12$、分散 $\frac14$ をもつが、$\bar X_n=X$ なので、すべての $n$ で
$$ P\Bigl(\Bigl|\bar X_n-\frac12\Bigr|\geq\frac12\Bigr)=1 $$
であり、$\bar X_n$ は $\frac12$ に確率収束しない。$X_1,\dots,X_n$ は「期待値と分散が共通」という性質を満たすが、「対ごとに独立」という性質を満たさない（$P(X_1=1,X_2=1)=\frac12\ne\frac14$）。同じ結果を写しただけの観測をいくら重ねても平均は安定しない。

反例：分散が共通でない場合

$X_1,\dots,X_n$ を互いに独立で、$X_i$ が $3^i$ と $-3^i$ を確率 $\frac12$ ずつとる確率変数とする（$\{-1,1\}^n$ 上の一様な確率で $X_i(\omega)=3^i\omega_i$ とおけばよい）。どの $X_i$ も期待値 $0$ をもつ。一方、和 $S_n=X_1+\cdots+X_n$ の符号は最後の $X_n$ の符号で決まり、
$$ |S_n|\geq3^n-\sum_{i=1}^{n-1}3^i=3^n-\frac{3^n-3}2=\frac{3^n+3}2 $$
なので、すべての $\omega$ で $|\bar X_n|\geq\frac{3^n+3}{2n}\geq1$ である。したがって $P(|\bar X_n-0|\geq1)=1$ で、$\bar X_n$ は $0$ に確率収束しない。この族は「互いに独立」「期待値が共通」という性質を満たすが、「分散が共通（有界）」という性質を満たさない（$V[X_i]=9^i$）。thm-lln-weak の証明で $V[\bar X_n]=\frac1{n^2}\sum_i9^i$ が $0$ に近づかないことが、結論が破れる理由である。

補足

Chebyshev より強い評価

thm-lln-weak の評価 $\frac{\sigma^2}{n\varepsilon^2}$ は $n$ に反比例してしか小さくならない。事象の起こる割合の場合、各回が互いに独立ならば、$P(|F_n-q|\geq\varepsilon)\leq2e^{-n\varepsilon^2/2}$ のように $n$ について指数関数的に小さくなる評価（Chernoff の評価）が成り立つ（Sho08 Theorem 8.24、pp. 242–243。$0< q<1$ を仮定する）。同書 Example 8.33（pp. 243–244）は、公平な硬貨 $10000$ 回で表が $6000$ 回以上出る確率を、Markov の不等式で $\frac56$ 以下、Chebyshev の不等式で $\frac1{400}$ 以下、Chernoff の評価で $e^{-100}$ 以下と比べている。この評価は Markov の不等式を指数関数 $e^{\alpha n(\bar X_n-q)}$ に使って示されるが、本記事では証明しない。

強法則

thm-lln-weak は、$n$ ごとに「平均が $\mu$ から $\varepsilon$ 以上ずれる確率」が小さいことを述べる。これに対し、硬貨を限りなく投げ続ける 1 つの試行を考え、「割合 $H_n/n$ が $n\to\infty$ で $\frac12$ に収束する」という事象の確率が $1$ であることを述べるのが大数の強法則である（GrS06 §8.1 Exercise 15、p. 314。同書は硬貨投げの場合を言明し、証明はより進んだ課程に譲っている）。強法則を述べるには、無限回の試行全体を 1 つの確率空間で表す必要があり、それは有限または可算の標本空間では表せない（独立性(確率論) の記事の命題「離散確率空間には無限個の独立な公平な事象がない」）。測度論に基づく一般の確率空間が必要になる。弱法則は成り立つが強法則は成り立たない独立な確率変数の列の例もある（GrS06 Exercise 16、pp. 314–315。分布が $i$ によって変わる例）。

期待値や分散が定まらない場合

thm-lln-weak は有限な分散を仮定している。分散どころか期待値も定まらない分布では、大数の法則は成り立たないことがある。代表例は実数全体の上の Cauchy 分布（密度 $\frac1{\pi(1+x^2)}$）で、互いに独立に Cauchy 分布に従う $n$ 個の確率変数の平均は、$n$ によらずまた同じ Cauchy 分布に従うので、平均は集中しない（GrS06 Example 8.8、p. 320）。これは連続な確率分布の例で、本記事の離散確率空間の範囲を超える。

期待値の意味

期待値の記事の冒頭で述べた、何度も振った目の平均が $3.5$ に近づくという事実は、thm-lln-weak をさいころの目に使ったものである（$\mu=\frac72$、$\sigma^2=\frac{35}{12}$）。賭けの参加料が賞金の期待値に等しいとき公平な賭けと呼ぶのも、多数回の平均の損益が $0$ の近くに集中することによる。大数の法則は、期待値を「長い目で見た 1 回あたりの平均」と読む根拠である（KT17 Example 10.15 の後の説明、p. 219）。