確率論

同義語：probability theory

概要

前提知識: 確率空間, 測度, Lebesgue積分

確率論 は、偶然に左右される現象を数学として扱う分野である。さいころの目、硬貨投げの列、株価や粒子の動きのように、結果が 1 つに決まらない試行について、「どの結果がどのくらい起こりやすいか」を確率という数で表し、確率についての定理を証明する。高校で学ぶ確率は、結果が有限個で同様に確からしい場合の数え上げが中心だった。大学の確率論は、結果が無限個ある試行（硬貨を限りなく投げ続ける、区間から実数を無作為に選ぶ）も扱うために、確率を測度として定式化する。確率は全体の大きさが $1$ の測度、確率変数は可測関数、期待値は Lebesgue積分であり、測度論の道具がそのまま確率の計算と証明に使える。
この記事は確率論の案内である。前半で枠組み（確率空間・確率変数・期待値・独立性）を述べ、確率と測度の言葉の対応表を置く。中ほどで、測度論の枠組みが必要になる典型として、区間 $[0,1)$ の上で公平な硬貨投げの無限列が実現できることと、その硬貨投げで表の割合が確率 $1$ で $\frac12$ に近づくことを証明する。後半で確率論の主な結果と確率過程を、対応する記事とともに一覧する。

確率論の枠組み

確率論の出発点は次の定義である。$\Omega$ は起こりうる結果の全体、$\mathcal F$ は確率を考える結果の集まり（事象）の族、$P$ は事象に確率を割り当てる関数である。

確率論の基本用語

確率空間：集合 $\Omega$、$\Omega$ 上の σ-代数 $\mathcal F$、写像 $P\colon\mathcal F\to[0,1]$ の組 $(\Omega,\mathcal F,P)$ で、$P(\Omega)=1$ を満たし、互いに交わらない $A_1,A_2,\ldots\in\mathcal F$ について $P\bigl(\bigcup_nA_n\bigr)=\sum_nP(A_n)$（可算加法性）を満たすもの。$\mathcal F$ の元を事象、$P(A)$ を $A$ の確率という。事象 $A$ の補集合 $\Omega\setminus A$ を $A$ の 余事象 という。σ-代数は補集合で閉じるので余事象も事象であり、可算加法性から $P(\Omega\setminus A)=1-P(A)$ である。
確率変数：可測関数 $X\colon\Omega\to\mathbb R$、すなわちすべての Borel 集合 $B\subset\mathbb R$ について $\{X\in B\}:=X^{-1}(B)\in\mathcal F$ となるもの。$B\mapsto P(X\in B)$ を $X$ の分布という。
期待値：$E|X|:=\int_\Omega|X|\,dP< \infty$ のとき $X$ は 可積分 であるといい、$E[X]:=\int_\Omega X\,dP$ を $X$ の期待値という。
独立性：確率変数 $X_1,\dots,X_n$ が 互いに独立 であるとは、すべての Borel 集合 $B_1,\dots,B_n$ について $P(X_1\in B_1,\dots,X_n\in B_n)=\prod_{i=1}^nP(X_i\in B_i)$ が成り立つことをいう。無限個の確率変数の列は、そのうちのどの有限個も互いに独立であるとき、互いに独立であるという。
ほとんど確実に：性質がある事象 $A$ の上で成り立ち $P(A)=1$ であるとき、その性質は ほとんど確実に（almost surely, a.s.）成り立つという。

1 の条件（全体の確率が $1$ であることと可算加法性）は確率の公理と呼ばれる。定義は測度論の定義そのものであり、次の表のように確率の言葉は測度論の言葉に読み替えられる。

確率の言葉	測度論の言葉	記事
標本空間 $\Omega$	全体集合	確率空間
事象	可測集合	確率空間
確率 $P$	全体の測度が $1$ の測度	測度
確率変数	可測関数	確率変数
分布	像測度 $P\circ X^{-1}$	測度
期待値 $E[X]$	積分 $\int X\,dP$	期待値, Lebesgue積分
独立性	同時分布が分布の積測度になること	独立性(確率論)
ほとんど確実に	ほとんどいたるところ	測度
条件付き期待値	部分 σ-代数に関する Radon–Nikodym 導関数（2 乗可積分なら直交射影）	条件付き期待値
分布の密度	Radon–Nikodym 導関数	確率密度関数, Radon–Nikodymの定理

この読み替えにより、測度論の収束定理（単調収束定理・優収束定理）や Fubiniの定理が、期待値の極限や独立な確率変数の計算にそのまま使える。たとえば $X_1,\dots,X_n$ が互いに独立で可積分なら $E[X_1\cdots X_n]=E[X_1]\cdots E[X_n]$ である（この記事では証明しない。Dur19 Theorem 2.1.13（p. 49））。

なぜ測度が必要か

結果が有限個または可算個の試行は、各結果に確率を割り当てる離散確率空間で扱える。しかし「公平な硬貨を限りなく投げ続ける」試行は、離散確率空間では表せない。互いに独立で確率 $\frac12$ の事象が無限個ある離散確率空間は存在しないからである（独立性(確率論) の命題「離散確率空間には無限個の独立な公平な事象がない」）。表裏の無限列の全体 $\{0,1\}^{\{1,2,\dots\}}$ は非可算集合であり、どの 1 つの列も確率 $0$ になる。確率 $0$ の点を足し合わせても正の確率は出てこないので、点ではなく集合に確率を割り当てる測度の枠組みが要る。
次の節では、区間 $[0,1)$ の長さ（Lebesgue測度）が、ちょうどこの硬貨投げの無限列を与えることを示す。

例：2 進展開と硬貨投げ

$x\in[0,1)$ と $n\ge1$ について、$x$ の 2 進展開の第 $n$ 桁を
$$ d_n(x):=\lfloor2^nx\rfloor-2\lfloor2^{n-1}x\rfloor $$
で定める。$y=2^{n-1}x$ とおくと $\lfloor 2y\rfloor-2\lfloor y\rfloor$ は $y$ の小数部分が $\frac12$ 未満なら $0$、以上なら $1$ なので、$d_n(x)\in\{0,1\}$ である。各 $d_n$ は有限個の区間の上で一定の値をとる階段関数なので Borel 可測であり、確率空間 $([0,1),\mathcal B,\lambda)$（$\mathcal B$ は Borel 集合の族、$\lambda$ は Lebesgue 測度）の上の確率変数である。

2 進展開の桁は独立な公平な硬貨投げ

確率空間 $([0,1),\mathcal B,\lambda)$ の上で、次が成り立つ。

すべての $n\ge1$ と $e_1,\dots,e_n\in\{0,1\}$ について
$$ \lambda\bigl(d_1=e_1,\ \dots,\ d_n=e_n\bigr)=2^{-n}. $$
確率変数の列 $d_1,d_2,\dots$ は互いに独立であり、各 $d_n$ は $\lambda(d_n=0)=\lambda(d_n=1)=\frac12$ を満たす。

1。 $x\in[0,1)$ について、定義の式を $k=1,\dots,n$ について $2^{n-k}$ 倍して足すと、和が打ち消し合って
$$ \sum_{k=1}^nd_k(x)\,2^{n-k}=\sum_{k=1}^n\Bigl(2^{n-k}\lfloor2^kx\rfloor-2^{n-k+1}\lfloor2^{k-1}x\rfloor\Bigr)=\lfloor2^nx\rfloor-2^n\lfloor x\rfloor=\lfloor2^nx\rfloor $$
となる（$0\le x< 1$ より $\lfloor x\rfloor=0$）。$N:=\sum_{k=1}^ne_k2^{n-k}$ とおく。整数 $\sum_kd_k(x)2^{n-k}$ と $N$ はどちらも $0$ 以上 $2^n-1$ 以下で、2 進表記の一意性により、$(d_1(x),\dots,d_n(x))=(e_1,\dots,e_n)$ と $\lfloor2^nx\rfloor=N$ は同値である。後者は $x\in[N2^{-n},(N+1)2^{-n})$ と同値なので、求める集合は長さ $2^{-n}$ の区間であり、その測度は $2^{-n}$ である。
2。 $1\le k_1< \dots< k_m$ と $e_{k_1},\dots,e_{k_m}\in\{0,1\}$ をとり、$n:=k_m$ とおく。事象 $\{d_{k_1}=e_{k_1},\dots,d_{k_m}=e_{k_m}\}$ は、指定していない $n-m$ 個の桁の値で分けると、1 の形の互いに交わらない $2^{n-m}$ 個の事象の和になる。よって
$$ \lambda\bigl(d_{k_1}=e_{k_1},\dots,d_{k_m}=e_{k_m}\bigr)=2^{n-m}\cdot2^{-n}=2^{-m} $$
である。とくに $m=1$ として $\lambda(d_k=e)=\frac12$ であり、上の式は $\prod_{j=1}^m\lambda(d_{k_j}=e_{k_j})$ に等しい。$d_k$ は値 $0,1$ しかとらないので、Borel 集合 $B_j$ について $\{d_{k_j}\in B_j\}$ は $\emptyset$、$\{d_{k_j}=0\}$、$\{d_{k_j}=1\}$、$[0,1)$ のどれかであり、積の等式は値ごとの等式を足し合わせて得られる（$\emptyset$ を含む場合は両辺が $0$）。よって $d_{k_1},\dots,d_{k_m}$ は互いに独立である。$\square$

区間 $[0,1)$ から Lebesgue 測度に従って実数 $x$ を 1 つ選ぶことは、公平な硬貨を限りなく投げて、$n$ 回目が表なら $d_n=1$、裏なら $d_n=0$ と記録することと同じである。この対応により、硬貨投げの無限列についての問い（表が無限回出る確率、表の割合の極限）が、実数の集合の長さについての問いになる。

大数の強法則の一つの形

大数の弱法則（大数の法則の定理「大数の弱法則」）は、標本平均が期待値から $\varepsilon$ 以上離れる確率が $0$ に近づくことを述べる。確率論の測度論的な枠組みでは、これより強く、標本平均の列そのものが確率 $1$ で収束することを述べられる。ここでは有界な場合を、4 乗の期待値の評価と Borel–Cantelli の補題で証明する。

有界な独立確率変数の大数の強法則

確率変数 $Y_1,Y_2,\dots$ が互いに独立で、すべての $k$ について $E[Y_k]=0$ かつ $|Y_k|\le1$ を満たすとする。$S_n:=Y_1+\dots+Y_n$ とおくと、ほとんど確実に
$$ \lim_{n\to\infty}\frac{S_n}n=0 $$
である。

4 乗の期待値の評価。 展開すると
$$ E[S_n^4]=\sum_{a,b,c,d=1}^nE[Y_aY_bY_cY_d] $$
である。添字の組 $(a,b,c,d)$ に現れる相異なる値を $i_1,\dots,i_r$、その現れる回数を $m_1,\dots,m_r$ とすると、$Y_aY_bY_cY_d=\prod_{s=1}^rY_{i_s}^{m_s}$ である。$Y_{i_1}^{m_1},\dots,Y_{i_r}^{m_r}$ は互いに独立な確率変数の関数なので互いに独立であり（$\{Y_i^m\in B\}=\{Y_i\in g^{-1}(B)\}$、$g(t)=t^m$ による）、有界なので可積分である。よって期待値は積 $\prod_sE[Y_{i_s}^{m_s}]$ に分かれる（枠組みの節で述べた、独立な可積分確率変数の積の期待値の公式）。ある $m_s$ が $1$ なら $E[Y_{i_s}]=0$ によりその項は $0$ である。$m_1+\dots+m_r=4$ でどの $m_s$ も $2$ 以上なのは、$r=1$（4 つとも同じ、$n$ 通り）と、$r=2$ で $m_1=m_2=2$ の場合だけである。後者は、4 つの位置を 2 つずつの組に分ける方法が $3$ 通り、組に割り当てる相異なる添字の順序付きの対が $n(n-1)$ 通りで、$3n(n-1)$ 通りある。$|Y_k|\le1$ よりどの項も $1$ 以下なので
$$ E[S_n^4]\le n+3n(n-1)\le3n^2. $$
Borel–Cantelli の補題。 $\varepsilon>0$ とする。Chebyshevの不等式の定理「Markov の不等式」（$p=4$ の形）を $S_n$ に使うと
$$ P\Bigl(\Bigl|\frac{S_n}n\Bigr|\ge\varepsilon\Bigr)=P\bigl(|S_n|\ge n\varepsilon\bigr)\le\frac{E[S_n^4]}{n^4\varepsilon^4}\le\frac3{\varepsilon^4n^2} $$
であり、右辺の $n$ についての和は有限である。測度の定理「Borel–Cantelliの補題」により、$|S_n/n|\ge\varepsilon$ となる $n$ が無限個ある事象 $A_\varepsilon$ の確率は $0$ である。
結論。 $A:=\bigcup_{j\ge1}A_{1/j}$ は確率 $0$ の事象の可算和なので $P(A)=0$ である。$\omega\notin A$ なら、どの $j$ についても十分大きいすべての $n$ で $|S_n(\omega)/n|< 1/j$ なので、$S_n(\omega)/n\to0$ である。$\square$

2 進展開の桁の割合

Lebesgue 測度についてほとんどすべての $x\in[0,1)$ で
$$ \lim_{n\to\infty}\frac{d_1(x)+\dots+d_n(x)}n=\frac12 $$
である。すなわち、ほとんどすべての実数の 2 進展開では、桁 $1$ の割合が $\frac12$ に近づく。

$Y_k:=2d_k-1$ とおく。prop-pt-binary により $Y_1,Y_2,\dots$ は互いに独立で（独立な確率変数の関数）、$Y_k$ は確率 $\frac12$ ずつで $\pm1$ をとるので $E[Y_k]=0$、$|Y_k|=1$ である。thm-pt-slln によりほとんどすべての $x$ で $\frac1n\sum_{k=1}^nY_k(x)\to0$ であり、$\frac1n\sum_kd_k(x)=\frac12+\frac1{2n}\sum_kY_k(x)\to\frac12$ である。$\square$

cor-pt-binary-frequency の「ほとんどすべての」は外せない。$x=0$ ではすべての桁が $0$ で割合は $0$ であり、$x=\frac23=(0.101010\ldots)_2$ では割合は $\frac12$ に近づくが、2 桁の並び $11$ は一度も現れない。例外の集合は空でないが、長さ（Lebesgue 測度）が $0$ である。
thm-pt-slln は同じ分布を仮定しない代わりに有界性を仮定している。対ごとに独立で同じ分布に従う可積分な確率変数については、有界性も 4 乗の期待値も仮定せずに大数の強法則が成り立つ（強大数の法則の定理「強大数の法則」。Dur19 Theorem 2.4.1（p. 76））。証明には切り捨ての議論が要る。同じ分布で 4 乗の期待値が有限な場合の、上と同じ方針の証明は Dur19 Theorem 2.3.5（p. 69）にある。cor-pt-binary-frequency は、2 倍写像 $x\mapsto2x\bmod1$ にエルゴード定理を使っても得られる。

条件を外した反例

thm-pt-slln の仮定のうち 1 つを外すと、結論が成り立たなくなる。反例はどれも prop-pt-binary の桁 $d_k$ を使って $([0,1),\mathcal B,\lambda)$ の上に作れる。

外す条件	反例	成り立たなくなること
互いに独立	すべての $k$ で $Y_k:=2d_1-1$	どの $x$ でも $S_n/n=Y_1(x)=\pm1$ で、$0$ に近づかない
$\lvert Y_k\rvert\le1$（一様な有界性）	$Y_k:=k\,(2d_k-1)$（互いに独立、$E[Y_k]=0$、$\lvert Y_k\rvert=k$）	どの $x$ でも $S_n/n$ は $0$ に収束しない

反例の確かめ

1 行目：$Y_k=2d_1-1$ はどれも平均 $0$ で $|Y_k|=1$ だが、互いに独立でない（$P(Y_1=1,Y_2=-1)=0\ne\frac14$）。$S_n=nY_1$ なので $S_n/n=Y_1$ である。
2 行目：$Y_k$ は互いに独立な $d_k$ の関数なので互いに独立で、$E[Y_k]=k(2\cdot\frac12-1)=0$ である。どの $x$ でも
$$ \frac{S_n}n-\frac{n-1}n\cdot\frac{S_{n-1}}{n-1}=\frac{Y_n}n=\pm1 $$
である。もし $S_n(x)/n\to0$ なら左辺は $0-1\cdot0=0$ に近づくはずで、右辺の絶対値が $1$ であることに反する。$\square$

確率論の主な結果

確率論の中心にあるのは、独立な試行や弱く依存する試行をたくさん繰り返したときに現れる規則性である。次の表は、主な結果と、それを扱う記事の一覧である。

結果	内容	記事
大数の弱法則	対ごとに独立で、期待値と有限な分散が共通なら、標本平均は期待値に確率収束する	大数の法則, Chebyshevの不等式
大数の強法則	対ごとに独立で同じ分布に従い可積分なら、標本平均はほとんど確実に期待値に収束する	強大数の法則, thm-pt-slln（有界な場合）, エルゴード定理
中心極限定理	独立で同じ分布に従い分散が正で有限なら、和を標準化した分布は標準正規分布に近づく	中心極限定理, 正規分布
Borel–Cantelli の補題	確率の和が有限な事象の列は、ほとんど確実に有限個しか起こらない	測度
条件付き期待値	部分的な情報のもとでの最良の予測	条件付き期待値
特性関数	分布を Fourier 変換で調べる	特性関数(確率論)
エルゴード定理	時間平均が空間平均に一致する	エルゴード定理
情報量	分布の不確かさを測る	エントロピー

確率過程

時間とともに変化する偶然の量は、確率変数の族 $(X_t)_{t\in T}$ として表され、確率過程 と呼ばれる。時間 $T$ が $\{0,1,2,\dots\}$ なら離散時間、$[0,\infty)$ なら連続時間の過程である。次の状態が現在の状態だけで決まる Markov連鎖、各時刻に独立な一歩を足していくランダムウォーク、ランダムな時刻に起こる事象を数える Poisson過程が代表例である。Markov 連鎖の長時間の振る舞いは確率漸化式と定常分布で高校数学の範囲で扱い、状態に滞在する時間の割合が定常分布に近づくことはエルゴード定理で証明する。