確率空間

同義語：probability space

概要

前提知識: 集合, 冪集合, 可算集合, 級数

定義

さいころを 1 回振るという試行を考える。起こりうる結果は $1,2,3,4,5,6$ の 6 通りで、どれも同じ確率 $1/6$ で出るとする。「偶数の目が出る」という出来事は結果の集合 $\{2,4,6\}$ で表され、その確率は $3/6=1/2$ である。「5 以上の目が出る」は $\{5,6\}$ で確率 $1/3$、「偶数かつ 5 以上」は共通部分 $\{6\}$ で確率 $1/6$、「偶数でない」は補集合 $\{1,3,5\}$ で確率 $1-1/2=1/2$ である。このように、偶然の試行を数学で扱うには

起こりうる結果全体の集合 $\Omega$、
確率を考える出来事（$\Omega$ の部分集合）の集まり、
各出来事に確率（$0$ 以上 $1$ 以下の数）を割り当てる規則
の 3 つを定めればよい。この 3 つの組が確率空間（probability space）である。確率の計算の正しさは、どの確率空間を選んだかに依存する。「無作為に」という言葉の意味は、確率空間を決めてはじめて定まる。
結果が有限個または可算個のときは、各結果に確率を割り当てるだけで確率空間が決まる。

離散確率空間

空でない有限集合または可算集合 $\Omega$ と、関数 $p\colon\Omega\to[0,1]$ で $\sum_{\omega\in\Omega}p(\omega)=1$ を満たすものの組 $(\Omega,p)$ を離散確率空間という。$\Omega$ を標本空間、その元を根元事象（起こりうる結果）という。$\Omega$ の部分集合 $A$ を事象といい、その確率を
$$ P(A):=\sum_{\omega\in A}p(\omega) $$
と定める。$\Omega$ が有限で $p(\omega)=1/|\Omega|$ のとき、一様な確率空間といい、このとき $P(A)=|A|/|\Omega|$ である。

$\Omega$ が可算無限のとき、$\sum_{\omega\in A}p(\omega)$ は $A$ の元を一列に並べた級数の和である。項が $0$ 以上の級数の和は、並べる順序や、項をいくつかずつまとめる方法によらない（Sho08 付録 A6・A7、p. 564）ので、$P(A)$ は並べ方によらずに定まる。有限の場合のこの定義は KT17 §10.1（pp. 214–215）と Sho08 §8.1（pp. 207–208）、可算の場合は Sho08 §8.10（pp. 270–271）にある。期待値の記事もこの定義を使っている。
結果が非可算個ある試行（区間から点を無作為に選ぶ、針を落とす、など）では、1 点ごとの確率を足すことでは確率を定められない（ex-probspace-no-point-mass）。そこで一般には、事象の集まりと確率の満たすべき規則を公理として定める。

事象の族の公理

集合 $\Omega$ の部分集合の族 $\mathcal{F}$ が次を満たすとき、$\mathcal{F}$ を $\Omega$ 上のσ-代数（σ-加法族、完全加法族ともいう）という。

$\Omega\in\mathcal{F}$。
$A\in\mathcal{F}$ ならば $\Omega\setminus A\in\mathcal{F}$。
$A_1,A_2,\ldots\in\mathcal{F}$ ならば $\bigcup_{n\geq1}A_n\in\mathcal{F}$。

確率空間

集合 $\Omega$、$\Omega$ 上の σ-代数 $\mathcal{F}$、関数 $P\colon\mathcal{F}\to[0,1]$ の組 $(\Omega,\mathcal{F},P)$ が次を満たすとき、確率空間という。

$P(\Omega)=1$。
（可算加法性）$A_1,A_2,\ldots\in\mathcal{F}$ が互いに交わらない（$i\ne j$ なら $A_i\cap A_j=\emptyset$）ならば
$$ P\Bigl(\bigcup_{n\geq1}A_n\Bigr)=\sum_{n\geq1}P(A_n). $$
$\Omega$ を標本空間、$\mathcal{F}$ の元を事象、$P$ を確率測度、$P(A)$ を事象 $A$ の確率という。

言い換えると、確率空間とは全体の測度が $1$ の測度空間（測度）である。同じ定義は Bil95 にある。KT17 §10.1（p. 214）は有限集合 $S$ の上で、すべての部分集合を事象とし、可算加法性の代わりに 2 つの互いに交わらない事象についての加法性 $P(A\cup B)=P(A)+P(B)$ を課して確率空間を定義している。$\Omega$ が有限の場合、この 2 つは同じことである。可算加法性から 2 つの事象の加法性が従う（prop-probspace-basic の 2）。逆に、有限集合の中の互いに交わらない事象の列は空でないものを有限個しか含まないので、2 つの事象の加法性を繰り返し使い、$P(\emptyset)=0$ と合わせれば可算加法性が従う。

直感

標本空間 $\Omega$ は「何が起こりうるか」の一覧であり、事象は「起こったかどうかを問える出来事」である。事象の和集合は「どちらかが起こる」、共通部分は「両方が起こる」、補集合は「起こらない」に対応する。確率 $P$ は、全体を $1$ とする「量」を事象に配ることであり、互いに排反な（同時に起こらない）事象の確率は足し合わされる。面積や長さと同じく、量は重ならない部分に分けて足せる。
σ-代数を使うのは、非可算な標本空間ではすべての部分集合に矛盾なく確率を割り当てられるとは限らないためである（rem-probspace-measure）。可算回の和集合・補集合で閉じていれば、「いつかは表が出る」（可算個の事象の和集合）のような極限的な事象も扱える。離散確率空間では $\mathcal{F}$ を冪集合 $2^\Omega$（すべての部分集合）にとれるので、σ-代数を意識する必要はない（prop-probspace-discrete）。

例と反例

さいころ 2 個

区別のつくさいころ 2 個を振る試行は、$\Omega=\{1,\dots,6\}^2$（36 通り）の一様な確率空間で表す。目の和が $s$ になる事象を $S_s$ とすると、$|S_s|$ は $s=2,3,\dots,12$ に対して $1,2,3,4,5,6,5,4,3,2,1$ であり、$P(S_7)=6/36=1/6$、$P(S_2)=1/36$ である（KT17 Example 10.4、p. 215）。目の和だけを記録して $\Omega'=\{2,\dots,12\}$ を標本空間にとることもできるが、そのとき $p(s)=|S_s|/36$ は一様でない。和の 11 通りを同じ確率とみなすと、試行を正しく表さない。

表が出るまで硬貨を投げる

公平な硬貨を表が出るまで投げ、投げた回数 $k$ を記録する。$\Omega=\{1,2,3,\dots\}$、$p(k)=2^{-k}$（$k-1$ 回裏が出てから表が出る確率）とすると $\sum_{k\geq1}2^{-k}=1$ で、可算無限の離散確率空間になる。投げた回数が偶数である確率は
$$ \sum_{j\geq1}2^{-2j}=\frac{1/4}{1-1/4}=\frac13 $$
である。$\Omega$ に「永遠に表が出ない」という結果を入れていないのは、その確率が $0$ になるからである（$k$ 回続けて裏が出る確率 $2^{-k}$ は $k\to\infty$ で $0$ に近づく。prop-probspace-continuity）。

区間 [0,1] 上の一様な確率

$\Omega=[0,1]$ から点を「一様に」選ぶ試行は、$\mathcal{F}$ を $[0,1]$ のBorel集合全体（区間を含む最小の σ-代数）、$P$ をLebesgue測度（区間 $[a,b]\subset[0,1]$ に長さ $b-a$ を割り当てる測度）とした確率空間で表す。区間に長さを割り当てる関数がこの σ-代数上の確率測度に一意に拡がることは測度論の定理である（Bil95）。この確率空間では、1 点 $\{x\}$ の確率は $0$ だが、$[0,1]$ 全体の確率は $1$ である。Buffonの針の記事は、長方形の上の一様な確率（面積の比）を使って針が線に触れる確率を計算している。

反例：可算無限集合の上の一様な確率

可算無限集合 $\Omega=\{1,2,3,\dots\}$ の上に、すべての結果が同じ確率になる離散確率空間は存在しない。$p(\omega)=c$（定数）とすると、$c=0$ なら $\sum p(\omega)=0$、$c>0$ なら $\sum p(\omega)=\infty$ で、どちらも $1$ にならないからである。一般の確率空間でも、すべての 1 点集合が事象で同じ確率 $c$ をもつなら、可算加法性により $1=P(\Omega)=\sum_{\omega}c$ となって同じ矛盾が生じる。「自然数を無作為に 1 つ選ぶ」は、それだけでは確率空間を定めない。偶数の割合 $1/2$ のような量は、$\{1,\dots,N\}$ 上の一様な確率で $N\to\infty$ とした極限（密度）として扱う必要があり、これは可算加法性を満たす確率ではない。

反例：非可算な標本空間は離散確率空間で表せない

ex-probspace-uniform-interval の一様な確率を、1 点ごとの確率 $p\colon[0,1]\to[0,1]$ の和として表すことはできない。どんな $\varepsilon\in(0,1)$ についても、1 点集合 $\{x\}$ は $[0,1]$ に含まれる長さ $\varepsilon$ の区間（$[x,x+\varepsilon]$ か $[x-\varepsilon,x]$ の少なくとも一方）に含まれるので、その確率は $\varepsilon$ 以下であり、したがって $0$ である。もし $P(A)=\sum_{x\in A}p(x)$ と書けたなら $p(x)=P(\{x\})=0$ がすべての $x$ で成り立ち、$P([0,1])=0$ となって $P(\Omega)=1$ に反する。この確率空間は「$\Omega$ が有限または可算」という離散確率空間の条件を満たさず、「事象の確率は 1 点ごとの確率の和」という性質が破れる。

反例：確率 0 の事象は空とは限らない

ex-probspace-uniform-interval では、有理数全体の集合 $\mathbb{Q}\cap[0,1]$ は空でない事象だが、可算個の 1 点集合の和集合なので、可算加法性により確率は $0$ である。その補集合（無理数全体）は $[0,1]$ と異なるが確率は $1$ である。「確率 $0$ $\Rightarrow$ 起こりえない」「確率 $1$ $\Rightarrow$ 必ず起こる」は、非可算な標本空間では成り立たない。離散確率空間でも、$p(\omega)=0$ となる結果を $\Omega$ に入れれば同じことが起こる。

性質

以下、$(\Omega,\mathcal{F},P)$ を確率空間とする。

基本的な等式と不等式

確率の基本性質

事象 $A,B,A_1,A_2,\ldots$ について次が成り立つ。

$P(\emptyset)=0$。
（有限加法性）$A_1,\dots,A_n$ が互いに交わらなければ $P(A_1\cup\cdots\cup A_n)=P(A_1)+\cdots+P(A_n)$。
（余事象）$P(\Omega\setminus A)=1-P(A)$。
（単調性）$A\subset B$ ならば $P(A)\leq P(B)$ であり、$P(B\setminus A)=P(B)-P(A)$。
$P(A\cup B)=P(A)+P(B)-P(A\cap B)$。
（劣加法性）$P\bigl(\bigcup_{n\geq1}A_n\bigr)\leq\sum_{n\geq1}P(A_n)$。

互いに交わらない事象に分ける

1：$A_1=\Omega$、$A_n=\emptyset$（$n\geq2$）に可算加法性を使うと $1=1+\sum_{n\geq2}P(\emptyset)$ なので $P(\emptyset)=0$ である。2：$A_{n+1}=A_{n+2}=\cdots=\emptyset$ を付け加えて可算加法性と 1 を使う。3：$\Omega=A\cup(\Omega\setminus A)$ に 2 を使う。4：$B=A\cup(B\setminus A)$ は互いに交わらない和なので $P(B)=P(A)+P(B\setminus A)\geq P(A)$ である。5：$A\cup B=A\cup(B\setminus(A\cap B))$ は互いに交わらない和なので、2 と 4 により $P(A\cup B)=P(A)+P(B)-P(A\cap B)$ である。6：$B_1=A_1$、$B_n=A_n\setminus(A_1\cup\cdots\cup A_{n-1})$ とおくと、$B_n\in\mathcal{F}$ は互いに交わらず、$\bigcup_nB_n=\bigcup_nA_n$、$B_n\subset A_n$ である。可算加法性と 4 により $P(\bigcup_nA_n)=\sum_nP(B_n)\leq\sum_nP(A_n)$ である。

5 を 3 個以上の事象に拡げたものが包除原理で、有限個の事象 $A_1,\dots,A_n$ について $P(A_1\cup\cdots\cup A_n)$ は、空でない添字の集合 $J$ にわたる $(-1)^{|J|-1}P\bigl(\bigcap_{j\in J}A_j\bigr)$ の和に等しい（Sho08 Theorem 8.1、p. 210）。6 の有限個の場合は、確率の見積もりでよく使われる Boole の不等式である（同書 (8.6)、p. 210）。

連続性

確率の連続性

事象の列 $A_1\subset A_2\subset\cdots$ について $P\bigl(\bigcup_nA_n\bigr)=\lim_{n\to\infty}P(A_n)$ である。また $A_1\supset A_2\supset\cdots$ について $P\bigl(\bigcap_nA_n\bigr)=\lim_{n\to\infty}P(A_n)$ である。

増える列の差に分ける

増加列の場合、$B_1=A_1$、$B_n=A_n\setminus A_{n-1}$（$n\geq2$）とおくと、$B_n$ は互いに交わらず、$A_n=B_1\cup\cdots\cup B_n$、$\bigcup_nA_n=\bigcup_nB_n$ である。可算加法性と有限加法性により
$$ P\Bigl(\bigcup_nA_n\Bigr)=\sum_{n\geq1}P(B_n)=\lim_{n\to\infty}\sum_{k=1}^nP(B_k)=\lim_{n\to\infty}P(A_n) $$
である。減少列の場合は、補集合 $\Omega\setminus A_n$ が増加列で $\bigcup_n(\Omega\setminus A_n)=\Omega\setminus\bigcap_nA_n$ なので、増加列の場合と prop-probspace-basic の 3 から従う。

ex-probspace-first-head で「永遠に表が出ない」を考えるなら、それは「最初の $n$ 回がすべて裏」という事象（確率 $2^{-n}$、減少列）の共通部分であり、その確率は $\lim_n2^{-n}=0$ である。

離散確率空間との関係

離散確率空間は確率空間である

$(\Omega,p)$ を離散確率空間とし、$P(A)=\sum_{\omega\in A}p(\omega)$ とする。このとき $(\Omega,2^\Omega,P)$ は確率空間である。逆に、$\Omega$ が空でない有限集合または可算集合で $(\Omega,2^\Omega,P)$ が確率空間ならば、$p(\omega):=P(\{\omega\})$ とおくと $(\Omega,p)$ は離散確率空間で、すべての $A\subset\Omega$ について $P(A)=\sum_{\omega\in A}p(\omega)$ である。

項が 0 以上の級数のまとめ直し

冪集合 $2^\Omega$ は明らかに σ-代数である。$P(\Omega)=\sum_\omega p(\omega)=1$ である。$A_1,A_2,\ldots$ が互いに交わらず $A=\bigcup_nA_n$ なら、$\sum_{\omega\in A}p(\omega)$ の項を、$\omega$ がどの $A_n$ に属するかでまとめ直すと $\sum_n\sum_{\omega\in A_n}p(\omega)$ になる。項が $0$ 以上の級数の和はまとめ方によらない（Sho08 付録 A7、p. 564）ので $P(A)=\sum_nP(A_n)$ であり、可算加法性が成り立つ。
逆に、$A\subset\Omega$ は有限個または可算個の 1 点集合 $\{\omega\}$（$\omega\in A$）の互いに交わらない和集合なので、有限加法性または可算加法性により $P(A)=\sum_{\omega\in A}P(\{\omega\})=\sum_{\omega\in A}p(\omega)$ である。$A=\Omega$ とおけば $\sum_\omega p(\omega)=1$ である。

独立な試行の積

2 つの試行を互いに影響なく行う状況は、確率空間の積で表す。

離散確率空間の積

$(\Omega_1,p_1)$、$(\Omega_2,p_2)$ を離散確率空間とし、$\Omega:=\Omega_1\times\Omega_2$ 上に $p(\omega_1,\omega_2):=p_1(\omega_1)p_2(\omega_2)$ と定める。このとき $(\Omega,p)$ は離散確率空間であり、その確率 $P$ は、$A_1\subset\Omega_1$、$A_2\subset\Omega_2$ について
$$ P(A_1\times A_2)=P_1(A_1)\,P_2(A_2) $$
を満たす（$P_i$ は $(\Omega_i,p_i)$ の確率）。特に $P(A_1\times\Omega_2)=P_1(A_1)$ である。

二重級数を分ける

$\Omega$ は有限集合または可算集合である。$A_1\times A_2$ の元にわたる $p$ の和は、項が $0$ 以上の二重級数なので、まず $\omega_2$ について足してから $\omega_1$ について足してよく（Sho08 付録 A7、p. 564）、
$$ P(A_1\times A_2)=\sum_{\omega_1\in A_1}p_1(\omega_1)\sum_{\omega_2\in A_2}p_2(\omega_2)=P_1(A_1)\,P_2(A_2) $$
である。$A_1=\Omega_1$、$A_2=\Omega_2$ とおけば $\sum_{\omega\in\Omega}p(\omega)=1\cdot1=1$ なので、$(\Omega,p)$ は離散確率空間である。$A_2=\Omega_2$ とおけば後半を得る。

後半の等式は、「1 つ目の試行だけに関する事象」の確率が、積の確率空間で考えても元の確率空間と変わらないことを意味する。前半の等式は、1 つ目の試行に関する事象 $A_1\times\Omega_2$ と 2 つ目の試行に関する事象 $\Omega_1\times A_2$ が、事象として独立性(確率論)をもつこと（共通部分 $A_1\times A_2$ の確率が確率の積になること）を表す。$n$ 個の積も同様に定まり、さいころ 2 個（ex-probspace-two-dice）は一様な $\{1,\dots,6\}$ の 2 個の積、表の確率 $q$ の硬貨を $n$ 回投げる試行は $\{0,1\}$ 上の $p(1)=q$、$p(0)=1-q$ の $n$ 個の積である（KT17 §10.3、pp. 217–218）。誕生日のパラドックスの記事は、$n$ 人の誕生日を 365 日の一様な確率空間の $n$ 個の積で表している。

補足

確率変数と分布

確率空間 $(\Omega,\mathcal{F},P)$ 上の関数 $X\colon\Omega\to\mathbb{R}$ で、すべての実数 $a$ について $\{\omega\mid X(\omega)\leq a\}\in\mathcal{F}$ となるものを確率変数という（離散確率空間では任意の関数が確率変数である）。$\mathbb{R}$ の Borel 集合 $B$ に $P(X\in B):=P(\{\omega\mid X(\omega)\in B\})$ を割り当てると $\mathbb{R}$ 上の確率測度が得られ、これを $X$ の分布という（Bil95）。期待値・条件付き確率・独立性は、確率空間の上で定義される基本的な量である。

測度論との関係

選択公理を使うと、区間 $[0,1)$ の部分集合で、どんな値を割り当てても「区間には長さを、$1$ を法とする平行移動（$x\mapsto x+t\bmod1$、すなわち $[0,1)$ からはみ出た分を $1$ だけ引き戻す平行移動）で同じ値を、可算加法的に」を同時には満たせないものが作れる（Vitali 集合。$x-y\in\mathbb{Q}$ という関係で $[0,1)$ を類別し、各類から代表元を選択公理でちょうど 1 つずつ選んで作る）。選択公理を使わずにこの集合を作ることはできないことも知られている（Bil95 §3）。そのため非可算な標本空間では、事象を σ-代数に制限する。確率空間は全測度 $1$ の測度空間であり、期待値はLebesgue積分として定義され、大数の法則などの極限定理は測度論の定理として証明される。一方、有限・可算の標本空間を扱う限り、def-probspace-discrete と項が $0$ 以上の級数の性質だけで十分である。