全確率の公式

同義語：law of total probability全確率の定理全確率の法則formula of total probability

概要

全確率の公式（law of total probability）とは、標本空間 $\Omega$ を有限個または可算個の互いに交わらない事象 $B_i$ で覆うとき、任意の事象 $A$ の確率が $P(A)=\sum_iP(A\cap B_i)$、とくに各 $P(B_i)>0$ なら $P(A)=\sum_iP(A\mid B_i)P(B_i)$ と表されるという公式である。$P(A)$ は条件付き確率 $P(A\mid B_i)$ を重み $P(B_i)$ で平均したもので、場合分けによる確率の計算や Bayes の定理の分母に使われる。和集合が確率 $1$ の場合、条件付き確率、離散確率変数の値、有限な期待値についても同じ形が成り立つが、事象が重なる場合や全体を覆わない場合、非可算個に分ける場合には成り立たない。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率空間, 条件付き確率

ある事象 $A$ の確率を直接数えるのが難しいとき、起こりうる状況を互いに重ならない場合 $B_1,B_2,\ldots$ に分け、それぞれの場合で $A$ が起こる確率を求めてから、場合の起こりやすさで重みをつけて足し合わせる、という計算がよく使われる。この計算を支えるのが全確率の公式（law of total probability）
$$ P(A)=\sum_iP(A\mid B_i)\,P(B_i) $$
である。たとえば「さいころを振って出た目の数だけ硬貨を投げる」試行では、硬貨がすべて表になる確率は、目が $1,2,\dots,6$ の 6 つの場合に分ければ、それぞれの場合の確率の簡単な和になる。
この記事では、場合分けに使う事象の族（分割）を定め、全確率の公式を述べて証明する。続いて、確率 $1$ の事象の上の分割・条件付き確率・確率変数・期待値に対する形を導き、例で使い方を確かめる。最後に、分割が重なる場合、全体を覆わない場合、非可算個に分ける場合に公式が崩れることを反例で示す。

分割と公式の主張

以下、確率空間 $(\Omega,\mathcal{F},P)$ を 1 つ固定し、事象はすべて $\mathcal{F}$ の元とする。$\Omega\setminus B$ を $B^c$ と書く。条件付き確率 $P(A\mid B)$ は、$P(B)>0$ のときに $P(A\cap B)/P(B)$ で定まる（条件付き確率）。

事象の分割

$I$ を有限集合または可算集合とする。事象の族 $\{B_i\}_{i\in I}$ が次の 2 条件を満たすとき、$\Omega$ の分割（partition）という。

  1. $i\ne j$ ならば $B_i\cap B_j=\emptyset$ である（互いに交わらない）。
  2. $\bigcup_{i\in I}B_i=\Omega$ である（全体を覆う）。
    各 $B_i$ が空でないことは課さない。

分割の各 $B_i$ は「場合」を表し、どの結果 $\omega\in\Omega$ もちょうど 1 つの場合に属する。添字の集合を有限または可算に限るのは、確率の加法性が可算個の和までしか保証されないからである（ex-ltp-uncountable）。

全確率の公式

$\{B_i\}_{i\in I}$ を $\Omega$ の分割とする。このとき、すべての事象 $A$ について次が成り立つ。

  1. $P(A)=\sum_{i\in I}P(A\cap B_i)$ である。
  2. すべての $i\in I$ で $P(B_i)>0$ ならば、$P(A)=\sum_{i\in I}P(A\mid B_i)\,P(B_i)$ である。
  3. 一般に、$I_+:=\{i\in I: P(B_i)>0\}$ とおくと、$P(A)=\sum_{i\in I_+}P(A\mid B_i)\,P(B_i)$ である。
    $I$ が可算無限集合のとき、右辺の級数は項がすべて $0$ 以上なので、和の順序によらず収束する。
分割に沿って事象を分ける

1：分割の条件 2 により $A=A\cap\Omega=\bigcup_{i\in I}(A\cap B_i)$ である。条件 1 により、$i\ne j$ なら $(A\cap B_i)\cap(A\cap B_j)\subset B_i\cap B_j=\emptyset$ なので、事象 $A\cap B_i$（$i\in I$）は互いに交わらない。$I$ は有限または可算なので、$P$ の加法性（$I$ が有限なら有限加法性、可算無限なら可算加法性）により $P(A)=\sum_{i\in I}P(A\cap B_i)$ である。項がすべて $0$ 以上の級数は、和の順序を変えても値が変わらない（Sho08 付録 A6、p. 564）。
2：$P(B_i)>0$ なので条件付き確率の定義から $P(A\cap B_i)=P(A\mid B_i)\,P(B_i)$ であり、1 の各項をこれに置き換えればよい。
3：$i\notin I_+$ なら $P(B_i)=0$ であり、$A\cap B_i\subset B_i$ から $0\le P(A\cap B_i)\le P(B_i)=0$ となる。したがって 1 の和から $i\notin I_+$ の項を除いても値は変わらず、残る $i\in I_+$ の項に 2 と同じ置き換えをすればよい。

3 の形は、確率 $0$ の場合を「$P(A\mid B_i)P(B_i)=0$ と約束する」ことと同じである。$P(B_i)=0$ のとき $P(A\mid B_i)$ そのものは定義されないので、この約束は積をひとまとめにして読む。
分割 $\{B,B^c\}$（$0< P(B)< 1$）に使うと、もっともよく使う 2 つの場合の形
$$ P(A)=P(A\mid B)\,P(B)+P(A\mid B^c)\,P(B^c) $$
を得る。$P(A\mid B)$ が分かっていて $P(B\mid A)$ を知りたいときは、この $P(A)$ を分母に使う（Bayesの定理）。

加重平均として見る

すべての $i$ で $P(B_i)>0$ のとき、重み $P(B_i)$ は $0$ より大きく、和が $\sum_iP(B_i)=P(\Omega)=1$ になる（thm-ltp-main の 1 で $A=\Omega$ とした）。したがって全確率の公式は、$P(A)$ が条件付き確率 $P(A\mid B_i)$ たちの加重平均であることを述べている。

加重平均の評価

$\{B_i\}_{i\in I}$ を、すべての $i$ で $P(B_i)>0$ を満たす分割とする。事象 $A$ について $m:=\inf_iP(A\mid B_i)$、$M:=\sup_iP(A\mid B_i)$ とおくと、$m\le P(A)\le M$ である。

重みの和が 1 であることを使う

各 $i$ で $m\le P(A\mid B_i)\le M$ なので、thm-ltp-main の 2 により
$$ m=\sum_imP(B_i)\le\sum_iP(A\mid B_i)P(B_i)=P(A)\le\sum_iMP(B_i)=M $$
である。ここで $\sum_iP(B_i)=1$ を使った。

この系から、どの場合でも $A$ の条件付き確率が $1/2$ 以上なら、全体での確率も $1/2$ 以上である。ただし 2 つの事象 $X,Y$ を比べる場合は話が違う。群 $C$ ごとに $P(R\mid X\cap C)>P(R\mid Y\cap C)$ でも、重み $P(C\mid X)$ と $P(C\mid Y)$ が違えば $P(R\mid X)< P(R\mid Y)$ となりうる（Simpsonのパラドックス）。重みが比べる側ごとに変わるからである。

いろいろな形

確率 1 の事象の上の分割

実際の計算では、場合分けが全体をちょうど覆わず、確率 $0$ の事象が残ることがある（ex-ltp-alternate の「いつまでも表が出ない」場合など）。そのときも公式は使える。

確率 0 の事象を除いた分割

$I$ を有限または可算の集合とし、事象 $B_i$（$i\in I$）が互いに交わらず、$P\bigl(\bigcup_{i\in I}B_i\bigr)=1$ を満たすとする。このとき、すべての事象 $A$ について $P(A)=\sum_{i\in I}P(A\cap B_i)$ であり、thm-ltp-main の 2・3 の形も同じ仮定のもとで成り立つ。

残りの事象を 1 つの場合として加える

$B_*:=\Omega\setminus\bigcup_{i\in I}B_i$ とおく。$\{B_i\}_{i\in I}\cup\{B_*\}$ は $\Omega$ の分割で、$P(B_*)=1-1=0$ である。thm-ltp-main の 1 により $P(A)=\sum_{i\in I}P(A\cap B_i)+P(A\cap B_*)$ で、$0\le P(A\cap B_*)\le P(B_*)=0$ から最後の項は $0$ である。2・3 の形は、この等式の各項を thm-ltp-main の証明と同じく書き換えれば得られる。

条件付き確率の形

条件付き確率に対する全確率の公式

$\{B_i\}_{i\in I}$ を $\Omega$ の分割とし、$P(C)>0$ を満たす事象 $C$ をとる。$J:=\{i\in I: P(B_i\cap C)>0\}$ とおくと、すべての事象 $A$ について
$$ P(A\mid C)=\sum_{i\in J}P(A\mid B_i\cap C)\,P(B_i\mid C) $$
である。

条件付き確率も確率であることを使う

$Q(\cdot):=P(\cdot\mid C)$ は $(\Omega,\mathcal{F})$ 上の確率である（条件付き確率 の命題「条件付き確率は確率である」）。$Q$ に thm-ltp-main の 3 を使うと、$Q(B_i)=P(B_i\cap C)/P(C)$ が正となる $i$、つまり $i\in J$ について
$$ P(A\mid C)=Q(A)=\sum_{i\in J}\frac{Q(A\cap B_i)}{Q(B_i)}\,Q(B_i) $$
である。ここで
$$ \frac{Q(A\cap B_i)}{Q(B_i)}=\frac{P(A\cap B_i\cap C)/P(C)}{P(B_i\cap C)/P(C)}=P(A\mid B_i\cap C) $$
なので、主張を得る。

確率変数の形

値を有限個または可算個しかとらない確率変数 $Y$ を離散確率変数という。$Y$ のとる値の集合を $S$ とすると、$\{Y=y\}$（$y\in S$）は $\Omega$ の分割である。thm-ltp-main の 3 をこの分割に使うと、すべての事象 $A$ について
$$ P(A)=\sum_{y\in S,\ P(Y=y)>0}P(A\mid Y=y)\,P(Y=y) $$
である。「$Y$ の値で場合を分けて、$A$ の確率を求める」という使い方はこの形である。

期待値の形

$P(B)>0$ の事象 $B$ と、値の集合が有限または可算な確率変数 $X$ で $\sum_x|x|\,P(X=x)< \infty$ を満たすもの（期待値が有限なもの）について、$B$ のもとでの $X$ の条件付き期待値を
$$ E[X\mid B]:=\sum_x x\,P(X=x\mid B) $$
で定める。$P(X=x\mid B)\le P(X=x)/P(B)$ なので、この級数は絶対収束する。

期待値に対する全確率の公式

$X$ を上のような確率変数とし、$\{B_i\}_{i\in I}$ をすべての $i$ で $P(B_i)>0$ を満たす $\Omega$ の分割とする。このとき
$$ E[X]=\sum_{i\in I}E[X\mid B_i]\,P(B_i) $$
であり、右辺の級数は絶対収束する。

二重級数の順序を入れ替える

$X$ のとる値の集合を $S$ とする。各 $x\in S$ に thm-ltp-main の 1 を使うと $P(X=x)=\sum_iP(\{X=x\}\cap B_i)$ である。二重級数
$$ \sum_{x\in S}\sum_{i\in I}|x|\,P(\{X=x\}\cap B_i)=\sum_{x\in S}|x|\,P(X=x) $$
は仮定により有限なので、$\sum_{x}\sum_{i}x\,P(\{X=x\}\cap B_i)$ は絶対収束し、和の順序を入れ替えてよい（絶対収束する二重級数の和は和の順序によらない。Sho08 付録 A7、p. 564）。したがって
$$ E[X]=\sum_{x\in S}x\,P(X=x)=\sum_{i\in I}\sum_{x\in S}x\,P(\{X=x\}\cap B_i)=\sum_{i\in I}P(B_i)\sum_{x\in S}x\,P(X=x\mid B_i)=\sum_{i\in I}E[X\mid B_i]\,P(B_i) $$
である。右辺の絶対収束も、同じ二重級数の評価 $\sum_i\bigl|E[X\mid B_i]\bigr|P(B_i)\le\sum_x|x|P(X=x)$ から従う。

$X$ を事象 $A$ の指示関数 $\mathbf{1}_A$ にとると $E[\mathbf{1}_A\mid B]=P(A\mid B)$ なので、この命題は thm-ltp-main の 2 を含む。一般の確率空間で、情報を σ-代数で表した形 $E\bigl[E[X\mid\mathcal{G}]\bigr]=E[X]$ は 条件付き期待値 の記事で扱う。

形場合分けに使うもの式仮定
基本形分割 $\{B_i\}$$P(A)=\sum_iP(A\cap B_i)$互いに交わらず、全体（または確率 $1$ の事象）を覆う。有限個または可算個
条件付き確率で書く形分割 $\{B_i\}$$P(A)=\sum_iP(A\mid B_i)P(B_i)$上に加えて、確率 $0$ の $B_i$ の項は除く
条件付きの形分割 $\{B_i\}$ と $C$$P(A\mid C)=\sum_iP(A\mid B_i\cap C)P(B_i\mid C)$$P(C)>0$。$P(B_i\cap C)=0$ の項は除く
確率変数の形離散確率変数 $Y$ の値$P(A)=\sum_yP(A\mid Y=y)P(Y=y)$$P(Y=y)>0$ の $y$ について足す
期待値の形分割 $\{B_i\}$$E[X]=\sum_iE[X\mid B_i]P(B_i)$$X$ は離散で期待値が有限、$P(B_i)>0$

有限個の分割に対する基本形と条件付き確率で書く形は Sho08 §8.2 の式 (8.9)・(8.10)（p. 215）にあり、同書 §8.10（p. 272）は可算個の分割への拡張を述べている。

例

さいころの目の数だけ硬貨を投げる

公平なさいころを 1 回振り、出た目 $N$ の数だけ公平な硬貨を投げる。硬貨がすべて表になる事象を $A$ とする。$N=n$ のもとでは、$n$ 枚の硬貨が互いに独立に確率 $\frac12$ で表になるので $P(A\mid N=n)=2^{-n}$ である。確率変数 $N$ の値で場合を分けると
$$ P(A)=\sum_{n=1}^{6}P(A\mid N=n)\,P(N=n)=\frac16\sum_{n=1}^{6}2^{-n}=\frac16\Bigl(1-\frac1{64}\Bigr)=\frac{21}{128} $$
である。$P(A\mid N=n)$ は $2^{-1}=\frac12$ から $2^{-6}=\frac1{64}$ までの値をとり、$P(A)=0.164\ldots$ はその加重平均として両端の間にある（cor-ltp-average）。

交互に硬貨を投げる

2 人が公平な硬貨を交互に投げ、先に表を出した方を勝ちとする。先手が勝つ確率を求める。硬貨を限りなく投げ続ける試行を、互いに独立に確率 $\frac12$ で表が出る投げの無限列（Bernoulli試行）で表し、はじめて表が出る回を $T$ とする。$T=k$ は「$k-1$ 回続けて裏が出て、$k$ 回目に表が出る」ことなので $P(T=k)=2^{-k}$（$k=1,2,\ldots$）である。いつまでも表が出ない事象は、どの $n$ についても「はじめの $n$ 回がすべて裏」に含まれるので、その確率は $2^{-n}$ 以下、したがって $0$ である。
事象 $\{T=k\}$（$k\ge1$）は互いに交わらず、和集合の確率は $1$ なので、prop-ltp-almost-sure が使える。先手が勝つのは $T$ が奇数のときだから
$$ P(\text{先手が勝つ})=\sum_{k\ \text{奇数}}P(T=k)=\sum_{m=0}^{\infty}2^{-(2m+1)}=\frac{1/2}{1-1/4}=\frac23 $$
である。表の出る確率が $p$（$0< p\le1$）の硬貨なら、$q:=1-p$ として同じ計算で $\sum_{m\ge0}q^{2m}p=\frac{p}{1-q^2}=\frac1{1+q}$ となる。

硬貨を選んでから投げる

表の出る確率が $\frac13$ の硬貨と $\frac23$ の硬貨から 1 枚を等確率で選び、選んだ硬貨を 10 回投げる。選んだ硬貨が $i$ 枚目である事象を $C_i$ とする。$C_i$ のもとで表の回数 $X$ は試行回数 $10$、成功確率 $p_i$ の二項分布に従うので $E[X\mid C_i]=10p_i$ である。prop-ltp-expectation により
$$ E[X]=\frac12\cdot\frac{10}3+\frac12\cdot\frac{20}3=5 $$
である。期待値は公平な硬貨を 10 回投げる場合と同じだが、$X$ の分布は二項分布ではない。たとえば $P(X=10)=\frac12\bigl((\frac13)^{10}+(\frac23)^{10}\bigr)$ は $2^{-10}$ より大きい。

反例

反例：重なりのある事象で場合を分ける

公平なさいころの目について、$B_1=\{2,4,6\}$（偶数）、$B_2=\{1,2,3,5\}$ とし、$A=\{2\}$ とする。$B_1\cup B_2=\Omega$ なので全体を覆う条件は満たすが、$B_1$ と $B_2$ は $2$ を共有しているので互いに交わらないという条件を破る。このとき
$$ P(A\cap B_1)+P(A\cap B_2)=\frac16+\frac16=\frac13\ne\frac16=P(A) $$
であり、重なった部分が 2 回数えられる。覆う条件だけを破る場合も崩れる。$B_1'=\{1,2\}$、$B_2'=\{3,4\}$ は互いに交わらないが $5,6$ を覆わず、$A'=\{5\}$ について $P(A'\cap B_1')+P(A'\cap B_2')=0\ne\frac16$ である。分割の 2 条件はどちらも外せない。

反例：非可算個の場合に分ける

区間 $[0,1]$ から一様に点を選ぶ確率空間（確率空間 の例「区間 [0,1] 上の一様な確率」）で、$B_x:=\{x\}$（$x\in[0,1]$）とする。$\{B_x\}$ は互いに交わらず全体を覆うが、添字の集合が非可算なので def-ltp-partition の分割ではない。各点の確率は $0$ なので、$A=\Omega$ について $P(A\cap B_x)=0$ がすべての $x$ で成り立ち、どの可算個の和をとっても $0$ である。したがって「$\sum_xP(A\cap B_x)$」を可算個の和の上限と読んでも $0\ne1=P(A)$ であり、公式は成り立たない。加法性は可算個の和までしか保証されないからである。この場合 $P(A\mid B_x)$ もそもそも定義されず、連続な量の値で場合を分けるには 条件付き期待値 の理論が要る。

反例：重みを揃えて平均する

ある学校で、1 組（40 人）のうち 30 人、2 組（10 人）のうち 2 人が眼鏡をかけている。50 人から 1 人を一様に選ぶと、眼鏡をかけている確率は $\frac{32}{50}=0.64$ である。組ごとの割合 $0.75$ と $0.2$ を単純に平均した $0.475$ は誤りである。全確率の公式の重みは各組を選ぶ確率 $P(1\text{ 組})=\frac45$、$P(2\text{ 組})=\frac15$ で、$0.75\cdot\frac45+0.2\cdot\frac15=0.64$ となる。単純平均が正しいのは、各組の人数が等しいとき（重みがすべて等しいとき）に限る。

関連項目

参考文献

[1]
Victor Shoup, A Computational Introduction to Number Theory and Algebra, Cambridge University Press, 2008, §8.2 式 (8.9)・(8.10)（p. 215、有限個の分割に対する全確率の公式）、§8.10（p. 272、可算個の分割への拡張）、付録 A6・A7（p. 564、項が 0 以上の級数と二重級数の和の順序）

Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する

Mathpediaを支援する
全確率の公式