Bayesの定理
概要
Bayesの定理（Bayes' theorem）とは、確率が正の事象からなる分割 $\{B_i\}$ と $P(A)>0$ の事象 $A$ について $P(B_j\mid A)=P(A\mid B_j)P(B_j)/\sum_iP(A\mid B_i)P(B_i)$ が成り立つという定理で、条件付き確率の向きを入れ替える。分母は全確率の公式による $P(A)$ であり、事後確率は尤度 $P(A\mid B_j)$ と事前確率 $P(B_j)$ の積に比例する。$0< P(B)< 1$、$P(A\cap B^c)>0$ のときはオッズの形「事後のオッズ＝尤度比×事前のオッズ」になり、各 $B_i$ のもとで条件付き独立な観測を重ねるときは、事後確率を次の観測の事前確率として使える。候補が全体を覆わない場合や観測が条件付き独立でない場合には、この計算は成り立たない。
ある工場の製品の不良品を 1 つ見つけたとき、それがどの製造ラインで作られたかを推し量りたいとする。分かっているのは、各ラインの生産の割合と、各ラインで不良品が出る確率、すなわち「原因 $B_j$ のもとで結果 $A$ が起こる確率」$P(A\mid B_j)$ である。知りたいのは逆向きの「結果 $A$ を見たときの原因 $B_j$ の確率」$P(B_j\mid A)$ である。条件付き確率の向きを入れ替えるこの計算を与えるのが Bayes の定理（Bayes' theorem）
$$
P(B_j\mid A)=\frac{P(A\mid B_j)\,P(B_j)}{\sum_iP(A\mid B_i)\,P(B_i)}
$$
である（$\{B_i\}$ は確率が正の事象による $\Omega$ の分割、$P(A)>0$ とする）。
$P(A\mid B)$ と $P(B\mid A)$ は一般に異なる。不良品の率が高いラインでも、生産の割合が小さければ、不良品の出どころとしては目立たないことがある。Bayes の定理は、この 2 つの効果（結果の起こりやすさと原因そのものの起こりやすさ）を掛け合わせて比べることを述べている。
この記事では、分割に対する Bayes の定理を述べて証明し、比（オッズ）の形と、観測を重ねるときの逐次的な形を導く。例で使い方を確かめたあと、原因の候補を落とした場合や、観測が条件付き独立でない場合に計算が崩れることを反例で示す。
定理の主張
以下、確率空間 $(\Omega,\mathcal{F},P)$ を 1 つ固定し、$\Omega\setminus B$ を $B^c$ と書く。有限個または可算個の事象 $\{B_i\}_{i\in I}$ が互いに交わらず和集合が $\Omega$ であるとき、$\Omega$ の分割という。分割 $\{B_i\}$ ですべての $P(B_i)>0$ なら、すべての事象 $A$ について
$$
P(A)=\sum_{i\in I}P(A\mid B_i)\,P(B_i)
$$
が成り立つ（全確率の公式）。
$\{B_i\}_{i\in I}$ を、すべての $i$ で $P(B_i)>0$ を満たす $\Omega$ の分割とし、$A$ を $P(A)>0$ を満たす事象とする。このとき、各 $j\in I$ について
$$
P(B_j\mid A)=\frac{P(A\mid B_j)\,P(B_j)}{\sum_{i\in I}P(A\mid B_i)\,P(B_i)}
$$
である。特に、$0< P(B)< 1$ を満たす事象 $B$ について
$$
P(B\mid A)=\frac{P(A\mid B)\,P(B)}{P(A\mid B)\,P(B)+P(A\mid B^c)\,P(B^c)}
$$
である。
$P(B_j)>0$ と $P(A)>0$ から、条件付き確率の定義により
$$
P(A\mid B_j)\,P(B_j)=P(A\cap B_j)=P(B_j\mid A)\,P(A)
$$
である。両辺を $P(A)>0$ で割ると $P(B_j\mid A)=P(A\mid B_j)P(B_j)/P(A)$ となり、分母の $P(A)$ を 全確率の公式 で $\sum_iP(A\mid B_i)P(B_i)$ に書き換えれば前半を得る。後半は、$0< P(B)< 1$ により $P(B)>0$ かつ $P(B^c)>0$ なので、分割 $\{B,B^c\}$ に前半を使ったものである。
分母は $P(A)$ そのものなので、$P(A)>0$ の仮定は分母が $0$ でないことと同じである。$P(A)=0$ のとき $P(\cdot\mid A)$ は定義されない。この定理と全確率の公式は Sho08 §8.2 の式 (8.9)–(8.11)（p. 215）にあり、同書 §8.10（p. 272）は可算個の分割への拡張を述べている。
用語. $B_j$ を結果 $A$ の原因（仮説）の候補とみるとき、$P(B_j)$ を事前確率、$P(B_j\mid A)$ を事後確率、$j$ の関数としての $P(A\mid B_j)$ を尤度という。分母は $j$ によらないので、Bayes の定理は
$$
P(B_j\mid A)\propto P(A\mid B_j)\,P(B_j)\qquad(j\in I)
$$
（右辺を $j$ について足して $1$ になるように割ったものが左辺）とまとめられる。「事後確率は尤度と事前確率の積に比例する」と読む。
確率変数の形
値を有限個または可算個しかとらない確率変数 $\Theta$（原因を表す）と $X$（観測を表す）について、$\{\Theta=\theta\}$ は分割なので、$P(\Theta=\theta)>0$ となる $\theta$ だけを考え、$P(X=x)>0$ となる $x$ について
$$
P(\Theta=\theta\mid X=x)=\frac{P(X=x\mid\Theta=\theta)\,P(\Theta=\theta)}{\sum_{\theta'}P(X=x\mid\Theta=\theta')\,P(\Theta=\theta')}
$$
が成り立つ。連続な量の値で条件づける場合は個々の値の確率が $0$ になるので、確率を密度に置き換えた形を、条件付き分布の理論で扱う。統計的な推論への応用は Bayes統計 の記事で扱う。
オッズの形
$0< P(B)< 1$ の事象 $B$ について、$B$ が起こる確率と起こらない確率の比
$$
O(B):=\frac{P(B)}{P(B^c)}
$$
を $B$ のオッズ（odds）という。$O(B)$ は $0$ より大きい実数で、$P(B)=O(B)/(1+O(B))$ により確率に戻せる。条件付き確率 $P(\cdot\mid A)$ についても、$P(B^c\mid A)>0$ のとき $O(B\mid A):=P(B\mid A)/P(B^c\mid A)$ と定める（値は $0$ 以上の実数）。
$0< P(B)< 1$ とし、$A$ は $P(A\cap B^c)>0$ を満たす事象とする。このとき
$$
O(B\mid A)=\frac{P(A\mid B)}{P(A\mid B^c)}\cdot O(B)
$$
である。より一般に、thm-bayes-main の仮定のもとで $P(A\cap B_k)>0$ なら、各 $j$ について
$$
\frac{P(B_j\mid A)}{P(B_k\mid A)}=\frac{P(A\mid B_j)}{P(A\mid B_k)}\cdot\frac{P(B_j)}{P(B_k)}
$$
である。
後半から示す。$P(A)\ge P(A\cap B_k)>0$ なので thm-bayes-main が使え、$P(B_j\mid A)$ と $P(B_k\mid A)$ は同じ分母 $\sum_iP(A\mid B_i)P(B_i)$ をもつ。$P(B_k\mid A)=P(A\cap B_k)/P(A)>0$ なので比がとれ、分母が約されて主張の式になる。前半は、分割 $\{B,B^c\}$（$P(B)>0$、$P(B^c)>0$）に後半を $B_j=B$、$B_k=B^c$ として使ったものである。
比 $P(A\mid B)/P(A\mid B^c)$ を尤度比という。オッズの形は「事後のオッズ ＝ 尤度比 × 事前のオッズ」と読め、分母の和を計算せずに済む。尤度比が $1$ より大きい観測は $B$ のオッズを上げ、$1$ より小さい観測は下げる。尤度比がちょうど $1$、すなわち $P(A\mid B)=P(A\mid B^c)$ のとき、観測 $A$ は $B$ のオッズを変えない。オッズが上がるか下がるかは、確率が上がるか下がるかと一致するので、次のようにまとめられる。
$0< P(B)< 1$、$P(A)>0$ とする。このとき次の 3 条件は同値である。
- $P(B\mid A)>P(B)$（$A$ を観測すると $B$ の確率が上がる）。
- $P(A\mid B)>P(A)$（$B$ のもとでは $A$ が起こりやすくなる）。
- $P(A\mid B)>P(A\mid B^c)$（尤度比が $1$ より大きい）。
不等号 $>$ をすべて $=$ に替えても、すべて $<$ に替えても、3 条件は同値である。
1 と 2：thm-bayes-main の証明の等式 $P(B\mid A)P(A)=P(A\mid B)P(B)$ を $P(A)P(B)>0$ で割ると
$$
\frac{P(B\mid A)}{P(B)}=\frac{P(A\mid B)}{P(A)}
$$
であり、左辺が $1$ より大きいことと右辺が $1$ より大きいことは同じである。
2 と 3：全確率の公式 により $P(A)=tP(A\mid B)+(1-t)P(A\mid B^c)$、$t:=P(B)\in(0,1)$ である。したがって $P(A\mid B)-P(A)=(1-t)\bigl(P(A\mid B)-P(A\mid B^c)\bigr)$ で、$1-t>0$ から両辺の符号は一致する。
$=$、$<$ の場合も、同じ 2 つの等式で符号を比べればよい。
1 と 2 の同値は、「$A$ が $B$ の証拠になる」ことと「$B$ が $A$ を起こりやすくする」ことが同じだと述べている。ただし上がり方の大きさは別で、ex-bayes-two-tests のように尤度比が大きくても、事前確率が小さければ事後確率は小さいままでありうる。
観測を重ねる
同じ原因のもとで観測を 2 回行う場合を考える。事象 $A_1,A_2$ が、$P(C)>0$ の事象 $C$ のもとで
$$
P(A_1\cap A_2\mid C)=P(A_1\mid C)\,P(A_2\mid C)
$$
を満たすとき、$A_1$ と $A_2$ は $C$ のもとで条件付き独立であるという。条件付き確率 $P(\cdot\mid C)$ についての独立性(確率論)のことである。
$\{B_i\}_{i\in I}$ を、すべての $i$ で $P(B_i)>0$ を満たす $\Omega$ の分割とする。事象 $A_1,A_2$ が、各 $B_i$ のもとで条件付き独立であり、$P(A_1\cap A_2)>0$ を満たすとする。このとき、各 $j\in I$ について
$$
P(B_j\mid A_1\cap A_2)=\frac{P(A_2\mid B_j)\,P(B_j\mid A_1)}{\sum_{i\in I}P(A_2\mid B_i)\,P(B_i\mid A_1)}
$$
である。すなわち、$A_1$ を観測したあとの事後確率 $P(B_i\mid A_1)$ を新しい事前確率とみなし、$A_2$ について Bayes の定理を使えば、$A_1$ と $A_2$ をまとめて観測したときの事後確率が得られる。
$P(A_1)\ge P(A_1\cap A_2)>0$ なので $P(B_i\mid A_1)$ は定義され、thm-bayes-main により $P(B_i\mid A_1)=P(A_1\mid B_i)P(B_i)/P(A_1)$ である。したがって主張の右辺の分子と分母の各項は
$$
P(A_2\mid B_i)\,P(B_i\mid A_1)=\frac{P(A_2\mid B_i)\,P(A_1\mid B_i)\,P(B_i)}{P(A_1)}=\frac{P(A_1\cap A_2\mid B_i)\,P(B_i)}{P(A_1)}
$$
となる。ここで最後の等号に条件付き独立性を使った。共通の因子 $1/P(A_1)$ を約すと、右辺は
$$
\frac{P(A_1\cap A_2\mid B_j)\,P(B_j)}{\sum_iP(A_1\cap A_2\mid B_i)\,P(B_i)}
$$
に等しく、これは $A=A_1\cap A_2$（$P(A)>0$）に対する thm-bayes-main により $P(B_j\mid A_1\cap A_2)$ である。分母は $P(A_1\cap A_2)/P(A_1)>0$ なので割り算は正しい。
オッズの形と組み合わせると、条件付き独立な観測を重ねるたびに、事前のオッズに各観測の尤度比を順に掛ければよい（ex-bayes-two-tests）。観測が 3 回以上でも、すべての観測が各 $B_i$ のもとで互いに条件付き独立なら、同じ議論を繰り返して成り立つ。
| 形 | 式 | 仮定 |
|---|---|---|
| 分割の形 | $P(B_j\mid A)=\dfrac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}$ | 分割で各 $P(B_i)>0$、$P(A)>0$ |
| 2 つの場合の形 | 分母が $P(A\mid B)P(B)+P(A\mid B^c)P(B^c)$ | $0< P(B)< 1$、$P(A)>0$ |
| 比例の形 | 事後確率 $\propto$ 尤度 $\times$ 事前確率 | 分割の形と同じ |
| オッズの形 | 事後のオッズ $=$ 尤度比 $\times$ 事前のオッズ | $0< P(B)< 1$、$P(A\cap B^c)>0$ |
| 逐次的な形 | $A_1$ の事後確率を $A_2$ の事前確率に使う | 各 $B_i$ のもとで $A_1,A_2$ が条件付き独立、$P(A_1\cap A_2)>0$ |
例
ある製品を 3 つのライン $F_1,F_2,F_3$ が全体の $50\%$、$30\%$、$20\%$ ずつ作り、不良品の率はそれぞれ $1\%$、$2\%$、$3\%$ である。製品を 1 つ無作為に選ぶとき、不良品である事象を $D$ とし、ライン $F_i$ で作られた事象も $F_i$ と書く。全確率の公式 により
$$
P(D)=0.5\cdot0.01+0.3\cdot0.02+0.2\cdot0.03=0.005+0.006+0.006=0.017
$$
である。Bayes の定理により、選んだ製品が不良品だったときの事後確率は
$$
P(F_1\mid D)=\frac{0.005}{0.017}=\frac5{17},\qquad P(F_2\mid D)=\frac6{17},\qquad P(F_3\mid D)=\frac6{17}
$$
である。$F_1$ は生産の割合が最も大きいが、不良品の出どころとしては最も確率が小さい。逆に $F_3$ の不良品の率 $P(D\mid F_3)=0.03$ と、不良品が $F_3$ から来た確率 $P(F_3\mid D)=\frac6{17}=0.35\ldots$ はまったく別の量である。
袋に公平な硬貨 2 枚と、両面とも表の硬貨 1 枚が入っている。1 枚を無作為に取り出して $n$ 回投げたところ、$n$ 回とも表だった。取り出した硬貨が両面とも表である事象を $H$ とする。$H$ のもとでは必ず表、$H^c$ のもとでは各回が互いに独立に確率 $\frac12$ で表なので、$n$ 回とも表である事象 $A_n$ について $P(A_n\mid H)=1$、$P(A_n\mid H^c)=2^{-n}$ である。事前のオッズは $O(H)=\frac{1/3}{2/3}=\frac12$、尤度比は $2^n$ なので、prop-bayes-odds により
$$
O(H\mid A_n)=2^n\cdot\frac12=2^{n-1},\qquad P(H\mid A_n)=\frac{2^{n-1}}{1+2^{n-1}}=\frac1{1+2^{1-n}}
$$
である。$n=1$ なら $\frac12$、$n=3$ なら $\frac45$、$n=10$ なら $\frac{512}{513}$ で、表が続くほど両面が表の硬貨だと確信が強まる。1 回でも裏が出れば $P(\text{裏}\mid H)=0$ なので、事後確率は $0$ になる。
ある病気にかかっている人の割合が $\frac1{1000}$ で、検査は病気の人を確率 $0.99$ で陽性と判定し、病気でない人を確率 $0.02$ で誤って陽性と判定するとする。病気である事象を $B$、1 回目の検査が陽性である事象を $A_1$ とする。事前のオッズは $O(B)=\frac1{999}$、尤度比は $\frac{0.99}{0.02}=49.5$ なので
$$
O(B\mid A_1)=49.5\cdot\frac1{999}=\frac{11}{222},\qquad P(B\mid A_1)=\frac{11}{233}=0.047\ldots
$$
であり、陽性でも病気である確率は $5\%$ に満たない。もとの割合が小さいので、誤った陽性が正しい陽性を数で上回るからである。
次に、同じ人が同じ性能（病気の人を確率 $0.99$、病気でない人を確率 $0.02$ で陽性と判定する）の別の検査を受けて、2 回目も陽性だった（事象 $A_2$）とする。2 回の検査の判定が、病気の人の中でも病気でない人の中でも互いに独立に起こる（$B$ のもとでも $B^c$ のもとでも $A_1,A_2$ が条件付き独立である）と仮定すると、thm-bayes-sequential により尤度比をもう一度掛けて
$$
O(B\mid A_1\cap A_2)=49.5\cdot\frac{11}{222}=\frac{363}{148},\qquad P(B\mid A_1\cap A_2)=\frac{363}{511}=0.710\ldots
$$
となる。2 回続けて陽性なら、病気である確率は $70\%$ を超える。
反例
ex-bayes-factory で $F_3$ を忘れ、$F_1,F_2$ だけについて分母を作ると
$$
\frac{0.5\cdot0.01}{0.5\cdot0.01+0.3\cdot0.02}=\frac5{11},\qquad\frac{0.3\cdot0.02}{0.5\cdot0.01+0.3\cdot0.02}=\frac6{11}
$$
となり、正しい値 $\frac5{17}$、$\frac6{17}$ より大きい。$\{F_1,F_2\}$ は互いに交わらないが、和集合の確率が $0.8$ で全体を覆わないので、thm-bayes-main の分割の仮定を破っている。分母が $P(D)$ ではなく $P(D\cap(F_1\cup F_2))$ になり、計算されるのは $F_1\cup F_2$ のもとでの条件付き確率 $P(F_j\mid D\cap(F_1\cup F_2))$ である。「候補を並べて比べる」ときは、候補が起こりうる場合を漏れなく覆っていることを確かめる必要がある。
ex-bayes-two-tests で、2 回目に同じ検査を同じ検体でやり直すとし、判定は検体で決まって何度やり直しても同じになるとする。このとき $B$ のもとでも $B^c$ のもとでも $P(A_2\mid A_1\cap B)=1$、$P(A_2\mid A_1\cap B^c)=1$ であり、たとえば
$$
P(A_1\cap A_2\mid B^c)=P(A_1\mid B^c)=0.02\ne0.02^2=P(A_1\mid B^c)\,P(A_2\mid B^c)
$$
なので、$A_1,A_2$ は $B^c$ のもとで条件付き独立でない。$A_1\cap A_2=A_1$ なので正しい事後確率は $P(B\mid A_1\cap A_2)=P(B\mid A_1)=\frac{11}{233}=0.047\ldots$ のままで、尤度比を 2 回掛けた $0.710\ldots$ は誤りである。thm-bayes-sequential の結論「事後確率を次の事前確率に使う」は、条件付き独立の仮定を外すと成り立たない。
thm-bayes-main は $P(A)>0$ を要する。区間から一様に点を選ぶ場合のように、観測値 $\{X=x\}$ の確率が $0$ になる場合には $P(\cdot\mid X=x)$ は定義されず、事後の分布は 条件付き期待値 の理論で定める条件付き分布として扱う。
関連項目
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
