独立性(確率論)

独立性と $A\cap B=\emptyset$ から $P(A)P(B)=P(A\cap B)=P(\emptyset)=0$ である。実数の積が $0$ なので、どちらかの因子が $0$ である。

事象 $E$ の補集合を $E^c:=\Omega\setminus E$ と書き、有限集合 $K\subset I$ について $A_K:=\bigcap_{k\in K}A_k$（$K=\emptyset$ なら $A_\emptyset:=\Omega$）とおく。
（1 つだけ取り替える場合）$d\in I$ を 1 つ固定し、$A_d$ だけを $A_d^c$ に替えた族 $\{A'_i\}$（$A'_d=A_d^c$、$i\ne d$ では $A'_i=A_i$）が互いに独立であることを示す。空でない有限集合 $J\subset I$ をとる。$d\notin J$ なら示すべき等式は元の族の等式そのものである。$d\in J$ なら $K:=J\setminus\{d\}$ とおく。$A_K$ は互いに交わらない $A_d\cap A_K$ と $A_d^c\cap A_K$ の和集合なので、元の族の独立性（$K=\emptyset$ のときは $P(\Omega)=1$）を使って
$$ P(A_d^c\cap A_K)=P(A_K)-P(A_d\cap A_K)=\prod_{k\in K}P(A_k)-P(A_d)\prod_{k\in K}P(A_k)=P(A_d^c)\prod_{k\in K}P(A_k) $$
となる。これが $J$ についての等式である。
（一般の場合）空でない有限集合 $J\subset I$ について $P\bigl(\bigcap_{j\in J}B_j\bigr)=\prod_{j\in J}P(B_j)$ を示せばよい。有限族 $\{A_j\}_{j\in J}$ は互いに独立であり、$B_j\ne A_j$ となる $j\in J$ は有限個なので、その各 $j$ について上の「1 つだけ取り替える場合」を順に使えば（各段階で得られる族はまた互いに独立である）、有限族 $\{B_j\}_{j\in J}$ が互いに独立であることが分かる。特に $J$ 全体についての等式が成り立つ。2 つの事象の場合は $I=\{1,2\}$ としたものである。

thm-indep-complement により $\Omega\setminus A_1,\dots,\Omega\setminus A_n$ は互いに独立なので、$J=\{1,\dots,n\}$ の等式と $P(\Omega\setminus A_i)=1-P(A_i)$ から前半を得る。$\bigcup_iA_i$ の補集合は $\bigcap_i(\Omega\setminus A_i)$（De Morganの法則）なので、後半は前半から従う。

必要性は、def-indep-random-variables で $J=\{1,\dots,n\}$ とした等式である。十分性を示す。空でない $J\subset\{1,\dots,n\}$ と $x_j\in V_j$（$j\in J$）について $P\bigl(\bigcap_{j\in J}\{X_j=x_j\}\bigr)=\prod_{j\in J}P(X_j=x_j)$ を示せばよい。$J$ より 1 つ多い添字の集合 $J\cup\{d\}$ でこの形の等式が（その添字のすべての値について）成り立つとき、$J$ でも成り立つことを示せば、$\{1,\dots,n\}$ から添字を 1 つずつ除いてすべての $J$ に達する。事象 $\bigcap_{j\in J}\{X_j=x_j\}$ は、互いに交わらない有限個または可算個の事象 $\bigcap_{j\in J}\{X_j=x_j\}\cap\{X_d=y\}$（$y\in V_d$）の和集合なので、可算加法性（確率空間）と $J\cup\{d\}$ での等式により
$$ P\Bigl(\bigcap_{j\in J}\{X_j=x_j\}\Bigr)=\sum_{y\in V_d}P(X_d=y)\prod_{j\in J}P(X_j=x_j)=\prod_{j\in J}P(X_j=x_j) $$
となる。最後の等号は $\sum_{y\in V_d}P(X_d=y)=P(\Omega)=1$ による。

$\{\mathbf{1}_{A_i}=1\}=A_i$、$\{\mathbf{1}_{A_i}=0\}=\Omega\setminus A_i$ である。事象が互いに独立なら、thm-indep-complement により、各 $i$ で $A_i$ か $\Omega\setminus A_i$ を選んだ族はどれも互いに独立であり、これが指示確率変数の独立性である。逆に指示確率変数が互いに独立であるとし、空でない $J$ をとる。ある $j\in J$ で $A_j=\emptyset$ なら、$P\bigl(\bigcap_{j\in J}A_j\bigr)$ と $\prod_{j\in J}P(A_j)$ はどちらも $0$ である。そうでなければ、すべての $j\in J$ で $1\in V_j$ なので、$j\in J$ では値 $1$、それ以外の $i$ では $V_i$ の任意の値を選んだ事象の族が互いに独立であり、その $J$ の部分族の等式が $P\bigl(\bigcap_{j\in J}A_j\bigr)=\prod_{j\in J}P(A_j)$ である。

$y_i\in Y_i(\Omega)$ をとり、$S'_i:=\{x\in V_i\mid f_i(x)=y_i\}$ とおく。事象 $\{Y_1=y_1,\dots,Y_n=y_n\}$ は、互いに交わらない事象 $\{X_1=x_1,\dots,X_n=x_n\}$（$x_i\in S'_i$）の和集合である。prop-indep-rv-criterion により各事象の確率は $\prod_iP(X_i=x_i)$ なので
$$ P(Y_1=y_1,\dots,Y_n=y_n)=\sum_{x_1\in S'_1}\cdots\sum_{x_n\in S'_n}\prod_{i=1}^nP(X_i=x_i)=\prod_{i=1}^n\sum_{x_i\in S'_i}P(X_i=x_i)=\prod_{i=1}^nP(Y_i=y_i) $$
である。2 番目の等号は項が $0$ 以上の多重級数を各変数の和の積に分けたもので、和の順序やまとめ方によらない（Sho08 付録 A7、p. 564）。prop-indep-rv-criterion により $Y_1,\dots,Y_n$ は互いに独立である。後半は $f_i$ を $S_i$ の指示関数にとり、prop-indep-indicator を使えばよい。

$\Omega$ は有限集合または可算集合である（有限個の可算集合の直積は可算）。項が $0$ 以上の多重級数は各変数ごとの和の積に分けられる（Sho08 付録 A7、p. 564）ので、$F_1\subset\Omega_1,\dots,F_n\subset\Omega_n$ について
$$ P(F_1\times\cdots\times F_n)=\sum_{\omega_1\in F_1}\cdots\sum_{\omega_n\in F_n}p_1(\omega_1)\cdots p_n(\omega_n)=P_1(F_1)\cdots P_n(F_n) $$
である。$F_i=\Omega_i$（すべての $i$）とおけば $\sum_{\omega\in\Omega}p(\omega)=1$ なので、$(\Omega,p)$ は離散確率空間である。
1：$\{\pi_i\in E_i\}=\Omega_1\times\cdots\times E_i\times\cdots\times\Omega_n$ なので、上の式で $F_i=E_i$、それ以外を $\Omega_k$ とすれば $P(\pi_i\in E_i)=P_i(E_i)$ である。
2：空でない $J\subset\{1,\dots,n\}$ について、$\bigcap_{j\in J}\{\pi_j\in E_j\}$ は、$j\in J$ では $F_j=E_j$、$k\notin J$ では $F_k=\Omega_k$ とした $F_1\times\cdots\times F_n$ に等しい。上の式と 1 により、その確率は $\prod_{j\in J}P_j(E_j)=\prod_{j\in J}P(\pi_j\in E_j)$ である。
3：各 $\Omega_k$ は空でないので $\pi_i$ は全射であり、$\pi_i$ のとる値の集合は $\Omega_i$ である。2 で $E_i$ を 1 点集合 $\{x_i\}$（$x_i\in\Omega_i$）にとれば、$J=\{1,\dots,n\}$ の等式は prop-indep-rv-criterion の条件そのものである。

そのような列があったとする。$\omega\in\Omega$ を任意にとり、$\omega\in A_i$ なら $B_i:=A_i$、そうでなければ $B_i:=\Omega\setminus A_i$ とおく。thm-indep-complement により $B_1,B_2,\ldots$ は互いに独立で、どれも確率 $\frac12$ である。$\omega\in B_1\cap\cdots\cap B_m$ なので、すべての $m$ について
$$ p(\omega)\leq P(B_1\cap\cdots\cap B_m)=2^{-m} $$
であり、$p(\omega)=0$ である。$\omega$ は任意なので $\sum_{\omega\in\Omega}p(\omega)=0$ となり、これが $1$ であることに反する。