周辺分布(marginal distribution)とは、確率変数の組 $(X_1,\dots,X_n)$ の同時分布から、一部の成分の分布を取り出したものであり、積空間の上の確率測度を射影で写した像測度として定義される。離散の場合は他の変数について和をとり、同時密度がある場合は他の変数について積分すれば周辺分布が得られる。確率変数が独立であることは、同時分布が周辺分布の積測度に等しいこと、密度の場合は同時密度が周辺密度の積にほとんどいたるところ等しいことと同値である。周辺分布は同時分布を決めず、一様な周辺分布をもち共分散が異なる同時分布が無数にある。
2 つの確率変数 $X,Y$ を同時に観測するとき、値の組 $(X,Y)$ がどのように散らばるかを表すのが 同時分布 であり、そこから $X$ だけ、$Y$ だけの散らばりを取り出したものが 周辺分布(marginal distribution)である。2 つの量の値の組を数えた表で、行ごとの合計と列ごとの合計を表の余白(margin)に書き込むと、それが周辺分布になる。これが名前の由来である。
周辺分布は同時分布から計算できるが、周辺分布から同時分布は決まらない。2 つの変数の関係(独立か、どれだけ相関するか、和がどう分布するか)は同時分布にあって、周辺分布にはない。この記事では、周辺分布の一般の定義と計算法(thm-mg-compute)、独立性が「同時分布=周辺分布の積」であること(thm-mg-independence)を示し、周辺分布を共有する同時分布の族の例と、よくある取り違えの反例を述べる。
$(E_1,\mathcal{E}_1),\dots,(E_n,\mathcal{E}_n)$ を可測空間とし、積 $E:=E_1\times\cdots\times E_n$ に積 σ-代数 $\mathcal{E}_1\otimes\cdots\otimes\mathcal{E}_n$ を入れる。空でない $J\subset\{1,\dots,n\}$ について、$\pi_J\colon E\to\prod_{j\in J}E_j$ を $J$ の成分を取り出す射影とする。
射影 $\pi_J$ は可測なので(測度空間と可測空間 の系「積への写像の可測性」)、像測度が定まる。2 の最後の主張は $\pi_J\circ(X_1,\dots,X_n)=(X_j)_{j\in J}$ から従う。値が有限個・可算個の場合の定義は 確率変数 の定義「同時分布と周辺分布」、$\mathbb{R}^d$ の場合は 確率分布 の節「定義」にある。
ある組の生徒 $20$ 人について、数学($X$:好き $=1$、ふつう $=0$)と理科($Y$:好き $=1$、ふつう $=0$)を調べ、無作為に 1 人選ぶとする。人数の表を確率に直すと次のようになる。
| $Y=1$ | $Y=0$ | $X$ の周辺分布 | |
|---|---|---|---|
| $X=1$ | $\frac{6}{20}$ | $\frac{2}{20}$ | $\frac{8}{20}$ |
| $X=0$ | $\frac{4}{20}$ | $\frac{8}{20}$ | $\frac{12}{20}$ |
| $Y$ の周辺分布 | $\frac{10}{20}$ | $\frac{10}{20}$ | $1$ |
右の列と下の行が周辺分布である。$P(X=1,Y=1)=\frac{6}{20}$ は $P(X=1)P(Y=1)=\frac{8}{20}\cdot\frac{10}{20}=\frac{4}{20}$ と異なるので、$X$ と $Y$ は独立でない。
$(X,Y)$ を $E\times F$ に値をとる確率変数とする。
1:$K$ の成分を取り出す射影 $\pi^J_K\colon\prod_{j\in J}E_j\to\prod_{k\in K}E_k$ について $\pi^J_K\circ\pi_J=\pi_K$ である。像測度は合成と両立する($(g\circ f)_*Q(B)=Q(f^{-1}(g^{-1}(B)))=g_*(f_*Q)(B)$)ので、$(\pi^J_K)_*(\pi_J)_*Q=(\pi_K)_*Q$ である。
2:事象 $\{X=x\}$ は、互いに交わらない可算個の事象 $\{X=x,\ Y=y\}$($y\in F$)の和集合である。可算加法性による。
3:Borel 集合 $\mathbb{R}^{d+e}$ の上の Lebesgue 測度は $\lambda_d\otimes\lambda_e$ に等しい(Fubiniの定理 の命題「Euclid空間のLebesgue測度と積測度」)。非負関数の累次積分の交換(同記事の定理「非負関数の累次積分の交換」)により $f_X$ は Borel 可測であり、Borel 集合 $A\subset\mathbb{R}^d$ について
$$
P(X\in A)=P((X,Y)\in A\times\mathbb{R}^e)=\int_{A\times\mathbb{R}^e}f\,d\lambda_{d+e}=\int_A\Bigl(\int_{\mathbb{R}^e}f(x,y)\,dy\Bigr)dx=\int_Af_X\,d\lambda_d
$$
である。$A=\mathbb{R}^d$ とすると $\int f_X\,d\lambda_d=1$ なので、$f_X=\infty$ となる点の集合は零集合である。
4:$y_k\uparrow\infty$ となる列について、事象 $\{X\le x,\ Y\le y_k\}$ は増加して $\{X\le x\}$ に近づく。確率の下からの連続性(測度 の定理「測度の連続性」)により極限は $P(X\le x)$ である。$y\mapsto P(X\le x,\ Y\le y)$ は単調なので、どの列についても極限は同じである。$\square$
3 で $f_X$ が $\infty$ をとる零集合の上では、$f_X$ を $0$ に替えても密度である。3 個以上の成分でも、残す成分以外の変数について積分すればよい。
$(X,Y)$ が単位円板 $D:=\{x^2+y^2\le1\}$ の上の一様分布、すなわち密度 $f=\frac1\pi1_D$ に従うとする。$\lvert x\rvert\le1$ では
$$
f_X(x)=\frac1\pi\int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}dy=\frac2\pi\sqrt{1-x^2}
$$
であり、$\lvert x\rvert>1$ では $0$ である。$X$ の周辺分布は一様分布ではなく、中央ほど大きい半円形の密度をもつ(尺度を変えると 半円則 の半円分布になる)。$Y$ も同じ周辺分布をもつ。$f_X(x)f_Y(y)$ は開正方形 $(-1,1)^2$ 全体で正なので、$f$ とは $D$ の外の正の測度の集合で異なり、thm-mg-independence により $X,Y$ は独立でない。
$X_1,\dots,X_n$ を同じ確率空間の上の確率変数とし、$X_j$ は可測空間 $(E_j,\mathcal{E}_j)$ に値をとるとする。
1:$Q$ を同時分布、$R:=P_{X_1}\otimes\cdots\otimes P_{X_n}$ とする。独立なら、可測長方形 $B_1\times\cdots\times B_n$ の上で $Q(B_1\times\cdots\times B_n)=\prod_jP(X_j\in B_j)=R(B_1\times\cdots\times B_n)$ である。可測長方形の全体は共通部分で閉じていて積 σ-代数を生成するので、Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」により $Q=R$ である。逆に $Q=R$ なら、相異なる $j_1,\dots,j_m$ について、$j_k$ 番目に $B_k$、残りに $E_j$ を置いた長方形の確率を比べて、独立性の等式が得られる。
2:$g(x_1,\dots,x_n):=f_{X_1}(x_1)\cdots f_{X_n}(x_n)$ とおく。直積測度 の命題「密度をもつ測度の積」を結合性(同記事の命題「積測度の結合性」)とともにくり返し使い、Fubiniの定理 の命題「Euclid空間のLebesgue測度と積測度」で $\lambda_{d_1}\otimes\cdots\otimes\lambda_{d_n}=\lambda_{d}$($d=\sum d_j$)とすると、$R$ は Lebesgue 測度について密度 $g$ をもつ。
$f=g$ がほとんどいたるところで成り立てば $Q=R$ なので、1 により独立である。逆に独立なら $Q=R$ であり、すべての Borel 集合 $A$ について $\int_Af\,d\lambda_d=\int_Ag\,d\lambda_d$ である。$f,g$ は可積分(積分は $1$)なので、$A:=\{f>g\}$ とすると $\int_A(f-g)\,d\lambda_d=0$ で、$A$ の上で $f-g>0$ だから $\lambda_d(A)=0$ である。$\{g>f\}$ も同様である。$\square$
1 の「独立なら同時分布は積測度」の向きは、実数値の場合に Dur19 Theorem 2.1.11(p. 48)にあり、離散の場合は 独立性(確率論) の命題「同時分布による判定」である。同じ分布の場合が 独立同分布 の定理「同時分布が積測度になること」である。
周辺分布を固定しても、同時分布には一般に無数の可能性がある。
$-1\le\alpha\le1$ について、$[0,1]^2$ の上の関数 $f_\alpha(x,y):=1+\alpha(1-2x)(1-2y)$($[0,1]^2$ の外では $0$)を考える。
周辺分布を固定したときの同時分布関数のとりうる範囲は、Fréchet–Hoeffding の上下界で与えられ、同時分布は周辺分布と「コピュラ」に分解される(コピュラ)。周辺分布を与えた同時分布の全体は、確率論でカップリング、最適輸送で輸送計画と呼ばれ(カップリング(確率論)、最適輸送)、その中から目的に合うものを選ぶことが多くの議論の核になる。
周辺分布だけで決まる量と決まらない量を区別しておく。$\mathbb{E}[g(X)]$ は $X$ の周辺分布だけで決まり(確率分布 の定理「変数変換公式」)、$X,Y$ が可積分なら $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$ も周辺分布で決まる。一方、$\operatorname{Cov}(X,Y)$、$V[X+Y]=V[X]+V[Y]+2\operatorname{Cov}(X,Y)$、$X+Y$ の分布は同時分布が要る。ex-mg-family では $V[X+Y]=\frac16+\frac{\alpha}{18}$ が $\alpha$ によって変わる。
離散の場合、$P(X=x)>0$ なら $P(X=x,\ Y=y)=P(X=x)\,P(Y=y\mid X=x)$ であり、同時分布は $X$ の周辺分布と、$X=x$ のもとでの $Y$ の条件付き分布の積に分かれる(条件付き確率)。密度の場合も、$0< f_X(x)< \infty$ となる $x$ について $f_{Y\mid X}(y\mid x):=f(x,y)/f_X(x)$ とおくと、これは $y$ の確率密度で $f(x,y)=f_X(x)f_{Y\mid X}(y\mid x)$ である。周辺分布は、同時分布から条件付き分布の情報を忘れたものと見ることができる。
| 外す仮定・成り立たない結論 | 例 | 何が起こるか |
|---|---|---|
| 「周辺分布が密度をもてば同時分布も密度をもつ」 | $U\sim U(0,1)$ について $(U,U)$ | 同時分布は面積 $0$ の対角線に載り、密度をもたない |
| 「周辺分布が同じなら同時分布も同じ」 | ex-mg-family の $f_\alpha$ と $f_\beta$($\alpha\ne\beta$) | 共分散が異なる |
| 「2 変数の周辺分布がすべて積なら全体も積」 | $\{0,1\}^3$ の和が偶数の 4 点の上の一様分布 | 3 変数の同時分布が積でない |
| thm-mg-independence の 2 の等式を「式が $x$ の関数と $y$ の関数の積」に替える | $0< x< y< 1$ の上の $f(x,y)=8xy$ | $X,Y$ は独立でない |
| thm-mg-compute の 3 の $f_X$ が至るところ有限 | 密度を直線 $x=0$ の上だけ $1/y$ に替える | $f_X(0)=\infty$ |
1 行目:$\Delta:=\{(x,x)\}$ は $\lambda_2(\Delta)=0$ を満たす(Fubiniの定理 の系「Euclid空間の零集合と切り口」)。密度 $f$ があれば $P((U,U)\in\Delta)=\int_\Delta f\,d\lambda_2=0$ となるが、左辺は $1$ である。周辺分布はどちらも密度 $1_{[0,1]}$ をもつ。
2 行目:ex-mg-family の 2 による。
3 行目:$(X_1,X_2,X_3)$ が $(0,0,0),(0,1,1),(1,0,1),(1,1,0)$ を確率 $\frac14$ ずつとるとする。どの 2 成分の組も $\{0,1\}^2$ の 4 点を $\frac14$ ずつとり、各成分は $\mathrm{Ber}(\frac12)$ なので、2 変数の周辺分布は周辺分布の積である。しかし $P(X_1=X_2=X_3=1)=0\ne\frac18$ である。
4 行目:$\int_0^1\int_0^y8xy\,dx\,dy=\int_0^14y^3\,dy=1$ である。$f_X(x)=\int_x^18xy\,dy=4x(1-x^2)$、$f_Y(y)=\int_0^y8xy\,dx=4y^3$($0< x,y< 1$)であり、$0< y< x< 1$ の上で $f=0$ だが $f_X(x)f_Y(y)>0$ なので、thm-mg-independence の 2 の等式は正の測度の集合で成り立たない。式 $8xy$ は積の形でも、密度が正になる範囲が長方形でないことに $X$ と $Y$ の依存が現れている。
5 行目:ex-mg-family の $f_0=1_{[0,1]^2}$ を、$x=0$、$0< y\le1$ の上でだけ $1/y$ に替えたものを $\tilde f$ とする。替えた集合は面積 $0$ なので、$\tilde f$ も同じ同時分布の密度である。$\int_0^1\tilde f(0,y)\,dy=\int_0^1y^{-1}dy=\infty$ なので、thm-mg-compute の 3 で作った $\tilde f_X$ は $x=0$ で $\infty$ になる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する