確率分布

同義語:probability distribution

概要

確率分布(probability distribution)とは、可測空間の上の確率測度のことであり、確率変数 $X$ の確率分布は、値の空間の可測集合 $B$ に $P(X\in B)$ を割り当てる確率測度 $P_X$ である。$f\ge0$ または $f(X)$ が可積分のとき $E[f(X)]=\int f\,dP_X$ が成り立ち、期待値や特性関数は分布だけで決まる。実数値の確率変数の分布が等しいことは、分布関数が等しいこと、有界な連続関数の期待値がすべて等しいことと同値だが、積率がすべて等しいだけでは同分布とは限らない。$\mathbb{R}$ 上の確率分布は、離散・絶対連続・特異連続の部分にただ 1 通りに分解される。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率空間, 確率変数, Borel集合, Lebesgue積分

公正な硬貨を 1 回投げて表なら $1$、裏なら $0$ とする確率変数 $X$ と、区間 $(0,1)$ から一様に選んだ点 $\omega$ が $\frac12$ 未満なら $1$、そうでなければ $0$ とする確率変数 $Y$ は、まったく別の確率空間の上の関数である。それでも、どちらも値 $0$ と $1$ を確率 $\frac12$ ずつとり、期待値・分散・「値が $1$ になる確率」など、値についての確率的な問いには同じ答えを返す。確率変数から、値がどのように散らばるかだけを取り出したものが 確率分布(probability distribution)である。
数学的には、$X$ の確率分布は、値の空間($\mathbb{R}$ や $\mathbb{R}^d$)の Borel 集合 $B$ に $P(X\in B)$ を割り当てる確率測度 $P_X$ である。$X$ を $P_X$ に取り替えると、確率や期待値を値の空間の上の積分で計算できる。この記事では、(1) $E[f(X)]$ が分布だけで決まること(変数変換公式)、(2) 分布が等しいことの判定、(3) どの確率測度もある確率変数の分布になることを示し、分布を離散・絶対連続・特異連続の部分に分ける見方を述べる。

定義

以下、$(\Omega,\mathcal{F},P)$ を 確率空間 とする。値の空間として、集合 $S$ とその上の σ-代数 $\mathcal{S}$ の組 $(S,\mathcal{S})$(可測空間)を考える。主な例は $\mathbb{R}^d$ と Borel集合 全体 $\mathcal{B}(\mathbb{R}^d)$ の組である。写像 $X\colon\Omega\to S$ が、すべての $B\in\mathcal{S}$ について
$$ X^{-1}(B)=\{\omega\in\Omega\mid X(\omega)\in B\}\in\mathcal{F} $$
を満たすとき、$X$ を $S$ に値をとる 確率要素(random element)という。$X^{-1}(B)$ を $\{X\in B\}$ と書く。
$(S,\mathcal{S})=(\mathbb{R},\mathcal{B}(\mathbb{R}))$ のときの確率要素は、確率変数 の記事の定義「確率変数」の 2 の意味の確率変数と同じものである($\{X\le a\}$ がすべて事象なら、逆像が事象になる集合の全体は半直線を含む σ-代数なので $\mathcal{B}(\mathbb{R})$ を含む。Dur19 Theorem 1.3.1・Example 1.3.2、p. 15)。$\mathbb{R}^d$ に値をとる確率要素を 確率ベクトル という。$(X_1,\dots,X_d)$ が確率ベクトルであることと、各 $X_i$ が確率変数であることは同値である(同書 Theorem 1.3.5 の証明、p. 16)。

理由を開く

各 $X_i$ が確率変数なら、直積集合 $B_1\times\cdots\times B_d$ の逆像 $\bigcap_i\{X_i\in B_i\}$ は事象であり、この形の集合は $\mathcal{B}(\mathbb{R}^d)$ を生成するので、上と同じ議論で $(X_1,\dots,X_d)$ は確率ベクトルである。逆は、座標への射影が連続で、Borel 集合の逆像が Borel 集合になることによる。

確率分布
  1. 可測空間 $(S,\mathcal{S})$ の上の確率測度、すなわち $\mathcal{S}$ の上の測度 $\mu$ で $\mu(S)=1$ となるものを、$S$ の上の 確率分布(または単に 分布)という。
  2. $S$ に値をとる確率要素 $X$ について、
    $$ P_X(B):=P(X\in B)\qquad(B\in\mathcal{S}) $$
    で定まる $P_X$ を、$X$ の 確率分布 という。$P_X=\mu$ のとき、$X$ は分布 $\mu$ に 従う といい、$X\sim\mu$ と書く。
  3. $S$ に値をとる確率要素 $X,Y$ が $P_X=P_Y$ を満たすとき、$X$ と $Y$ は 同分布 であるといい、$X\overset{d}{=}Y$ と書く。$X$ と $Y$ は別の確率空間の上にあってよい。

2 で定めた $P_X$ が 1 の意味の確率分布であることを確かめる。

確率変数の分布は確率測度

$X$ を $S$ に値をとる確率要素とすると、$P_X$ は $(S,\mathcal{S})$ の上の確率測度である。

逆像は集合の演算を保つ

$P_X(S)=P(\Omega)=1$ である。互いに交わらない $B_1,B_2,\dots\in\mathcal{S}$ の逆像は互いに交わらず、$\{X\in\bigcup_nB_n\}=\bigcup_n\{X\in B_n\}$ なので、$P$ の可算加法性から $P_X(\bigcup_nB_n)=\sum_nP(X\in B_n)=\sum_nP_X(B_n)$ である。$\square$

$P_X$ は、$P$ を写像 $X$ で $S$ へ移した測度であり、$P\circ X^{-1}$ とも書く(Dur19 §1.2、p. 10)。
分布関数. 実数値の確率変数 $X$ の分布関数は $F_X(x):=P(X\le x)=P_X((-\infty,x])$ である(確率変数 の定義「分布と分布関数」)。$\mathbb{R}$ の上の確率分布 $\mu$ についても $F(x):=\mu((-\infty,x])$ を $\mu$ の分布関数という。確率ベクトルでは $F_X(x_1,\dots,x_d):=P(X_1\le x_1,\dots,X_d\le x_d)$ を同時分布関数という。
同時分布と周辺分布. 同じ確率空間の上の確率変数 $X_1,\dots,X_d$ について、$(X_1,\dots,X_d)$ の分布を 同時分布、各 $X_i$ の分布を 周辺分布 という。周辺分布は同時分布から $P_{X_i}(B)=P_{(X_1,\dots,X_d)}(\pi_i^{-1}(B))$($\pi_i$ は第 $i$ 座標への射影)で決まるが、逆に周辺分布から同時分布は一般には決まらない(ex-pd-cx-joint)。
独立同分布. 同じ確率空間の上の確率変数の列 $X_1,X_2,\dots$ が 独立 であるとは、すべての $n$ とすべての Borel 集合 $B_1,\dots,B_n\subset\mathbb{R}$ について
$$ P(X_1\in B_1,\dots,X_n\in B_n)=P(X_1\in B_1)\cdots P(X_n\in B_n) $$
が成り立つことをいう(離散確率空間の上では、独立性(確率論) の定義「確率変数の独立性」の条件と同値である)。独立で、どの $X_i$ も同じ分布 $\mu$ に従うとき、$X_1,X_2,\dots$ は分布 $\mu$ の 独立同分布(independent and identically distributed、略して i.i.d.)の列であるという(Dur19 p. 58)。有限個の場合も同じように定める。大数の法則 や 中心極限定理 の基本の設定である。

主定理 1:期待値は分布だけで決まる

像の分布

$X$ を $S$ に値をとる確率要素とし、$(T,\mathcal{T})$ を可測空間、$g\colon S\to T$ を可測写像(すべての $C\in\mathcal{T}$ で $g^{-1}(C)\in\mathcal{S}$)とする。このとき $g(X)=g\circ X$ は $T$ に値をとる確率要素であり、
$$ P_{g(X)}(C)=P_X\bigl(g^{-1}(C)\bigr)\qquad(C\in\mathcal{T}) $$
である。とくに、$X\overset{d}{=}Y$ ならば $g(X)\overset{d}{=}g(Y)$ である。

逆像の合成

$C\in\mathcal{T}$ について $\{g(X)\in C\}=\{X\in g^{-1}(C)\}$ であり、$g^{-1}(C)\in\mathcal{S}$ なので右辺は事象である。両辺の確率をとれば式を得る。右辺は $P_X$ と $g$ だけで決まるので、$P_X=P_Y$ なら $P_{g(X)}=P_{g(Y)}$ である。$\square$

たとえば $X\overset{d}{=}Y$ なら $X^2\overset{d}{=}Y^2$ である。ただし、同じ確率空間の上の $Z$ について $X+Z\overset{d}{=}Y+Z$ が出るとは限らない(ex-pd-cx-sum)。$X+Z$ は組 $(X,Z)$ の関数であり、$(X,Z)\overset{d}{=}(Y,Z)$ なら $g(x,z)=x+z$ に定理を使えるが、組の分布は $X$ の分布だけでは決まらない。

変数変換公式

$X$ を $S$ に値をとる確率要素とし、$f\colon S\to\mathbb{R}$ を可測関数とする。

  1. $f\ge0$ ならば
    $$ E[f(X)]=\int_Sf\,dP_X $$
    である(両辺は $\infty$ でもよい)。
  2. $E[\lvert f(X)\rvert]< \infty$ であることと $\int_S\lvert f\rvert\,dP_X< \infty$ であることは同値であり、このとき 1 の等式が成り立つ。
指示関数から積み上げる

左辺の期待値は $\Omega$ の上の Lebesgue積分 $\int_\Omega f(X(\omega))\,P(d\omega)$ である。$f$ を簡単なものから順に一般にしていく。
段 1(指示関数). $f=\mathbf{1}_B$($B\in\mathcal{S}$)なら $f(X)=\mathbf{1}_{\{X\in B\}}$ なので、$E[f(X)]=P(X\in B)=P_X(B)=\int_S\mathbf{1}_B\,dP_X$ である。
段 2(単関数). $f=\sum_{k=1}^mc_k\mathbf{1}_{B_k}$($c_k\ge0$、$B_k\in\mathcal{S}$)なら、期待値と積分の線形性と段 1 から、両辺はともに $\sum_kc_kP_X(B_k)$ に等しい。
段 3($0$ 以上の関数). $f\ge0$ なら、$f_n:=\min\{2^{-n}\lfloor2^nf\rfloor,\ n\}$ は $0$ 以上の可測な 単関数 で、各点で $f_n\uparrow f$ となる。各 $\omega$ で $f_n(X(\omega))\uparrow f(X(\omega))$ なので、単調収束定理 を $\Omega$ の上と $S$ の上で 1 回ずつ使い、段 2 と合わせて
$$ E[f(X)]=\lim_{n\to\infty}E[f_n(X)]=\lim_{n\to\infty}\int_Sf_n\,dP_X=\int_Sf\,dP_X $$
を得る。
段 4(一般の関数). $\lvert f\rvert$ に段 3 を使うと $E[\lvert f(X)\rvert]=\int_S\lvert f\rvert\,dP_X$ であり、2 の前半の同値が分かる。このとき $f^\pm:=\max\{\pm f,0\}$ とおくと $f=f^+-f^-$、$f^\pm(X)=\bigl(f(X)\bigr)^\pm$ であり、段 3 を $f^+$ と $f^-$ に使った 2 つの等式の値はどちらも $E[\lvert f(X)\rvert]$ 以下で有限である。引き算して $E[f(X)]=\int_Sf\,dP_X$ を得る。$\square$

この 4 段の論法は Dur19 Theorem 1.6.9(p. 32)の証明と同じである。右辺は $P_X$ と $f$ だけで決まるので、期待値・分散・積率、特性関数(確率論) $E[e^{itX}]$ など、$E[f(X)]$ の形の量はすべて分布だけで決まり、同分布の確率変数では等しい。$X$ が密度 $p$ をもつとき、右辺はさらに $\int f(x)p(x)\,dx$ と書ける(確率密度関数 の定理「密度による期待値の公式」)。

主定理 2:分布が等しいことの判定

同分布の判定

$X,Y$ を実数値の確率変数とする(同じ確率空間の上になくてよい)。次の 3 条件は同値である。

  1. $X\overset{d}{=}Y$。
  2. すべての実数 $t$ について $F_X(t)=F_Y(t)$。
  3. すべての有界な連続関数 $g\colon\mathbb{R}\to\mathbb{R}$ について $E[g(X)]=E[g(Y)]$。
半直線の指示関数を連続関数で挟む

1 ⇒ 3:$g$ は連続なので Borel 可測であり、有界なので $E[\lvert g(X)\rvert]< \infty$ である。thm-pd-change の 2 により $E[g(X)]=\int g\,dP_X=\int g\,dP_Y=E[g(Y)]$ である。
3 ⇒ 2:$t\in\mathbb{R}$ と $n\ge1$ について
$$ g_n(x):=\begin{cases}1&(x\le t)\\1-n(x-t)&(t< x< t+\frac1n)\\0&(x\ge t+\frac1n)\end{cases} $$
とおく。$g_n$ は有界な連続関数で、$\mathbf{1}_{(-\infty,t]}\le g_n\le\mathbf{1}_{(-\infty,t+1/n]}$ を満たす。期待値をとると
$$ F_X(t)\le E[g_n(X)]\le F_X\bigl(t+\tfrac1n\bigr) $$
であり、$Y$ についても同じ不等式が成り立つ。分布関数は右連続なので(確率変数 の定理「分布関数の性質」)、$n\to\infty$ で両端は $F_X(t)$ に近づき、$E[g_n(X)]\to F_X(t)$ である。同様に $E[g_n(Y)]\to F_Y(t)$ である。仮定 3 から $E[g_n(X)]=E[g_n(Y)]$ なので、$F_X(t)=F_Y(t)$ である。
2 ⇒ 1:$P_X$ と $P_Y$ は $\mathcal{B}(\mathbb{R})$ の上の確率測度で、すべての $t$ について $P_X((-\infty,t])=F_X(t)=F_Y(t)=P_Y((-\infty,t])$ を満たす。半直線 $(-\infty,t]$ の全体は共通部分で閉じていて(π 系)、$\mathcal{B}(\mathbb{R})$ を生成する。したがって Dynkinのπ-λ定理 の系「区間の長さで決まる測度」の 2 により $P_X=P_Y$ である。$\square$

3 の「有界な連続関数」を「多項式」に替える、すなわち積率 $E[X^k]$ がすべて一致することに弱めると、同値は成り立たない(ex-pd-cx-moments)。一方、3 の $g$ を $\cos tx$ と $\sin tx$($t\in\mathbb{R}$)に限っても、すなわち特性関数が一致するだけでも $X\overset{d}{=}Y$ が従う(特性関数(確率論) の系「特性関数は分布を決める」)。
確率ベクトルについても、同時分布関数が一致すれば同時分布が一致する。

理由を開く

集合 $(-\infty,t_1]\times\cdots\times(-\infty,t_d]$ の全体は π 系であり、半開直方体 $\prod_i(a_i,b_i]$ はこの形の集合の有限個の和集合と差で表せるので、この π 系は $\mathcal{B}(\mathbb{R}^d)$ を生成する。あとは 2 ⇒ 1 と同じく Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」の 1 を使えばよい。

主定理 3:どの確率測度も分布になる

分布の実現
  1. 可測空間 $(S,\mathcal{S})$ の上の確率分布 $\mu$ について、確率空間 $(S,\mathcal{S},\mu)$ の上の恒等写像 $X(s)=s$ は分布 $\mu$ に従う。
  2. $\mathbb{R}$ の上の確率分布 $\mu_1,\dots,\mu_n$ について、ある確率空間の上に、独立な確率変数 $X_1,\dots,X_n$ で $X_i\sim\mu_i$($i=1,\dots,n$)となるものがある。
座標を確率変数とみる

1:$X^{-1}(B)=B$ なので $P_X(B)=\mu(B)$ である。
2:$\Omega:=\mathbb{R}^n$、$\mathcal{F}:=\mathcal{B}(\mathbb{R}^n)$ とし、$P$ を直積集合 $B_1\times\cdots\times B_n$($B_i\in\mathcal{B}(\mathbb{R})$)に $\mu_1(B_1)\cdots\mu_n(B_n)$ を与える確率測度 $\mu_1\otimes\cdots\otimes\mu_n$ とする(存在は 直積測度 の定理「積測度の存在と一意性」を繰り返し使い、積 σ-代数と $\mathcal{B}(\mathbb{R}^n)$ の一致は同記事の命題「積σ-代数とBorel集合」の 2 による)。第 $i$ 座標 $X_i(\omega):=\omega_i$ は連続なので確率変数であり、$\{X_1\in B_1,\dots,X_n\in B_n\}=B_1\times\cdots\times B_n$ なので
$$ P(X_1\in B_1,\dots,X_n\in B_n)=\mu_1(B_1)\cdots\mu_n(B_n) $$
である。$i$ 以外の $B_j$ を $\mathbb{R}$ にとると $P(X_i\in B_i)=\mu_i(B_i)$、すなわち $X_i\sim\mu_i$ であり、上の式は $X_1,\dots,X_n$ が独立であることを述べている。$\square$

分布だけが問題になる議論で、確率空間を明示せずに「$X\sim\mu$ とする」と書いてよいのは 1 による。$\mathbb{R}$ の上では、$(0,1)$ の上の一様な確率空間 1 つで足りる。$\mu$ の分布関数 $F$ の分位点関数を $Q$ とすると、$(0,1)$ の上の 一様分布 に従う $U$ について $Q(U)$ の分布関数は $F$ であり(分位点 の定理「分位点変換と確率積分変換」。確率変数 の定理「分布関数の特徴づけ」の証明も同じ構成)、thm-pd-equal により $Q(U)\sim\mu$ である。
無限個の場合も、$\mathbb{R}^{\mathbb{N}}$ の上の測度を作る Kolmogorovの拡張定理 により、どの分布 $\mu$ についても分布 $\mu$ の独立同分布の列が存在する(Dur19 §2.1.4、Theorem 2.1.21、pp. 52–53。この記事では証明しない)。

分布の型

$\mathbb{R}$ の上の確率分布 $\mu$ について、$\mu(\{x\})>0$ となる点 $x$ を $\mu$ の 原子 という。分布関数 $F$ で見ると、$\mu(\{x\})=F(x)-\lim_{y\uparrow x}F(y)$ は $x$ での跳びの高さである(確率変数 の定理「分布関数の性質」)。

離散分布・連続分布・絶対連続分布・特異連続分布

$\mu$ を $\mathbb{R}$ の上の確率分布とし、$\lambda$ を Lebesgue測度 とする。

  1. 有限集合または可算集合 $A$ で $\mu(A)=1$ となるものがあるとき、$\mu$ を 離散分布 という。
  2. 原子をもたない(分布関数が連続な)$\mu$ を 連続分布 という。
  3. $0$ 以上の Borel 可測関数 $p$ で、すべての Borel 集合 $B$ について $\mu(B)=\int_Bp\,d\lambda$ となるものがあるとき、$\mu$ を 絶対連続分布 といい、$p$ を $\mu$ の密度という。
  4. 連続分布で、$\lambda(N)=0$ かつ $\mu(N)=1$ となる Borel 集合 $N$ をもつ $\mu$ を 特異連続分布 という。

離散分布 $\mu$ では、可算加法性により $\mu(B)=\sum_{x\in B\cap A}\mu(\{x\})$ である。絶対連続分布は連続分布である($\lambda(\{x\})=0$ による)が、逆は成り立たない(ex-pd-cantor)。密度をもつ分布を「連続分布」と呼ぶ本も多いが、この記事では 2 と 3 を区別する。

分布の分解

$\mathbb{R}$ の上のどの確率分布 $\mu$ も、$a+b+c=1$ を満たす $0$ 以上の数 $a,b,c$ と、離散分布 $\mu_d$、絶対連続分布 $\mu_{ac}$、特異連続分布 $\mu_{sc}$ によって
$$ \mu=a\,\mu_d+b\,\mu_{ac}+c\,\mu_{sc} $$
と書ける。係数 $a,b,c$ は $\mu$ だけで決まり、係数が正の部分の分布もただ 1 つに決まる。$a$ は原子の確率の和 $\sum_x\mu(\{x\})$ に等しい。

3 つの部分への分解を確率分布に直す

Lebesgueの分解定理 の定理「Borel 測度の 3 つの部分への分解」を有限測度 $\mu$ に使うと、純点測度 $\nu_{pp}$、$\lambda$ に絶対連続な $\nu_{ac}$、特異連続な $\nu_{sc}$ で $\mu=\nu_{pp}+\nu_{ac}+\nu_{sc}$ となるものがただ 1 組ある。$a:=\nu_{pp}(\mathbb{R})$、$b:=\nu_{ac}(\mathbb{R})$、$c:=\nu_{sc}(\mathbb{R})$ とおくと $a+b+c=\mu(\mathbb{R})=1$ であり、係数が正の部分をその質量で割ったものが $\mu_d,\mu_{ac},\mu_{sc}$ である。

詳しい確かめを開く

$a>0$ なら $\mu_d:=\nu_{pp}/a$ とおく。同定理により原子の全体 $A$ は高々可算で、$\nu_{pp}(E)=\sum_{x\in E\cap A}\mu(\{x\})$ なので $\nu_{pp}(\mathbb{R}\setminus A)=0$ であり、$\mu_d$ は離散分布である。$b>0$ なら、同定理の関数 $h$ について $\mu_{ac}:=\nu_{ac}/b$ は密度 $h/b$ をもつ絶対連続分布である。$c>0$ なら $\mu_{sc}:=\nu_{sc}/c$ は原子をもたない。さらに $\nu_{sc}$ は $\lambda$ と互いに特異なので、$\lambda(N)=0$ かつ $\nu_{sc}(\mathbb{R}\setminus N)=0$ となる Borel 集合 $N$ があり、$\mu_{sc}(N)=1$ である。よって $\mu_{sc}$ は特異連続分布である。係数が $0$ の部分には任意の分布をあてればよい。

一意性:別の分解 $\mu=a'\mu'_d+b'\mu'_{ac}+c'\mu'_{sc}$ があれば、$a'\mu'_d$ は純点測度($\mu'_d$ は可算集合に集中するので)、$b'\mu'_{ac}$ は $\lambda$ に絶対連続、$c'\mu'_{sc}$ は特異連続な測度である。同定理の一意性から 3 つの部分は $\nu_{pp},\nu_{ac},\nu_{sc}$ に一致し、全体の質量を比べて $a'=a$、$b'=b$、$c'=c$、係数が正の部分では $\mu'_d=\mu_d$ などを得る。最後の主張は $a=\nu_{pp}(\mathbb{R})=\sum_{x\in A}\mu(\{x\})$ による。$\square$

例

$x\in B$ なら $1$、そうでなければ $0$ を $B$ に与える確率分布を $\delta_x$ と書く(点 $x$ に集中した分布)。

別の確率空間の上の同じ分布

$\Omega_1=\{\mathrm{H},\mathrm{T}\}$ に $P_1(\{\mathrm{H}\})=P_1(\{\mathrm{T}\})=\frac12$ を入れ、$X(\mathrm{H})=1$、$X(\mathrm{T})=0$ とする。$\Omega_2=(0,1)$ に Lebesgue 測度を入れ、$Y:=\mathbf{1}_{(0,1/2)}$ とする。Borel 集合 $B$ について、$P_1(X\in B)$ と $P_2(Y\in B)$ はどちらも、$B$ が $0,1$ を両方含めば $1$、片方だけ含めば $\frac12$、どちらも含まなければ $0$ なので、$P_X=P_Y=\frac12\delta_0+\frac12\delta_1$ である。thm-pd-change から $E[X]=E[Y]=\frac12$ である。$\Omega_2$ の上の $Y':=1-Y$ も同じ分布をもつが、すべての $\omega$ で $Y'(\omega)\ne Y(\omega)$ である。同分布は「関数として等しい」ことを意味しない。

代表的な分布と、それを主題とする記事を表にまとめる。

分布型分布の与え方記事
Bernoulli分布($0\le q\le1$)離散$(1-q)\delta_0+q\delta_1$Bernoulli試行
二項分布離散$P(X=k)=\binom nkq^k(1-q)^{n-k}$二項分布
Poisson 分布離散$P(X=k)=e^{-m}m^k/k!$Poisson分布
一様分布(区間 $(a,b)$)絶対連続密度 $\frac1{b-a}\mathbf{1}_{(a,b)}$一様分布
指数分布絶対連続密度 $\lambda e^{-\lambda x}\mathbf{1}_{[0,\infty)}$指数分布
正規分布絶対連続密度 $\frac1{\sqrt{2\pi}\sigma}e^{-(x-m)^2/(2\sigma^2)}$正規分布
ガンマ分布絶対連続密度 $\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\mathbf{1}_{(0,\infty)}$ガンマ分布
Cauchy 分布絶対連続密度 $\frac1{\pi(1+x^2)}$Cauchy分布
Cantor 分布特異連続分布関数が Cantor 関数ex-pd-cantor
点の質量と密度の混合

保険の 1 年間の支払額 $X$ が、確率 $0.7$ で $0$、確率 $0.3$ で率 $1$ の 指数分布 に従う額になるとする。式では、$P(B)=0.3$ の事象 $B$ と、$B$ と独立で $P(T\le x)=1-e^{-x}$($x\ge0$)となる確率変数 $T\ge0$ をとり、$X:=T\mathbf{1}_B$ とおく。$x\ge0$ について
$$ F_X(x)=P(B^c)+P(B\cap\{T\le x\})=0.7+0.3\,(1-e^{-x}) $$
であり、$x< 0$ では $F_X(x)=0$ である。$F_X$ は $0$ で高さ $0.7$ の跳びをもち、その他では連続である。thm-pd-decomposition の分解は $a=0.7$、$\mu_d=\delta_0$、$b=0.3$、$\mu_{ac}$ は密度 $e^{-x}\mathbf{1}_{[0,\infty)}$ の分布、$c=0$ である。$X$ は離散分布にも絶対連続分布にも従わない。
thm-pd-change を $f(x)=x$ に使うと、積分は 2 つの部分に分かれて
$$ E[X]=0.7\cdot0+0.3\int_0^\infty xe^{-x}\,dx=0.3 $$
である。

Cantor 分布

$\varepsilon_1,\varepsilon_2,\dots$ を、$P(\varepsilon_k=0)=P(\varepsilon_k=1)=\frac12$ の独立同分布の列とし(存在は thm-pd-realize の後の注意による)、
$$ X:=\sum_{k=1}^\infty\frac{2\varepsilon_k}{3^k} $$
とおく。$X$ は 3 進小数の各桁が $0$ か $2$ の数なので、Cantor集合 $C$ に値をとる(同記事の定理「3進表示による特徴づけ」)。$X$ は確率変数の列 $\sum_{k\le n}2\varepsilon_k3^{-k}$ の各点での極限なので、確率変数である。

  1. 原子をもたない. 桁の列が異なれば $X$ の値は異なる(同定理。2 つの $\{0,1\}$ の列が $k$ 番目で初めて異なれば、値の差は $2\cdot3^{-k}-\sum_{j>k}2\cdot3^{-j}=3^{-k}$ 以上)。したがって $x\in C$ の桁を $2e_1,2e_2,\dots$ とすると、すべての $n$ について $\{X=x\}\subset\{\varepsilon_1=e_1,\dots,\varepsilon_n=e_n\}$ であり、$P(X=x)\le2^{-n}$ である。$n\to\infty$ として $P(X=x)=0$ である。$x\notin C$ なら $\{X=x\}=\emptyset$ である。
  2. Lebesgue 測度 $0$ の集合に集中する. $P(X\in C)=1$ であり、$\lambda(C)=0$ である(Cantor集合)。
    したがって $X$ の分布は特異連続分布であり(thm-pd-decomposition で $c=1$)、連続分布でも密度をもつとは限らない。分布関数は Cantor関数 である(Dur19 Example 1.2.7、p. 13)。

反例

反例:同分布の確率変数に同じものを足す

$(0,1)$ に Lebesgue 測度を入れた確率空間で $U(\omega):=\omega$ とし、$X:=U$、$Y:=1-U$、$Z:=U$ とおく。$0\le t\le1$ で $P(Y\le t)=P(U\ge1-t)=t=P(X\le t)$ なので、thm-pd-equal により $X\overset{d}{=}Y$ である。しかし $P(X+Z\le1)=P(2U\le1)=\frac12$、$P(Y+Z\le1)=1$($Y+Z=1$)である。組 $(X,Z)$ と $(Y,Z)$ は同分布でなく($P(X\le\frac12,Z\le\frac12)=\frac12$、$P(Y\le\frac12,Z\le\frac12)=0$)、「$X\overset{d}{=}Y$ なら $X+Z\overset{d}{=}Y+Z$」という含意が成り立たない。

反例:周辺分布は同時分布を決めない

thm-pd-realize の 2 により、独立な確率変数 $U,V$ で、どちらも $(0,1)$ の上の一様分布に従うものをとる。組 $(U,V)$ と組 $(U,U)$ はどちらも、周辺分布が 2 つとも $(0,1)$ の上の一様分布である。しかし
$$ P\bigl(U\le\tfrac12,\ V\le\tfrac12\bigr)=\tfrac14,\qquad P\bigl(U\le\tfrac12,\ U\le\tfrac12\bigr)=\tfrac12 $$
なので同時分布は異なる。2 つの組は「周辺分布が等しい」を満たすが「同時分布が等しい」を満たさない。$(U,U)$ の成分は独立でない。両方の組の成分が独立なら、同時分布はどちらも周辺分布の直積測度になり、一致する。

反例:積率がすべて一致しても同分布とは限らない

$x>0$ で
$$ p_0(x):=\frac1{\sqrt{2\pi}\,x}e^{-(\log x)^2/2},\qquad p_1(x):=p_0(x)\Bigl(1+\frac12\sin(2\pi\log x)\Bigr) $$
とおき、$x\le0$ では $0$ とする。$k=0,1,2,\dots$ について、$x=e^y$ と置換すると
$$ \int_0^\infty x^kp_0(x)\,dx=e^{k^2/2},\qquad\int_0^\infty x^kp_0(x)\sin(2\pi\log x)\,dx=0 $$
である。

計算を開く

$dx=e^y\,dy$、$p_0(e^y)e^y=e^{-y^2/2}/\sqrt{2\pi}$ と $ky-y^2/2=k^2/2-(y-k)^2/2$ により、第 1 式の左辺は $\frac{e^{k^2/2}}{\sqrt{2\pi}}\int e^{-(y-k)^2/2}\,dy=e^{k^2/2}$ である。第 2 式の左辺は同じく $\frac{e^{k^2/2}}{\sqrt{2\pi}}\int e^{-(y-k)^2/2}\sin(2\pi y)\,dy$ であり、$y=s+k$ とおくと、$k$ が整数なので $\sin(2\pi(s+k))=\sin(2\pi s)$ となり、$\frac{e^{k^2/2}}{\sqrt{2\pi}}\int e^{-s^2/2}\sin(2\pi s)\,ds$ になる。被積分関数は可積分な奇関数なので積分は $0$ である。

$p_1\ge\frac12p_0\ge0$ であり、$k=0$ の場合から $\int p_1=1$ なので $p_1$ も密度である。密度 $p_0$ の確率変数 $X$ と密度 $p_1$ の確率変数 $Y$ をとると、すべての $k\ge0$ について $E[X^k]=E[Y^k]=e^{k^2/2}$ である。しかし $B:=\{x>0\mid\sin(2\pi\log x)>0\}$ について
$$ P(Y\in B)-P(X\in B)=\frac12\int_Bp_0(x)\sin(2\pi\log x)\,dx>0 $$
なので、$X$ と $Y$ は同分布でない($p_0$ の分布を対数正規分布という。Dur19 §3.3.5、Counterexample 1、p. 140)。分布が有界な区間に集中しているときは、積率から分布が決まる(同書 p. 140)。

主張成り立つための追加の条件反例(満たされない条件)
$X\overset{d}{=}Y$ なら $X=Y$(一般には成り立たない)ex-pd-coin:関数として等しくない
$X\overset{d}{=}Y$ なら $X+Z\overset{d}{=}Y+Z$$(X,Z)\overset{d}{=}(Y,Z)$ex-pd-cx-sum:組の分布が異なる
周辺分布が等しければ同時分布も等しい成分が独立ex-pd-cx-joint:独立でない
積率がすべて等しければ同分布有界な区間に集中ex-pd-cx-moments:有界でない
連続分布は密度をもつ絶対連続性ex-pd-cantor:Lebesgue 測度 $0$ の集合に集中

関連項目

参考文献

[1]
Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019, §1.2(p. 10、分布の定義、Example 1.2.7、p. 13)、Theorem 1.3.1・Example 1.3.2(p. 15)、Theorem 1.3.5(p. 16)、Theorem 1.6.9(p. 32、変数変換公式)、§2.1.4・Theorem 2.1.21(pp. 52–53)、p. 58(独立同分布)、§3.3.5 Counterexample 1(p. 140)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する