Dirichlet過程

同義語:Dirichlet processディリクレ過程

概要

Dirichlet過程(Dirichlet process)とは、可測空間上の有限で 0 でない測度 $\alpha$ をパラメータとするランダム確率測度 $P$ で、空間をどの有限個の可測集合に分けても、各集合の $P$ の値の組が $\alpha$ の値をパラメータとする Dirichlet 分布に従うものである。分布全体を未知とする Bayes 統計の基本の事前分布で、$P$ のもとで独立に得た観測による事後分布は $\alpha$ に観測点の単位質量を足した Dirichlet 過程になる。次の観測の予測は、確率 $M/(M+n)$($M$ は $\alpha$ の全質量)で基底分布から選び、残りは既に出た値を等しい確率で選ぶ壺の規則になる。$\mathrm{Beta}(1,M)$ の割合で棒を折る構成により存在が示され、$P$ は確率 1 で離散的である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Beta分布, ガンマ分布, Bayes統計, 確率測度

Dirichlet 過程(Dirichlet process)は、未知の確率分布そのものに置く事前分布である。値が確率測度である確率変数(ランダム確率測度)$P$ で、標本空間をどのように有限個の集合に分けても、各集合の確率の組 $(P(B_1),\dots,P(B_k))$ が Dirichlet 分布に従うものをいう。
分布全体を未知として扱う Bayes 統計(ノンパラメトリック Bayes)の最も基本的な事前分布で、次の 3 つの性質が計算を簡単にする。

  1. 共役性:Dirichlet 過程から $P$ を選び、$P$ に従う独立な観測を得ると、$P$ の事後分布はまた Dirichlet 過程で、パラメータに観測の点の質量を足すだけで求まる。
  2. 予測の規則:次の観測の予測分布は「確率 $\frac{M}{M+n}$ で基底分布から新しい値、確率 $\frac{n}{M+n}$ で既に出た値の 1 つ」という壺の規則になる。
  3. 棒折り構成:$P$ は確率 $1$ で可算個の点の重み付きの和で、重みは長さ $1$ の棒を Beta 分布の割合で次々に折って作れる。
    この記事では 3 つの性質と、観測の中の異なる値の個数の期待値を証明する。

Dirichlet 分布

以下、$\mathrm{Gamma}(a)$ は尺度 $1$ のガンマ分布(密度 $x^{a-1}e^{-x}/\Gamma(a)$、$x>0$)を表し、$\mathrm{Gamma}(0)$ は $0$ に集中した分布と約束する(ガンマ分布)。$k\ge1$ について単体を $\Delta_k=\{x\in\mathbb{R}^k: x_i\ge0,\ \sum_ix_i=1\}$ と書き、$e_j$ は $j$ 番目の単位ベクトルとする。

Dirichlet 分布

$a=(a_1,\dots,a_k)$ は $a_i\ge0$ かつ $a_0:=a_1+\cdots+a_k>0$ を満たすとする。独立な $G_i\sim\mathrm{Gamma}(a_i)$($i=1,\dots,k$)と $S=G_1+\cdots+G_k$ について、$\Delta_k$ に値をとる確率ベクトル
$$ X=\Bigl(\frac{G_1}{S},\dots,\frac{G_k}{S}\Bigr) $$
の分布を Dirichlet 分布 $\mathrm{Dir}(a_1,\dots,a_k)$ という。$S>0$ は確率 $1$ で成り立つ。

$a_i=0$ の座標は確率 $1$ で $0$ である。$k=2$ の $\mathrm{Dir}(p,q)$ の第 1 座標は Beta分布 $\mathrm{Beta}(p,q)$ に従う。$\mathrm{Dir}(e_j)$ は点 $e_j$ に集中した分布である。

Gamma 表示と密度

すべての $a_i>0$ とし、$G_i,S,X$ を def-dp-dirichlet のとおりとする。このとき $X$ と $S$ は独立で、$S\sim\mathrm{Gamma}(a_0)$ である。$X$ の最初の $k-1$ 座標は、$\{x_i>0,\ x_1+\cdots+x_{k-1}<1\}$ 上の密度
$$ f_a(x)=\frac{\Gamma(a_0)}{\Gamma(a_1)\cdots\Gamma(a_k)}\,x_1^{a_1-1}\cdots x_k^{a_k-1}\qquad(x_k:=1-x_1-\cdots-x_{k-1}) $$
をもつ。
要点:$G=SX$ と変数を替えると、同時密度が $x$ の関数と $s$ の関数の積に分かれる。

証明を開く

$k=1$ なら $X=1$ で明らかなので $k\ge2$ とする。$(x_1,\dots,x_{k-1},s)\mapsto(g_1,\dots,g_k)=(sx_1,\dots,sx_{k-1},s x_k)$($x_k=1-\sum_{i< k}x_i$)は、$\{x_i>0,\ \sum_{i< k}x_i<1,\ s>0\}$ から $(0,\infty)^k$ への全単射で、逆写像は $s=\sum g_i$、$x_i=g_i/s$ である。Jacobi 行列は、$i,j< k$ で $\partial g_i/\partial x_j=s\delta_{ij}$、$\partial g_i/\partial s=x_i$、最後の行が $(-s,\dots,-s,x_k)$ である。最初の $k-1$ 行を最後の行に足すと最後の行は $(0,\dots,0,\sum_ix_i)=(0,\dots,0,1)$ になるので、行列式は $s^{k-1}$ である。$(G_1,\dots,G_k)$ の同時密度 $\prod_i g_i^{a_i-1}e^{-g_i}/\Gamma(a_i)$ を変数変換すると、$(X_1,\dots,X_{k-1},S)$ の同時密度は $\displaystyle\prod_{i=1}^k\frac{(sx_i)^{a_i-1}}{\Gamma(a_i)}\,e^{-s}\,s^{k-1}=f_a(x)\cdot\frac{s^{a_0-1}e^{-s}}{\Gamma(a_0)}$ となる。積の形なので、$X$ と $S$ は独立で、それぞれの密度は $f_a$ と $\mathrm{Gamma}(a_0)$ の密度である($f_a$ の積分が $1$ になることもここから従う)。$\square$

Dirichlet 分布の性質

$X\sim\mathrm{Dir}(a)$、$a_0=\sum_ia_i$ とする。

  1. 集約:$\{1,\dots,k\}$ を $I_1,\dots,I_m$ に分けると、$\bigl(\sum_{i\in I_1}X_i,\dots,\sum_{i\in I_m}X_i\bigr)\sim\mathrm{Dir}\bigl(\sum_{i\in I_1}a_i,\dots,\sum_{i\in I_m}a_i\bigr)$。
  2. 積率:$E[X_i]=\dfrac{a_i}{a_0}$、$\operatorname{Var}(X_i)=\dfrac{a_i(a_0-a_i)}{a_0^2(a_0+1)}$、$i\ne j$ なら $\operatorname{Cov}(X_i,X_j)=-\dfrac{a_ia_j}{a_0^2(a_0+1)}$。
  3. 密度の恒等式:すべての $a_i>0$ なら $x_jf_a(x)=\dfrac{a_j}{a_0}f_{a+e_j}(x)$。
  4. 混合:$U\sim\mathrm{Dir}(\gamma)$、$V\sim\mathrm{Dir}(\delta)$、$W\sim\mathrm{Beta}(\gamma_0,\delta_0)$ が独立($\gamma_0=\sum\gamma_i>0$、$\delta_0=\sum\delta_i>0$)なら、$WU+(1-W)V\sim\mathrm{Dir}(\gamma+\delta)$。
    要点:どれも Gamma 表示で座標の Gamma 変数を足したり割ったりする計算である。
    証明を開く

    1. Gamma 表示で $\sum_{i\in I_r}G_i\sim\mathrm{Gamma}(\sum_{i\in I_r}a_i)$ は独立である(ガンマ分布 の定理「ガンマ分布の再生性」)。それぞれを $S$ で割ったものが左辺なので、定義から従う。

    2. 1 により $X_i\sim\mathrm{Dir}(a_i,a_0-a_i)$ の第 1 座標、すなわち $\mathrm{Beta}(a_i,a_0-a_i)$ に従い($a_i=0$ や $a_i=a_0$ なら定数)、平均と分散は Beta分布 の命題「積率と対称性」の値である。$X_i+X_j\sim\mathrm{Beta}(a_i+a_j,a_0-a_i-a_j)$ の分散から $\operatorname{Var}X_i+\operatorname{Var}X_j$ を引いて 2 で割ると共分散を得る。

    3. $\Gamma(a_0+1)=a_0\Gamma(a_0)$、$\Gamma(a_j+1)=a_j\Gamma(a_j)$ から、$f_{a+e_j}(x)=\frac{a_0}{a_j}x_jf_a(x)$ である。

    4. 独立な $G_i\sim\mathrm{Gamma}(\gamma_i)$、$H_i\sim\mathrm{Gamma}(\delta_i)$ をとり、$S_G=\sum G_i$、$S_H=\sum H_i$ とする。正の座標だけに lem-dp-gamma を使うと、$U'=G/S_G$ と $S_G$、$V'=H/S_H$ と $S_H$ はそれぞれ独立で、$G$ と $H$ は独立なので $U',S_G,V',S_H$ は独立である。$W'=S_G/(S_G+S_H)$ は $(S_G,S_H)$ の関数で $\mathrm{Beta}(\gamma_0,\delta_0)$ に従う(Beta分布 の定理「ガンマ分布の割合と和」)。よって $(U',V',W')$ は $(U,V,W)$ と同じ分布をもち、$W'U'+(1-W')V'=(G+H)/(S_G+S_H)$ である。$G_i+H_i\sim\mathrm{Gamma}(\gamma_i+\delta_i)$ は独立なので、右辺は $\mathrm{Dir}(\gamma+\delta)$ に従う。$\square$

Dirichlet 過程の定義

$(\mathcal{X},\mathcal{A})$ を可測空間とし、$\mathcal{P}$ をその上の確率測度全体とする。$\mathcal{P}$ には、すべての $A\in\mathcal{A}$ について $Q\mapsto Q(A)$ を可測にする最小の $\sigma$ 加法族を入れる。確率空間から $\mathcal{P}$ への可測写像を ランダム確率測度 という。$\mathcal{X}$ の 可測分割 とは、互いに素で和が $\mathcal{X}$ になる有限個の $B_1,\dots,B_k\in\mathcal{A}$ のことである。

Dirichlet 過程

$\alpha$ を $(\mathcal{X},\mathcal{A})$ 上の有限な測度で $\alpha(\mathcal{X})>0$ のものとする。ランダム確率測度 $P$ が、すべての可測分割 $B_1,\dots,B_k$ について
$$ \bigl(P(B_1),\dots,P(B_k)\bigr)\sim\mathrm{Dir}\bigl(\alpha(B_1),\dots,\alpha(B_k)\bigr) $$
を満たすとき、$P$ は パラメータ $\alpha$ の Dirichlet 過程 に従うといい、$P\sim\mathrm{DP}(\alpha)$ と書く。$M=\alpha(\mathcal{X})$ を 集中度(total mass)、$G_0=\alpha/M$ を 基底分布 という。$\mathrm{DP}(M,G_0)$ とも書く。

この条件は $P$ の分布を一意に定める。有限個の $A_1,\dots,A_m\in\mathcal{A}$ はそれらの共通部分と補集合で可測分割を作り、$(P(A_1),\dots,P(A_m))$ はその分割の確率のベクトルの関数だからである。$\{Q:(Q(A_1),\dots,Q(A_m))\in E\}$ の形の集合は共通部分で閉じていて $\mathcal{P}$ の $\sigma$ 加法族を生成するので、Dynkinのπ-λ定理 により分布は 1 つに決まる。存在は次の節で示す。

平均と共分散

$P\sim\mathrm{DP}(M,G_0)$ なら、$A,B\in\mathcal{A}$ について
$$ E[P(A)]=G_0(A),\qquad \operatorname{Cov}\bigl(P(A),P(B)\bigr)=\frac{G_0(A\cap B)-G_0(A)G_0(B)}{M+1}. $$
特に $\operatorname{Var}(P(A))=\dfrac{G_0(A)(1-G_0(A))}{M+1}$ で、$P(A)\sim\mathrm{Beta}\bigl(MG_0(A),M(1-G_0(A))\bigr)$ である($0< G_0(A)<1$ のとき)。
要点:$A,B$ が作る 4 つの部分の分割に prop-dp-dir の 2 を当てる。

証明を開く

分割 $C_1=A\cap B$、$C_2=A\setminus B$、$C_3=B\setminus A$、$C_4=\mathcal{X}\setminus(A\cup B)$ をとり、$g_i=G_0(C_i)$、$X_i=P(C_i)$ とおく。定義により $X\sim\mathrm{Dir}(Mg_1,\dots,Mg_4)$ で、prop-dp-dir の 2 により $E[X_i]=g_i$、$\operatorname{Var}X_i=\frac{g_i(1-g_i)}{M+1}$、$\operatorname{Cov}(X_i,X_j)=-\frac{g_ig_j}{M+1}$ である。$P(A)=X_1+X_2$ の平均は $g_1+g_2=G_0(A)$ である。$P(B)=X_1+X_3$ との共分散は $\frac{g_1(1-g_1)-g_1g_3-g_2g_1-g_2g_3}{M+1}=\frac{g_1-(g_1+g_2)(g_1+g_3)}{M+1}$ で、主張の式である。Beta 分布であることは、分割 $A,\mathcal{X}\setminus A$ に定義を当てればよい。$\square$

分散の分母の $M+1$ から、$M$ が大きいほど $P$ は $G_0$ の近くに集まり、$M$ が小さいほど大きくばらつくことが分かる。

棒折り構成と存在

$M>0$ と確率測度 $G_0$ を固定し、次の独立な確率変数をとる。

  • $\theta_1,\theta_2,\dots$ は独立で、それぞれ $\mathrm{Beta}(1,M)$ に従う。
  • $Y_1,Y_2,\dots$ は独立で、それぞれ $G_0$ に従い、$(\theta_n)$ と独立である。
    長さ $1$ の棒から割合 $\theta_1$ を折り取り、残り $1-\theta_1$ から割合 $\theta_2$ を折り取り、と続けたときの $n$ 番目のかけらの長さを
    $$ p_1=\theta_1,\qquad p_n=\theta_n\prod_{m=1}^{n-1}(1-\theta_m)\quad(n\ge2) $$
    とし、
    $$ P=\sum_{n=1}^\infty p_n\,\delta_{Y_n} $$
    とおく($\delta_y$ は点 $y$ に集中した確率測度)。これを 棒折り構成(stick-breaking construction)という。
    図: 棒折り構成で作った Dirichlet 過程の見本 2 つ。基底分布は標準正規分布。左は M=1、右は M=10。横軸は原子の位置 Y_n、縦軸は重み p_n で、縦棒で示す。点線は基底分布の密度の形(高さを合わせたもの)。M=1 では数本の原子が重みの大半を占め、M=10 では多くの小さな原子が基底分布の広がりの中に散らばる。 図: 棒折り構成で作った Dirichlet 過程の見本 2 つ。基底分布は標準正規分布。左は M=1、右は M=10。横軸は原子の位置 Y_n、縦軸は重み p_n で、縦棒で示す。点線は基底分布の密度の形(高さを合わせたもの)。M=1 では数本の原子が重みの大半を占め、M=10 では多くの小さな原子が基底分布の広がりの中に散らばる。
残りの長さ

$R_N=1-\sum_{n=1}^Np_n$ とおくと $R_N=\prod_{m=1}^N(1-\theta_m)$、$E[R_N]=\bigl(\frac{M}{M+1}\bigr)^N$ であり、確率 $1$ で $\sum_{n=1}^\infty p_n=1$ である。
要点:残りの長さは折るたびに $1-\theta_m$ 倍になる。

証明を開く

$R_N=\prod_{m\le N}(1-\theta_m)$ は $N$ についての帰納法で示せる:$R_{N}=R_{N-1}-p_N=R_{N-1}(1-\theta_N)$。独立性と $E[1-\theta_m]=1-\frac1{M+1}=\frac{M}{M+1}$ から $E[R_N]=(\frac{M}{M+1})^N$ である。$R_N$ は $N$ について単調減少で $0$ 以上なので極限 $R_\infty$ をもち、すべての $N$ で $E[R_\infty]\le E[R_N]\to0$ だから $R_\infty=0$ が確率 $1$ で成り立つ。$\square$

ゆえに確率 $1$ で $P$ は確率測度である(例外の零集合の上では $P=G_0$ と定める)。各 $A$ について $P(A)=\sum_np_n1_{\{Y_n\in A\}}$ は確率変数なので、$P$ はランダム確率測度である。
次の補題は、ある種の分布の方程式の解が 1 つしかないことを述べる。

分布の方程式の解の一意性

$(W,U)$ を、$W$ が $[0,1]$ に値をとり $\Pr(W=1)<1$、$U$ が $\mathbb{R}^k$ に値をとる確率変数の組とする。$\mathbb{R}^k$ に値をとる確率変数 $V$ が、$(W,U)$ と独立にとったとき
$$ V\overset{d}{=}U+WV $$
(両辺の分布が等しい)を満たすなら、$V$ の分布はこの式で 1 つに決まる。
要点:2 つの解を同じ $(W_n,U_n)$ で動かすと、差が $W_1W_2\cdots$ 倍に縮む。

証明を開く

$V,V'$ が式を満たすとし、$(W_n,U_n)$($n\ge1$)を $(W,U)$ と同じ分布の独立な列で、$V,V'$ と独立なものとする。$V_1=V$、$V'_1=V'$、$V_{n+1}=U_n+W_nV_n$、$V'_{n+1}=U_n+W_nV'_n$ と定める。$V_n$ は $(W_n,U_n)$ と独立なので、帰納法により $V_n$ は $V$ と、$V'_n$ は $V'$ と同じ分布である。一方 $\lvert V_{n+1}-V'_{n+1}\rvert=W_1\cdots W_n\lvert V-V'\rvert$ である。$\Pr(W\le c)>0$ となる $c<1$ をとると、第 2 の Borel–Cantelliの補題 により確率 $1$ で無限個の $m$ について $W_m\le c$ となるので、積は $0$ に収束し、$V_n-V'_n\to0$ が確率 $1$ で成り立つ。有界連続関数 $h$ について $E[h(V)]-E[h(V')]=E[h(V_n)-h(V'_n)]\to0$(優収束定理)なので、$V$ と $V'$ は同じ分布である。$\square$

棒折り構成は Dirichlet 過程を与える(Sethuraman)

$0< M< \infty$ とする。棒折り構成の $P$ は $\mathrm{DP}(M,G_0)$ に従う。特に、すべての有限な測度 $\alpha\ne0$ について $\mathrm{DP}(\alpha)$ は存在する。

分布の方程式を作り、Dirichlet 分布がその唯一の解であることを示す

可測分割 $B_1,\dots,B_k$ を固定し、$a_j=MG_0(B_j)$、$\mathbf{P}=(P(B_1),\dots,P(B_k))$ とおく。示すことは $\mathbf{P}\sim\mathrm{Dir}(a_1,\dots,a_k)$ である。
段 1(質量 $0$ の集合を除く)。 $a_j=0$ なら $\Pr(Y_n\in B_j)=0$ なので、確率 $1$ で $P(B_j)=0$ で、$\mathrm{Dir}$ のその座標も $0$ である。$a_j=0$ の $B_j$ を $a_i>0$ の $B_i$ の 1 つに合わせても $\mathbf P$ の値は確率 $1$ で変わらないので、すべての $a_j>0$ と仮定してよい。$k=1$ なら両辺とも $1$ なので、$k\ge2$ とする。
段 2(分布の方程式)。 $\theta'_n=\theta_{n+1}$、$Y'_n=Y_{n+1}$ から同じ式で作ったランダム確率測度を $P'$ とすると、$p_{n+1}=(1-\theta_1)p'_n$ なので
$$ P=\theta_1\delta_{Y_1}+(1-\theta_1)P' $$
である。$P'$ は $P$ と同じ分布をもち、$(\theta_1,Y_1)$ と独立である。$D=(1_{\{Y_1\in B_1\}},\dots,1_{\{Y_1\in B_k\}})$ とおくと、$D$ は確率 $g_j:=a_j/M$ で $e_j$ をとり、
$$ \mathbf{P}\overset{d}{=}\theta D+(1-\theta)\mathbf{P}\qquad(\theta\sim\mathrm{Beta}(1,M)\text{、}\theta,D,\text{右辺の }\mathbf P\text{ は独立})\qquad(\ast) $$
が成り立つ。これは lem-dp-unique の $U=\theta D$、$W=1-\theta$ の場合で、$\Pr(W=1)=\Pr(\theta=0)=0$ である。
段 3(Dirichlet 分布は ($\ast$) を満たす)。 $V\sim\mathrm{Dir}(a)$ を $(\theta,D)$ と独立にとる。$D=e_j$ という条件のもとで、$\theta e_j+(1-\theta)V$ は、$U=e_j\sim\mathrm{Dir}(e_j)$($\gamma_0=1$)、$V\sim\mathrm{Dir}(a)$($\delta_0=M$)、$W=\theta\sim\mathrm{Beta}(1,M)$ についての prop-dp-dir の 4 により $\mathrm{Dir}(a+e_j)$ に従う。$D$ について平均すると、右辺の分布は密度
$$ \sum_{j=1}^kg_j\,f_{a+e_j}(x)=\sum_{j=1}^k\frac{a_j}{M}\cdot\frac{M}{a_j}x_jf_a(x)=f_a(x)\sum_{j=1}^kx_j=f_a(x) $$
をもつ(prop-dp-dir の 3)。よって $\mathrm{Dir}(a)$ は ($\ast$) を満たす。
段 4(一意性)。 段 2 により $\mathbf P$ の分布も ($\ast$) を満たすので、lem-dp-unique により $\mathbf{P}\sim\mathrm{Dir}(a)$ である。分割は任意だったので $P\sim\mathrm{DP}(M,G_0)$ である。$\alpha$ が与えられたら $M=\alpha(\mathcal X)$、$G_0=\alpha/M$ とすればよい。$\square$

確率 1 で離散

$P\sim\mathrm{DP}(M,G_0)$ は確率 $1$ で離散的な確率測度である。すなわち可算集合 $S$($P$ に依存する)で $P(S)=1$ となるものがある。$G_0$ が $\mathbb{R}$ 上で Lebesgue 測度に関して密度をもっても、$P$ は確率 $1$ で Lebesgue 測度に関して特異である。

原子の集合

分布は $\mathrm{DP}(M,G_0)$ で一意なので、棒折り構成の $P$ について示せばよい。$S=\{Y_1,Y_2,\dots\}$ とすると $P(S)=\sum_np_n=1$ である(lem-dp-weights)。$S$ は可算なので Lebesgue 測度は $0$ で、$P$ は特異である。(「確率 $1$ で離散」という事象が $\mathcal P$ の $\sigma$ 加法族で可測であることは、$\mathcal X$ が $\mathbb R$ のような標準 Borel 空間なら成り立つ。)$\square$

事後分布と予測

Bayes のモデルとして、$P\sim\mathrm{DP}(\alpha)$ を選び、$P$ が与えられたとき $X_1,\dots,X_n$ が独立に $P$ に従うとする。すなわち $(P,X_1,\dots,X_n)$ の同時分布を
$$ \Pr\bigl(P\in C,\ X_1\in A_1,\dots,X_n\in A_n\bigr)=E\bigl[1_C(P)\,P(A_1)\cdots P(A_n)\bigr] $$
で定める。$\delta_x$ は点 $x$ の単位質量、$\mathbb{X}=(X_1,\dots,X_n)$ と書く。

事後分布は Dirichlet 過程である

このモデルで、$\mathbb{X}=x=(x_1,\dots,x_n)$ が与えられたときの $P$ の条件付き分布は
$$ \mathrm{DP}\Bigl(\alpha+\sum_{i=1}^n\delta_{x_i}\Bigr) $$
である。正確には、$x\mapsto K(x)=\mathrm{DP}(\alpha+\sum_i\delta_{x_i})$ は $\mathbb X$ が与えられたときの $P$ の正則条件付き分布である。また、可測分割 $B_1,\dots,B_k$ と $a_j=\alpha(B_j)$ について、$\mathbb X$ の各点が入る集合を $B_{j_1},\dots,B_{j_n}$ と指定する確率は、$c_j=\#\{i:j_i=j\}$ とおくと
$$ \Pr\bigl(X_1\in B_{j_1},\dots,X_n\in B_{j_n}\bigr)=\frac{\prod_{j=1}^ka_j(a_j+1)\cdots(a_j+c_j-1)}{M(M+1)\cdots(M+n-1)}\qquad(M=\alpha(\mathcal X)) $$
である($c_j=0$ の因子は $1$)。

Dirichlet 分布の密度に単項式を掛ける

段 1(確かめる式)。 可測分割 $B_1,\dots,B_k$ と有界可測関数 $g\colon\Delta_k\to\mathbb{R}$ について $\mathbf{P}=(P(B_1),\dots,P(B_k))$ とおく。示すべきことは、可測な $D_1,\dots,D_n\subset\mathcal{X}$ について
$$ E\bigl[g(\mathbf P)\,1_{\{X_1\in D_1,\dots,X_n\in D_n\}}\bigr]=E\Bigl[\int g\,d\mathrm{Dir}\bigl(\textstyle a+c(\mathbb X)\bigr)\,1_{\{X_1\in D_1,\dots,X_n\in D_n\}}\Bigr]\qquad(1) $$
である。ここで $c(x)_j=\#\{i:x_i\in B_j\}$ で、右辺の積分は $K(\mathbb X)$ のもとでの $g(Q(B_1),\dots,Q(B_k))$ の期待値である($(\alpha+\sum_i\delta_{x_i})(B_j)=a_j+c(x)_j$ による)。両辺は $D=D_1\times\cdots\times D_n$ の測度なので、直積の集合で確かめれば、Dynkinのπ-λ定理 により $\mathcal X^n$ のすべての可測集合に広がる。$g(Q(B_1),\dots,Q(B_k))$ の形の関数は $\mathcal P$ 上の分布を決めるので(def-dp-main の後の注意)、これで $K$ が正則条件付き分布であることが従う。$x\mapsto K(x)(C)$ の可測性も、$C$ が分割の確率で決まる集合なら $x$ の各点の入る集合ごとに定数であることから、同じ議論で従う。
段 2(細分)。 $B_j$ と $D_i$、その補集合の共通部分で分割を細かくし、$g$ を細かい分割のベクトルの関数(座標の和をとってから $g$ を当てる)と見ると、各 $D_i$ は分割の集合の和としてよい。$1_{\{X_i\in D_i\}}$ を分割の集合ごとの和に分けると、$D_i$ がそれぞれ 1 つの集合 $B_{j_i}$ の場合に示せばよい。$a_j=0$ の $B_j$ には確率 $1$ で $P$ の質量も観測もないので、すべての $a_j>0$ としてよい。
段 3(計算)。 $D_i=B_{j_i}$ とし、$c_j=\#\{i:j_i=j\}$ とおく。この事象の上で $c(\mathbb X)=c$ は定数なので、(1) の右辺は $\Pr(\mathbb X\in D)\int g\,d\mathrm{Dir}(a+c)$ である。左辺は、同時分布の定義と $\mathbf P\sim\mathrm{Dir}(a)$ から
$$ E\Bigl[g(\mathbf P)\prod_{i=1}^nP(B_{j_i})\Bigr]=\int g(x)\prod_{j=1}^kx_j^{c_j}f_a(x)\,dx $$
である。prop-dp-dir の 3 を $n$ 回使う(あるいは $\Gamma$ 関数の比を直接比べる)と
$$ \prod_jx_j^{c_j}f_a(x)=\kappa\,f_{a+c}(x),\qquad \kappa=\frac{\Gamma(M)}{\Gamma(M+n)}\prod_j\frac{\Gamma(a_j+c_j)}{\Gamma(a_j)} $$
なので、左辺は $\kappa\int g\,d\mathrm{Dir}(a+c)$ である。$g=1$ とおくと $\Pr(\mathbb X\in D)=\kappa$ で、これは主張の積の式と等しい($\Gamma(a+c)/\Gamma(a)=a(a+1)\cdots(a+c-1)$)。よって (1) の両辺は等しい。$\square$

観測の値は事後分布に「点の質量 $1$」として加わる。$M$ は事前分布がもつ仮想の観測の数のように働く。

予測分布(一般化した Pólya の壺)

上のモデルで、$A\in\mathcal{A}$ について
$$ \Pr\bigl(X_{n+1}\in A\mid X_1,\dots,X_n\bigr)=\frac{\alpha(A)+\sum_{i=1}^n\delta_{X_i}(A)}{M+n}=\frac{M}{M+n}G_0(A)+\frac{n}{M+n}\cdot\frac{\#\{i\le n:X_i\in A\}}{n}. $$
すなわち、次の観測は確率 $\frac{M}{M+n}$ で $G_0$ から選ばれ、残りの確率では $X_1,\dots,X_n$ の 1 つを確率 $\frac{1}{M+n}$ ずつ選んでその値になる。
要点:予測確率は事後分布のもとでの $P(A)$ の平均である。

証明を開く

$X_{n+1}$ は $(P,X_1,\dots,X_n)$ のもとで $P$ に従うので、$\Pr(X_{n+1}\in A\mid \mathbb X)=E[P(A)\mid\mathbb X]$ である。thm-dp-posterior により事後分布は $\mathrm{DP}(\alpha+\sum_i\delta_{X_i})$ で、その全質量は $M+n$ なので、prop-dp-moments の平均の式から主張を得る。$\square$

$\mathcal X=\{\text{赤},\text{白}\}$、$\alpha=r\delta_{\text{赤}}+w\delta_{\text{白}}$ のとき、この規則は Pólyaの壺 で毎回取り出した色の玉を 1 個足す場合そのものである。
観測の空間が標準 Borel 空間で $G_0$ が原子をもたないときは、値が一致する観測どうしをまとめた番号の分割だけを見ると、パラメータ $M$ の 中華料理店過程 になる(その記事の命題「値の一致による分割」)。
事後平均 $E[P(A)\mid\mathbb X]$ は基底分布 $G_0(A)$ と経験分布 $\frac1n\#\{i:X_i\in A\}$ の重み付き平均で、重みは $M:n$ である。$X_1,X_2,\dots$ が実際には固定した分布 $F$ から独立に得られるなら、大数の強法則 により事後平均は確率 $1$ で $F(A)$ に収束し、事後分散は $\frac{1}{4(M+n+1)}$ 以下なので $0$ に収束する。

異なる値の個数

$\mathcal X$ は $\mathbb R$ のような標準 Borel 空間とし、$G_0$ は原子をもたない(すべての $x$ で $G_0(\{x\})=0$)とする。$X_1,\dots,X_n$ の中の異なる値の個数を $K_n$ とし、$N_i$ を「$X_i$ が $X_1,\dots,X_{i-1}$ のどれとも異なる」という事象の指示関数とする。このとき $N_1,\dots,N_n$ は独立で $\Pr(N_i=1)=\frac{M}{M+i-1}$ であり、
$$ E[K_n]=\sum_{i=1}^n\frac{M}{M+i-1},\qquad \operatorname{Var}(K_n)=\sum_{i=1}^n\frac{M(i-1)}{(M+i-1)^2}, $$
$$ M\log\Bigl(1+\frac nM\Bigr)\le E[K_n]\le 1+M\log\Bigl(1+\frac{n-1}M\Bigr). $$
要点:新しい値が出る条件付き確率が過去によらない定数になる。

証明を開く

$A_i=\mathcal X\setminus\{X_1,\dots,X_{i-1}\}$ とおく。cor-dp-predictive を $n=i-1$ で使うと($A_i$ は $X_1,\dots,X_{i-1}$ に依存するが、それらを固定して同じ計算ができる)、$\Pr(N_i=1\mid X_1,\dots,X_{i-1})=\frac{MG_0(A_i)+\#\{m< i:X_m\in A_i\}}{M+i-1}=\frac{M}{M+i-1}$ である。有限集合の $G_0$ 測度は $0$ なので $G_0(A_i)=1$、$X_m\notin A_i$ なので第 2 項は $0$ だからである。条件付き確率が過去によらない定数 $q_i$ なので、$N_1,\dots,N_{i-1}$ の値のどの組 $\epsilon$ についても $\Pr(N_i=1,\ (N_1,\dots,N_{i-1})=\epsilon)=q_i\Pr((N_1,\dots,N_{i-1})=\epsilon)$ となり、帰納法で $N_1,\dots,N_n$ は独立である。$K_n=\sum_iN_i$ から期待値と分散($q_i(1-q_i)=\frac{M(i-1)}{(M+i-1)^2}$)を得る。最後に、$t\mapsto\frac{M}{M+t}$ は減少関数なので $\int_0^{n}\frac{M}{M+t}\,dt\le\sum_{i=1}^n\frac{M}{M+i-1}\le1+\int_0^{n-1}\frac{M}{M+t}\,dt$ で、積分は $M\log(1+\frac nM)$、$M\log(1+\frac{n-1}M)$ である。$\square$

$K_n$ は $n$ の対数の速さでしか増えない。値が「群れ」にまとまるこの性質が、Dirichlet 過程をクラスタリングの事前分布に使う理由である。

公式の表

$P\sim\mathrm{DP}(M,G_0)$、$0< M< \infty$、観測 $X_1,\dots,X_n$ は $P$ のもとで独立に $P$ に従うとする。$F_n(A)=\frac1n\#\{i:X_i\in A\}$ は経験分布である。

量式条件根拠
$(P(B_1),\dots,P(B_k))$$\mathrm{Dir}(MG_0(B_1),\dots,MG_0(B_k))$可測分割def-dp-main
$P(A)$ の分布$\mathrm{Beta}(MG_0(A),M(1-G_0(A)))$$0< G_0(A)<1$prop-dp-moments
$E[P(A)]$、$\operatorname{Var}P(A)$$G_0(A)$、$\frac{G_0(A)(1-G_0(A))}{M+1}$prop-dp-moments
事後分布$\mathrm{DP}(M+n,\ \frac{MG_0+nF_n}{M+n})$thm-dp-posterior
予測 $\Pr(X_{n+1}\in A\mid X_{1:n})$$\frac{MG_0(A)+nF_n(A)}{M+n}$cor-dp-predictive
異なる値の個数の期待値$\sum_{i=1}^n\frac{M}{M+i-1}\approx M\log(1+\frac nM)$$G_0$ に原子がないprop-dp-clusters
棒折りの重み $E[p_j]$$\frac{M^{j-1}}{(M+1)^j}$lem-dp-weights(独立性)
打ち切りの残り $E[1-\sum_{n\le N}p_n]$$(\frac{M}{M+1})^N$lem-dp-weights

計算の手順

事後の計算と見本の生成は次の順に行う。

  1. 集中度 $M$ と基底分布 $G_0$ を決める。$M$ は「事前分布を何個ぶんの観測とみなすか」の目安である。
  2. 観測 $x_1,\dots,x_n$ から事後のパラメータ $M+n$ と $\frac{MG_0+nF_n}{M+n}$ を作る(thm-dp-posterior)。
  3. 知りたい集合 $A$ について、事後の $P(A)$ は $\mathrm{Beta}(MG_0(A)+nF_n(A),\ M+n-MG_0(A)-nF_n(A))$ で、平均・分散・信用区間を Beta 分布で計算する。
  4. 見本の $P$ が要るときは棒折り構成を $N$ 本で打ち切る。残りの重みの期待値を $\varepsilon$ 以下にするには $N\ge\log\varepsilon/\log\frac{M}{M+1}$ とする(lem-dp-weights)。観測の列だけが要るときは cor-dp-predictive の壺の規則で順に生成する(打ち切りの誤差はない)。

例題

事後平均と事後分散

$M=2$、$G_0=N(0,1)$、観測 $-0.5,\ 0.3,\ 1.2$。$A=(-\infty,0]$ と $(-\infty,1]$ の事後平均。
使う公式:thm-dp-posterior、prop-dp-moments。
答え:$A=(-\infty,0]$ で事後平均 $\frac{2\cdot0.5+1}{5}=0.4$、事後分散 $\frac{0.4\cdot0.6}{6}=0.04$(事前の分散は $\frac{0.25}{3}\approx0.08333$)。$(-\infty,1]$ では $\frac{2\Phi(1)+2}{5}\approx0.73654$。

途中の計算を開く

$G_0(A)=\Phi(0)=0.5$、$A$ に入る観測は $-0.5$ の 1 個。事後は $\mathrm{DP}(5,\cdot)$ で $P(A)\sim\mathrm{Beta}(2,3)$。事前の $P(A)\sim\mathrm{Beta}(1,1)$(一様)なので $\Pr(P(A)>0.9)=0.1$、事後では $\Pr(P(A)>0.9)\approx0.0037$。$\Phi(1)\approx0.841345$ で、$(-\infty,1]$ に入る観測は 2 個。

群れの数

$G_0$ は原子をもたないとする。(a) $M=1$、$n=3$ の $K_3$ の分布。(b) $M=1$、$n=10$ と $M=5$、$n=100$ の $E[K_n]$。
使う公式:prop-dp-clusters。
答え:(a) $\Pr(K_3=1)=\frac13$、$\Pr(K_3=2)=\frac12$、$\Pr(K_3=3)=\frac16$、$E[K_3]=\frac{11}6$。(b) $E[K_{10}]=1+\frac12+\cdots+\frac1{10}\approx2.92897$(分散 $\approx1.37920$)、$E[K_{100}]\approx15.7154$(分散 $\approx10.4215$)。

途中の計算を開く

(a) 新しい値の確率は $1,\frac12,\frac13$ で独立。全部同じ:$1\cdot\frac12\cdot\frac23=\frac13$。全部異なる:$1\cdot\frac12\cdot\frac13=\frac16$。(b) $M=5$ の下界と上界は $5\log21\approx15.2226$、$1+5\log(104/5)\approx16.1748$。

打ち切りの本数

残りの重みの期待値を $\varepsilon$ 以下にする最小の $N$。
使う公式:lem-dp-weights。
答え:$M=1$、$\varepsilon=0.01$ で $N=7$($0.5^7\approx0.00781$)。$M=5$、$\varepsilon=0.01$ で $N=26$($(5/6)^{26}\approx0.00874$)。$M=10$、$\varepsilon=0.001$ で $N=73$。

使える条件と反例

各行は条件を 1 つだけ外す。

外す条件例成り立たなくなること
$\alpha$ が有限(def-dp-main)$\alpha$ が $\mathbb{R}$ の Lebesgue 測度$\alpha(B)=\infty$ の集合があり $\mathrm{Dir}$ のパラメータが定まらない。棒折りの $\mathrm{Beta}(1,\infty)$ も定まらない
$\alpha(\mathcal X)>0$$\alpha=0$$\mathrm{Dir}(0,\dots,0)$ は定義されない($S=0$)
観測が $P$ から直接得られる(thm-dp-posterior)$\mathcal X=\{0,1\}$、$\alpha=\delta_0+\delta_1$、$Z\sim P$ に確率 $\frac14$ で反転する雑音を加えた $X$ を観測$X=0$ のもとで $q=P(\{0\})$ の事後密度は $\frac{1+2q}{2}$ で、Beta 密度の形でないので事後は Dirichlet 過程でない
$G_0$ に原子がない(prop-dp-clusters)$G_0=\delta_0$すべての $X_i=0$ で $K_n=1$。公式は $n\ge2$ で $1$ より大きい
重みが独立な $\mathrm{Beta}(1,M)$(thm-dp-stick)$\theta_n=\frac12$ に固定、$G_0(A)=\frac14$$P(A)=\sum_n2^{-n}B_n$($B_n$ は独立な $\mathrm{Bern}(\frac14)$)で、平均 $\frac14$・分散 $\frac1{16}$ は $M=2$ と同じだが、分布は Lebesgue 測度に関して特異で Beta 分布でない
反例の確かめ

雑音の例:$\Pr(X=0\mid q)=\frac34q+\frac14(1-q)=\frac{1+2q}4$、事前密度は $1$ なので事後密度は $\frac{1+2q}{2}$。$q=0$ で正、1 次式なので $q^{a-1}(1-q)^{b-1}$ の定数倍にならない。重みの例:$P(A)$ の 2 進展開の桁は独立な $\mathrm{Bern}(\frac14)$ で、大数の強法則 により確率 $1$ で桁の 1 の割合が $\frac14$。一様分布では確率 $1$ で $\frac12$ なので、2 つの分布は互いに特異である。

よくある誤り

誤り正しくはなぜ
$G_0$ が連続なら $P$ も連続な分布$P$ は確率 $1$ で離散cor-dp-discrete
$M$ が大きいほど $P$ はばらつく$M$ が大きいほど $P$ は $G_0$ に近い分散が $\frac1{M+1}$ に比例する(prop-dp-moments)
新しい値の確率を $\frac Mn$ とする$\frac{M}{M+n}$cor-dp-predictive
棒折りの $\theta$ を $\mathrm{Beta}(M,1)$ にする$\mathrm{Beta}(1,M)$。$E[p_1]=\frac1{M+1}$$\mathrm{Beta}(M,1)$ だと $E[p_1]=\frac M{M+1}$ で小さい $M$ と大きい $M$ の役割が逆になる
事後の基底分布を $G_0$ のままにする$\frac{MG_0+nF_n}{M+n}$thm-dp-posterior

補足

離散性のため、連続な分布の推定には $P$ の原子ごとに密度の核を置いた Dirichlet 過程混合モデル を使う(Markov連鎖モンテカルロ法 で計算する)。Dirichlet 過程は Ferguson が 1973 年に Kolmogorov の拡張定理を使って定義し、Blackwell と MacQueen が壺の規則による構成を与えた(Set94 pp. 640–641)。棒折り構成による存在と事後分布の証明は Set94 Theorem 3.4(p. 645)、Theorem 4.3(p. 646)にある。壺の規則による予測は Mac03 §18.2(p. 263、式 (18.11)–(18.12))、Dirichlet 分布は Mac03 §23.5(p. 316)にある。

関連項目

参考文献

[1]
Jayaram Sethuraman, A Constructive Definition of Dirichlet Priors, Statistica Sinica 4 (1994), 639–650, 1994, §1(pp. 640–641)、Lemma 3.1–3.3(p. 644)、Theorem 3.4(p. 645)、Theorem 4.3(p. 646)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する