混合Gaussモデル

同義語:ガウス混合モデル混合正規分布正規混合モデルGaussian mixture model

概要

混合Gaussモデル(Gaussian mixture model)とは、いくつかの正規分布 $N_d(\mu_k,\Sigma_k)$ を正の重み $\pi_k$ で足し合わせた密度 $\sum_k\pi_k\varphi_d(x;\mu_k,\Sigma_k)$ からなる統計モデルである。観測されない群の番号を潜在変数とみると、データの各点がどの成分から来たかの条件付き確率(責任)が Bayes の定理で求まり、クラスタリングに使える。正規密度の族が線形独立であることから、分布は成分の並べ替えを除いて母数を決める(識別可能性)。一方、成分が 2 つ以上あると尤度は上に有界でないので、推定は分散に下限を置くか EM アルゴリズムでよい局所的な極大を探して行い、成分を増やせばどの密度も $L^1$ で近似できる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 多変量正規分布, 最尤推定, Bayesの定理, EMアルゴリズム

ある集団の身長を測ると、ヒストグラムに山が 2 つ現れることがある。全体を 1 つの 正規分布 で表すのは無理だが、「性別ごとには正規分布で、どちらの人を測ったかは記録していない」と考えれば自然に説明できる。いくつかの正規分布を重みを付けて足し合わせた分布を 混合 Gauss モデル(Gaussian mixture model、GMM)という。データの背後に見えない「群の番号」があるという考え方は、クラスタリング、密度の推定、音声や画像の統計モデルの基礎になっている。
この記事では、混合 Gauss モデルを定義し、主定理として 識別可能性(分布が成分の並べ替えを除いて母数を決めること)を証明する。さらに、尤度が上に有界でないために最尤推定がそのままでは意味をもたないこと、2 成分の混合がいつ 2 つの山をもつか、分散を $0$ に近づけた極限が k平均法 になること、どんな密度も混合 Gauss モデルで近似できることを示す。推定の手順そのものは EMアルゴリズム にあり、ここでは多次元の更新式だけを述べる。

定義

$\varphi_d(x;\mu,\Sigma)$ を $d$ 次元の正規分布 $N_d(\mu,\Sigma)$ の密度とする($\Sigma$ は正定値)。$d=1$ では $\varphi(x;\mu,\sigma^2)$ と書く。

混合 Gauss モデル

$K\ge1$ とする。$\pi_1,\dots,\pi_K>0$、$\sum_k\pi_k=1$、$\mu_k\in\mathbb R^d$、$\Sigma_k$ は $d\times d$ の正定値対称行列で、組 $(\mu_k,\Sigma_k)$ は互いに異なるとする。$\theta=(\pi_k,\mu_k,\Sigma_k)_{k=1}^K$ について
$$ f(x;\theta):=\sum_{k=1}^K\pi_k\,\varphi_d(x;\mu_k,\Sigma_k)\qquad(x\in\mathbb R^d) $$
を密度とする分布を、成分数 $K$ の 混合 Gauss 分布 といい、$K$ を固定してこの形の分布全体を母数 $\theta$ で表したものを 混合 Gauss モデル という。$\pi_k$ を 混合の重み、$N_d(\mu_k,\Sigma_k)$ を 成分 という。

混合 Gauss 分布は次の 2 段の仕組みで生成できる。まず $\{1,\dots,K\}$ に値をとる確率変数 $Z$ を $P(Z=k)=\pi_k$ で選び、$Z=k$ のもとで $X\sim N_d(\mu_k,\Sigma_k)$ とする。このとき $X$ の密度はちょうど $f(x;\theta)$ である。$Z$ は観測されない 潜在変数 で、データ $x$ を見たあとの $Z$ の条件付き分布は Bayesの定理 により
$$ \gamma_k(x):=P(Z=k\mid X=x)=\frac{\pi_k\varphi_d(x;\mu_k,\Sigma_k)}{\sum_{j=1}^K\pi_j\varphi_d(x;\mu_j,\Sigma_j)} $$
である。$\gamma_k(x)$ を点 $x$ に対する成分 $k$ の 責任(responsibility)という。$\gamma_k(x)$ が最大の $k$ に $x$ を割り当てれば、データを $K$ 個の群に分けられる。
平均と共分散は、$Z$ で条件付けて計算すると
$$ E[X]=\sum_k\pi_k\mu_k=:\bar\mu,\qquad\operatorname{Cov}(X)=\sum_k\pi_k\Sigma_k+\sum_k\pi_k(\mu_k-\bar\mu)(\mu_k-\bar\mu)^{\top} $$
である(全分散の公式:群の中の散らばりと、群の平均の散らばりの和)。

公式の表

量式条件根拠
密度$\sum_k\pi_k\varphi_d(x;\mu_k,\Sigma_k)$$\pi_k>0$、$\Sigma_k$ 正定値def-gmm-main
責任$\gamma_k(x)=\pi_k\varphi_d(x;\mu_k,\Sigma_k)/f(x;\theta)$Bayes の定理
平均・共分散$\bar\mu=\sum\pi_k\mu_k$、$\sum\pi_k\Sigma_k+\sum\pi_k(\mu_k-\bar\mu)(\mu_k-\bar\mu)^{\top}$全分散の公式
識別可能性同じ密度なら $K$ が等しく、母数は成分の並べ替えを除いて一致成分が互いに異なり重みが正thm-gmm-identifiable
尤度$\sup_\theta\prod_if(x_i;\theta)=+\infty$$K\ge2$prop-gmm-unbounded
2 つの山$\frac12\varphi(x;-a,1)+\frac12\varphi(x;a,1)$ が 2 峰 $\iff a>1$prop-gmm-bimodal
EM の更新$\pi_k'=\frac{N_k}n$、$\mu_k'=\frac1{N_k}\sum_i\gamma_{ik}x_i$、$\Sigma_k'=\frac1{N_k}\sum_i\gamma_{ik}(x_i-\mu_k')(x_i-\mu_k')^{\top}$$\Sigma_k'$ が正定値prop-gmm-em
分散 $\to0$責任 $\to$ 最も近い平均への割り当て共通の $\sigma^2I$、最も近い平均が 1 つprop-gmm-kmeans
近似どの密度も $L^1$ で混合 Gauss 密度により近似できるthm-gmm-dense

主定理:識別可能性

統計モデルで母数を推定するには、異なる母数が異なる分布を与えなければならない。混合 Gauss モデルでは成分の番号を付け替えても分布は変わらないので、言えるのは「並べ替えを除いて」の一意性である。

正規密度の線形独立性

$(m_1,s_1^2),\dots,(m_J,s_J^2)$ を互いに異なる $\mathbb R\times(0,\infty)$ の点とし、$c_1,\dots,c_J\in\mathbb R$ とする。すべての $x\in\mathbb R$ で $\sum_{j=1}^Jc_j\varphi(x;m_j,s_j^2)=0$ なら、$c_1=\cdots=c_J=0$ である。

$x\to\infty$ で最も遅く減る項を取り出す

$J$ についての帰納法で示す。$J=1$ は $\varphi>0$ から明らか。$J\ge2$ とし、$s_j$ が最大のものの中で $m_j$ が最大の添字を $j^*$ とする(組が互いに異なるのでただ 1 つに決まる)。$j\ne j^*$ について
$$ \log\frac{\varphi(x;m_j,s_j^2)}{\varphi(x;m_{j^*},s_{j^*}^2)}=\Bigl(\frac1{2s_{j^*}^2}-\frac1{2s_j^2}\Bigr)x^2+\Bigl(\frac{m_j}{s_j^2}-\frac{m_{j^*}}{s_{j^*}^2}\Bigr)x+(\text{定数}) $$
である。$s_j< s_{j^*}$ なら $x^2$ の係数が負、$s_j=s_{j^*}$ なら $m_j< m_{j^*}$ で $x^2$ の係数が $0$、$x$ の係数が負である。どちらでも $x\to+\infty$ で右辺は $-\infty$ に行き、比は $0$ に近づく。仮定の式を $\varphi(x;m_{j^*},s_{j^*}^2)$ で割って $x\to+\infty$ とすれば $c_{j^*}=0$ を得る。残りの $J-1$ 項に帰納法の仮定を使う。$\square$

混合 Gauss モデルの識別可能性

$\theta=(\pi_k,\mu_k,\Sigma_k)_{k=1}^K$ と $\theta'=(\pi'_l,\mu'_l,\Sigma'_l)_{l=1}^{K'}$ を def-gmm-main の条件を満たす母数とする。ほとんどすべての $x\in\mathbb R^d$ で $f(x;\theta)=f(x;\theta')$ なら、$K=K'$ であり、$\{1,\dots,K\}$ の置換 $\tau$ があって、すべての $k$ で
$$ \pi'_{\tau(k)}=\pi_k,\qquad\mu'_{\tau(k)}=\mu_k,\qquad\Sigma'_{\tau(k)}=\Sigma_k $$
となる。

1 次元へ射影して線形独立性を使う

射影の方向を選ぶ。 両方の母数に現れる組 $(\mu,\Sigma)$ を集めた有限集合を $\mathcal P$ とする。$\mathcal P$ の異なる 2 元 $(\mu,\Sigma)\ne(\nu,T)$ について、
$$ B:=\{v\in\mathbb R^d\mid v^{\top}\mu=v^{\top}\nu,\ v^{\top}\Sigma v=v^{\top}Tv\} $$
は Lebesgue 測度 $0$ である。実際、$\mu\ne\nu$ なら $B$ は超平面 $v^{\top}(\mu-\nu)=0$ に含まれ、$\mu=\nu$ なら $\Sigma-T\ne0$ で、$B$ は $0$ でない 2 次形式 $v^{\top}(\Sigma-T)v$ の零点集合である($0$ でない多項式の零点集合は測度 $0$)。有限個の $B$ の和集合の外に $v$ をとれば、写像 $(\mu,\Sigma)\mapsto(v^{\top}\mu,\ v^{\top}\Sigma v)$ は $\mathcal P$ の上で単射で、$v\ne0$ だから $v^{\top}\Sigma v>0$ である。
1 次元の等式。 密度がほとんど至るところ等しいので、$X\sim f(\cdot;\theta)$ と $X'\sim f(\cdot;\theta')$ は同じ分布に従い、$v^{\top}X$ と $v^{\top}X'$ も同じ分布に従う。$Z=k$ のもとで $v^{\top}X\sim N(v^{\top}\mu_k,\ v^{\top}\Sigma_kv)$(多変量正規分布 の線形変換)なので、$v^{\top}X$ の密度は $\sum_k\pi_k\varphi(t;v^{\top}\mu_k,v^{\top}\Sigma_kv)$ である。2 つの連続な密度がほとんど至るところ等しいので、すべての $t\in\mathbb R$ で
$$ \sum_{k=1}^K\pi_k\varphi(t;v^{\top}\mu_k,v^{\top}\Sigma_kv)-\sum_{l=1}^{K'}\pi'_l\varphi(t;v^{\top}\mu'_l,v^{\top}\Sigma'_lv)=0 $$
である。
係数の比較。 射影が $\mathcal P$ の上で単射なので、この式に現れる 1 次元の組が等しいのは元の組が等しいときに限る。同じ組の項をまとめると、各 $(\mu,\Sigma)\in\mathcal P$ の係数は、左だけに現れれば $\pi_k$、右だけなら $-\pi'_l$、両方なら $\pi_k-\pi'_l$ である(各辺の中では組は互いに異なる)。lem-gmm-independent によりすべての係数は $0$ である。重みは正なので、左の組はどれも右に現れ、右の組もどれも左に現れ、重みは等しい。これは $K=K'$ と置換 $\tau$ の存在を意味する。$\square$

この証明が示すのは、正規密度の族が 線形独立 であることが識別可能性の核心だということである。逆に、ある分布の族で非自明な線形関係 $\sum_jc_jg_j=0$ があれば、$c_j>0$ の項と $c_j< 0$ の項に分けて正規化することで、異なる 2 つの混合が同じ分布になる(ex-gmm-nonidentifiable)。
識別可能性は「並べ替え」を除いてしか成り立たないので、尤度関数には $K!$ 個の同じ値の極大点が並ぶ(Bis06 §9.2.1、pp. 434–435)。推定値の各成分を解釈するときは、番号ではなく平均の大小などで成分を区別する。

尤度は上に有界でない

尤度の非有界性

$K\ge2$ とし、データ $x_1,\dots,x_n\in\mathbb R^d$ を任意にとる。混合 Gauss モデルの尤度 $L(\theta)=\prod_{i=1}^nf(x_i;\theta)$ について $\sup_\theta L(\theta)=+\infty$ であり、最尤推定値は存在しない。一方、各 $\Sigma_k$ の固有値が $c>0$ 以上であるという制限をつけると $L(\theta)\le(2\pi c)^{-nd/2}$ で、上に有界になる。

1 つの成分をデータ点に縮める

$\mu_1:=x_1$、$\Sigma_1:=\varepsilon I$、$\pi_1=\pi_2=\cdots$ を正の定数とし、成分 $2,\dots,K$ は $\varepsilon$ によらない互いに異なる正規分布に固定する。$g(x):=\sum_{k\ge2}\pi_k\varphi_d(x;\mu_k,\Sigma_k)>0$ とおくと
$$ L(\theta)\ \ge\ \pi_1\varphi_d(x_1;x_1,\varepsilon I)\prod_{i\ge2}g(x_i)=\frac{\pi_1}{(2\pi\varepsilon)^{d/2}}\prod_{i\ge2}g(x_i) $$
で、$\varepsilon\to0$ のとき右辺は $+\infty$ に発散する。固有値の下限 $c$ があれば $\det\Sigma_k\ge c^d$ なので $\varphi_d(x;\mu_k,\Sigma_k)\le(2\pi)^{-d/2}(\det\Sigma_k)^{-1/2}\le(2\pi c)^{-d/2}$ で、$f\le(2\pi c)^{-d/2}$ である。$\square$

成分数が $1$ なら、データが $d+1$ 個以上あって 1 つのアフィン超平面に乗っていないとき(このとき標本共分散は正定値である)、尤度は標本平均と($n$ で割った)標本共分散で最大になる(prop-gmm-em で $K=1$、$\gamma_{i1}=1$ とした場合)。成分が 2 つ以上あると、1 つの成分が 1 点に「崩壊」して尤度をいくらでも大きくできる(ESL17 §8.5.1、p. 274、Bis06 §9.2.1、pp. 433–434)。実際の推定では、分散の下限、事前分布(MAP 推定)、または「よい局所的な極大」を EMアルゴリズム で探すという方針をとる。1 次元の数値例は EMアルゴリズム の反例の表にある。

分布の形

混合 Gauss 分布の密度は、成分の山が離れていれば山を複数もつが、近ければ 1 つの山に融ける。最も簡単な場合に境目を正確に求める。

2 つの山になる条件

$a>0$ について $f_a(x):=\frac12\varphi(x;-a,1)+\frac12\varphi(x;a,1)$ とする。$a\le1$ なら $f_a$ は $x=0$ でだけ最大となり、$(-\infty,0]$ で増加、$[0,\infty)$ で減少する(単峰)。$a>1$ なら $x=0$ は狭義の極小点で、$f_a$ は 2 つの極大点 $\pm x_a$($x_a>0$)をもつ。

導関数の符号を $\tanh$ と比べる

$f_a$ は偶関数なので $x>0$ で考える。$\varphi'(t;m,1)=-(t-m)\varphi(t;m,1)$ と $\varphi(x;-a,1)=\varphi(x;a,1)e^{-2ax}$ から
$$ f_a'(x)=-\frac12\varphi(x;a,1)\Bigl[(x-a)+(x+a)e^{-2ax}\Bigr] $$
であり、$f_a'(x)< 0\iff x(1+e^{-2ax})>a(1-e^{-2ax})\iff\frac xa>\tanh(ax)$ である。$x>0$ で $\tanh(ax)< ax$ なので、$a\le1$ なら $\tanh(ax)< ax\le\frac xa$ で、$x>0$ のすべてで $f_a'< 0$ である。$a>1$ なら、$x\to0$ で $\tanh(ax)/x\to a>\frac1a$ なので小さい $x>0$ では $f_a'>0$ で、$x=0$ は極小点である。一方 $x\ge a$ では $\tanh(ax)< 1\le\frac xa$ で $f_a'< 0$。$\frac{\tanh(ax)}x$ は $x>0$ で狭義減少なので、$\frac xa=\tanh(ax)$ の正の解はただ 1 つで、それが $x_a$ である。$\square$

2 つの成分の平均の差は $2a$、標準偏差は $1$ なので、等しい重みと等しい分散の 2 成分の混合は「平均の差が標準偏差の 2 倍を超えるとき、そしてそのときに限り」2 峰になる。山が 1 つに見えても混合でないとは言えないこと、逆に山の数で成分数を決めてはいけないことが分かる。

推定:EM アルゴリズムの更新式

データ $x_1,\dots,x_n\in\mathbb R^d$ から $\theta$ を推定するには、EMアルゴリズム で潜在変数 $Z_i$ を補う。E ステップで責任 $\gamma_{ik}:=\gamma_k(x_i)$ を現在の $\theta$ で計算し、M ステップで次を求める。

多次元の M ステップ

$N_k:=\sum_i\gamma_{ik}>0$、$\mu_k':=\frac1{N_k}\sum_i\gamma_{ik}x_i$、$S_k:=\frac1{N_k}\sum_i\gamma_{ik}(x_i-\mu_k')(x_i-\mu_k')^{\top}$ とし、$S_k$ は正定値とする。$Q(\theta'):=\sum_i\sum_k\gamma_{ik}\log\bigl(\pi'_k\varphi_d(x_i;\mu'_k,\Sigma'_k)\bigr)$ の最大点はただ 1 つで、$\pi'_k=\frac{N_k}n$、$\mu'_k$ は上の式、$\Sigma'_k=S_k$ である。

要点:重みの部分は EMアルゴリズム の命題「正規混合の EM の更新式」と同じで、成分ごとの部分は $\log\det$ と跡の不等式に帰着する。

詳しい証明を開く

$Q$ は $\pi'$ だけの項 $\sum_kN_k\log\pi'_k$ と、成分ごとの項 $q_k(\mu,\Sigma):=-\frac{N_k}2\log\det(2\pi\Sigma)-\frac12\sum_i\gamma_{ik}(x_i-\mu)^{\top}\Sigma^{-1}(x_i-\mu)$ の和である。前者の最大点が $\pi'_k=N_k/n$ であることは 1 次元の場合と同じ。後者では $\sum_i\gamma_{ik}(x_i-\mu)^{\top}\Sigma^{-1}(x_i-\mu)=N_k\operatorname{tr}(\Sigma^{-1}S_k)+N_k(\mu_k'-\mu)^{\top}\Sigma^{-1}(\mu_k'-\mu)$ なので、どの $\Sigma$ でも $\mu=\mu_k'$ でだけ最大になる。残りは $\frac{N_k}2\bigl(\log\det P-\operatorname{tr}(PS_k)\bigr)$($P:=\Sigma^{-1}$)の最大化である。$M:=S_k^{1/2}PS_k^{1/2}$ の固有値を $\lambda_1,\dots,\lambda_d>0$ とすると、$\log\det P-\operatorname{tr}(PS_k)=\sum_j(\log\lambda_j-\lambda_j)-\log\det S_k$ で、$\log\lambda-\lambda$ は $\lambda=1$ でだけ最大なので、最大点は $M=I$、すなわち $\Sigma=S_k$ だけである。$\square$

反復で尤度が減らないことは EMアルゴリズム の主定理「EM アルゴリズムの単調性」による(Bis06 §9.2.2、pp. 435–439 も同じ更新式を与える)。$S_k$ が正定値でなくなるのは、責任が少数の点に集中したときで、prop-gmm-unbounded の崩壊に向かっている合図である。

分散を小さくした極限

分散を $0$ に近づけた極限

すべての成分の共分散を $\sigma^2I$、重みを $\frac1K$ とする。点 $x$ に最も近い平均 $\mu_{k^*}$ がただ 1 つなら、$\sigma\to0$ のとき $\gamma_{k^*}(x)\to1$、$k\ne k^*$ で $\gamma_k(x)\to0$ である。

共通の定数が約分されて $\gamma_k(x)=\exp(-\|x-\mu_k\|^2/2\sigma^2)\big/\sum_j\exp(-\|x-\mu_j\|^2/2\sigma^2)$ である。分母と分子を $\exp(-\|x-\mu_{k^*}\|^2/2\sigma^2)$ で割ると、$k\ne k^*$ の項は $\exp\bigl(-(\|x-\mu_k\|^2-\|x-\mu_{k^*}\|^2)/2\sigma^2\bigr)\to0$ である。$\square$

この極限では、E ステップは「各点を最も近い平均に割り当てる」こと、M ステップの平均の更新は「割り当てられた点の平均をとる」ことになり、k平均法 の Lloyd の反復そのものになる。混合 Gauss モデルは、k 平均法の割り当てを確率的に「ぼかした」ものとみなせる。成分ごとに共分散が異なれば、群の境界 $\{\gamma_k=\gamma_j\}$ は超平面でなく 2 次曲面になる(ex-gmm-1d)。共分散が共通なら境界は超平面で、これは 線形判別分析 の判別境界と同じ形である。

密度の近似

混合 Gauss 密度の稠密性

$f$ を $\mathbb R^d$ 上の任意の確率密度とする。任意の $\varepsilon>0$ に対し、成分の共分散がすべて $\sigma^2I$ の形の混合 Gauss 密度 $g$ で $\int\lvert f-g\rvert\,dx< \varepsilon$ となるものがある。

Gauss 核で平滑化し、Riemann 和で離散化する

$\varphi_\sigma(x):=\varphi_d(x;0,\sigma^2I)$ とし、$\|\cdot\|_1$ を $L^1(\mathbb R^d)$ のノルムとする。
1. 平滑化。 $f*\varphi_\sigma(x)=\int f(x-h)\varphi_\sigma(h)\,dh$ について、Fubiniの定理 から
$$ \|f*\varphi_\sigma-f\|_1\le\int\varphi_\sigma(h)\,\|f(\cdot-h)-f\|_1\,dh=\int\varphi_1(u)\,\|f(\cdot-\sigma u)-f\|_1\,du $$
である。$L^1$ の平行移動の連続性($\|f(\cdot-h)-f\|_1\to0$、$h\to0$。連続で台がコンパクトな関数で近似して示す)と、被積分関数が $2\varphi_1(u)$ で抑えられることから、優収束定理により $\sigma\to0$ で右辺は $0$ に近づく。$\sigma$ を $\|f*\varphi_\sigma-f\|_1< \varepsilon/3$ となるように固定する。
2. 有界な部分に制限する。 立方体 $C$ を $\int_{C}f>1-\varepsilon/6$ となるようにとり、$f_C:=f\mathbf 1_C$ とすると $\|f*\varphi_\sigma-f_C*\varphi_\sigma\|_1\le\|f-f_C\|_1< \varepsilon/6$ である。
3. 離散化。 $C$ を直径 $\delta$ 以下の小立方体 $C_1,\dots,C_M$ に分け、$y_j\in C_j$、$w_j:=\int_{C_j}f$ とする。$\omega(\delta):=\sup_{\|h\|\le\delta}\|\varphi_\sigma(\cdot-h)-\varphi_\sigma\|_1$ は 1 と同じ理由で $\delta\to0$ のとき $0$ に近づく。
$$ \Bigl\|f_C*\varphi_\sigma-\sum_jw_j\varphi_\sigma(\cdot-y_j)\Bigr\|_1\le\sum_j\int_{C_j}f(y)\,\|\varphi_\sigma(\cdot-y)-\varphi_\sigma(\cdot-y_j)\|_1\,dy\le\omega(\delta) $$
なので、$\delta$ を $\omega(\delta)< \varepsilon/6$ となるようにとる。$w_j=0$ の項は除く。
4. 重みの正規化。 $W:=\sum_jw_j\in(1-\varepsilon/6,1]$ とし、$g:=\frac1W\sum_jw_j\varphi_\sigma(\cdot-y_j)$ とすると $g$ は混合 Gauss 密度で、$\|g-\sum_jw_j\varphi_\sigma(\cdot-y_j)\|_1=1-W< \varepsilon/6$ である。1〜4 の誤差を足して $\|f-g\|_1< \varepsilon/3+3\cdot\varepsilon/6< \varepsilon$ を得る。$\square$

成分数を増やせばどんな分布にも近づけられるので、混合 Gauss モデルは「形を決めない密度の推定」にも使われる。ただし近似に要する成分数は、裾が重い分布や不連続な密度では大きくなる(ex-gmm-dense)。

成分数の選び方

成分数 $K$ はデータから選ぶ必要がある。$K$ を増やせば最大の対数尤度(分散に下限をおいたもの)は減らないので、尤度だけでは選べない。実際には、母数の数 $p_K=(K-1)+Kd+Kd(d+1)/2$ に応じた罰則を付けた 赤池情報量規準 $-2\ell+2p_K$ や、$-2\ell+p_K\log n$ の形の Bayes 情報量規準を最小にする $K$ を選ぶ。
$K$ 成分と $K+1$ 成分を 尤度比検定 で比べるときは注意が要る。$K$ 成分の分布は $K+1$ 成分のモデルの中で「重みが $0$ の成分がある」か「2 つの成分が一致する」ところに当たり、そこでは余分な成分の母数が識別できない(thm-gmm-identifiable の仮定が満たされない)。このため、尤度比の統計量の極限分布を自由度の差のカイ二乗分布とする通常の議論はそのままでは使えず、臨界値はブートストラップなどで別に求める。

例題

1 次元の 2 成分の混合

$f(x)=0.3\,\varphi(x;0,1)+0.7\,\varphi(x;4,4)$(成分 2 の標準偏差は $2$)について、平均・分散、点 $x=0,1,2,3$ での成分 1 の責任、成分 1 に割り当てられる $x$ の範囲を求める。
使う公式:公式の表の平均・共分散と責任の行。
答え:平均 $0.3\cdot0+0.7\cdot4=2.8$、分散 $0.3\cdot1+0.7\cdot4+0.3\cdot(0-2.8)^2+0.7\cdot(4-2.8)^2=6.46$。責任 $\gamma_1(x)$ は $x=0,1,2,3$ で $0.864,\ 0.616,\ 0.161,\ 0.011$。$\gamma_1>\frac12$ となるのは $-3.922< x< 1.255$ のときで、成分 1 の領域は有界な区間である。$x$ が十分小さいと、平均 $4$ から遠くても分散の大きい成分 2 の方が責任が大きい。密度の極大は $x\approx0.18$ と $x\approx4.00$ の 2 つである。

途中の計算を開く

$\log\frac{0.3\varphi(x;0,1)}{0.7\varphi(x;4,4)}=\log\frac67-\frac38x^2-x+2$ で、これが正になるのは $\frac38x^2+x-1.8459< 0$、すなわち $x=\frac{-1\pm\sqrt{3.7688}}{0.75}$ の間。$x=2$ では $\varphi(2;0,1)=0.05399$、$\varphi(2;4,4)=0.12099$ で、$\gamma_1=\frac{0.016197}{0.016197+0.084690}=0.1605$。極大は格子 $0.001$ 刻みの数値計算による。

識別できない混合

答え:(1) 成功の確率 $p$ の Bernoulli 分布の混合 $\sum_k\pi_k\mathrm{Ber}(p_k)$ は $\mathrm{Ber}(\sum_k\pi_kp_k)$ に等しい。たとえば $\frac12\mathrm{Ber}(0.2)+\frac12\mathrm{Ber}(0.6)=\mathrm{Ber}(0.4)$ で、成分数すら決まらない。(2) 区間上の一様分布では $U(0,1)=\frac12U(0,\frac12)+\frac12U(\frac12,1)$ である。(3) 正規分布でも、重み $0$ の成分や同じ成分を 2 回許すと、$\varphi(x;0,1)=\pi\varphi(x;0,1)+(1-\pi)\varphi(x;0,1)$ のように $K$ と重みが決まらない。
(1) では $\mathrm{Ber}(0.2),\mathrm{Ber}(0.6),\mathrm{Ber}(0.4)$ の確率関数の間に線形関係 $\frac12g_{0.2}+\frac12g_{0.6}-g_{0.4}=0$ があり、lem-gmm-independent に当たる性質が成り立たない。(2) も同じく線形関係である。

指数分布の近似

$f(x)=e^{-x}$($x\ge0$)を、prf-gmm-dense の作り方(幅 $h$ の区間に分け、区間の中点に重み $\int f$ の成分 $N(\cdot,\sigma^2)$ を置く)で近似する。
答え:$L^1$ の誤差は $(\sigma,h)=(0.3,0.1)$(成分 $120$)で $0.245$、$(0.1,0.05)$(成分 $240$)で $0.082$、$(0.03,0.01)$(成分 $1200$)で $0.024$ である。誤差はおおよそ $0.8\sigma$ で、大部分は $x=0$ の跳びをぼかすことから来る。滑らかな密度なら同じ $\sigma$ でずっと小さい。

使える条件と反例

外す条件反例成り立たなくなること
重みが正で成分が互いに異なるex-gmm-nonidentifiable の (3)thm-gmm-identifiable:$K$ と重みが決まらない
成分が正規分布Bernoulli 分布や一様分布の混合(ex-gmm-nonidentifiable の (1)(2))識別可能性が失われる。成分の族の線形独立性が要る
$K=1$$K\ge2$ で 1 成分をデータ点に縮める尤度が上に有界でなく、最尤推定値がない(prop-gmm-unbounded)
平均の差が標準偏差の 2 倍を超える等しい重みで $a=1$(平均 $\pm1$、分散 $1$)2 成分なのに単峰(prop-gmm-bimodal)
最も近い平均がただ 1 つ$x$ が 2 つの平均から等距離$\sigma\to0$ でも責任は $\frac12$ ずつのまま(prop-gmm-kmeans)

よくある誤り

誤り正しくはなぜ
最尤推定値を求める分散に下限を置くか、よい局所的な極大を探すprop-gmm-unbounded
推定した成分の番号をそのまま比べる平均の大小などで成分を対応させる識別は並べ替えを除いてだけ(thm-gmm-identifiable)
山の数を成分の数とみなす情報量規準などで選ぶprop-gmm-bimodal
$K$ と $K+1$ の尤度比をカイ二乗分布と比べる臨界値を模擬で求める帰無仮説で母数が識別できない
群の境界はいつも超平面共分散が異なれば 2 次曲面ex-gmm-1d

関連項目

参考文献

[1]
Christopher M. Bishop, Pattern Recognition and Machine Learning, 1st ed., Springer, 2006, §9.2 Mixtures of Gaussians((9.7)・p. 430、(9.13)・p. 432)、§9.2.1(特異点 pp. 433–434、K! 個の同値な解 pp. 434–435)、§9.2.2 EM for Gaussian mixtures(pp. 435–439)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する