指数型分布族

同義語:exponential family

概要

指数型分布族(exponential family)とは、確率密度が $h(x)\exp(\eta\cdot T(x)-A(\eta))$ の形に書ける分布の族で、正規分布・Poisson 分布・ガンマ分布・カテゴリ分布などを含む。キュムラント関数 $A$ は凸で、その勾配と Hesse 行列が十分統計量 $T$ の平均と共分散行列を与える。表現が最小で自然母数空間が開集合なら、最尤推定量が存在するのは $T$ の標本平均が凸台の内部にあるときに限り、そのとき尤度方程式 $\nabla A(\eta)=\bar t$ のただ 1 つの解として決まる。共役事前分布の族が一斉に作れ、観測による更新は超母数への足し算になる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率分布の一覧, 最尤推定, 凸関数, 共分散行列

正規分布・Poisson 分布・ガンマ分布・多項分布は、見かけはまったく違うが、どれも母数を取り替えると、密度の対数が「$x$ だけの関数」と「新しい母数の 1 次式(係数は $x$ の関数)」の和から「母数だけの関数」を引いた形に書ける。この形を 指数型分布族 という。この形に書くと、平均と分散は 1 つの関数 $A$ の微分で出て、対数尤度は母数について凹になり、最尤推定は方程式 $\nabla A(\eta)=\bar t$ を解く問題になる。
ただし、尤度方程式はいつも解けるわけではない。Poisson 分布でデータが全部 $0$ なら、尤度は母数を小さくするほど大きくなり、最大値をとらない。この記事の主定理は、正則で最小な族では、最尤推定量が存在するのは十分統計量の平均 $\bar t$ が 凸台 の内部にあるときに限り、そのときただ 1 つに決まることである。1 母数の場合の公式は 確率分布の一覧 と 最尤推定 にあり、この記事は多母数の一般論と共役事前分布を扱う。

定義と使える条件

$(\mathcal X,\mathcal B)$ を可測空間、$\nu$ をその上の σ有限測度 とする($\mathbb R^d$ 上の Lebesgue 測度や、可算集合の上の数え上げ測度)。可測関数 $h\colon\mathcal X\to[0,\infty)$ は $\nu(\{h>0\})>0$ を満たすとし、$\nu_h(B):=\int_Bh\,d\nu$ と書く。$T\colon\mathcal X\to\mathbb R^k$ を可測写像とし、$\eta\cdot t$ は $\mathbb R^k$ の標準内積とする。

指数型分布族

$\eta\in\mathbb R^k$ について
$$ Z(\eta):=\int_{\mathcal X}e^{\eta\cdot T(x)}\,\nu_h(dx)\in(0,\infty],\qquad A(\eta):=\log Z(\eta)\in(-\infty,\infty] $$
とおき、$\mathcal N:=\{\eta\in\mathbb R^k: A(\eta)< \infty\}$ を 自然母数空間 という。$\mathcal N\ne\emptyset$ とし、$\eta\in\mathcal N$ に $\nu$ に関する確率密度
$$ f(x;\eta)=h(x)\exp\bigl(\eta\cdot T(x)-A(\eta)\bigr) $$
をもつ確率分布 $P_\eta$ を対応させた族 $\{P_\eta\}_{\eta\in\mathcal N}$ を、指数型分布族(exponential family)という。$\eta$ を 自然母数、$T$ を 十分統計量、$A$ を キュムラント関数(対数分配関数)という。

$T$ が十分統計量であることは 十分統計量 の定理「密度の因子分解から十分性へ」による($P_\eta$ はどれも $\nu_h$ と零集合が同じなので、定理の可算個の混合 $Q$ には 1 つの $P_{\eta_1}$ をとればよい)。

最小・正則・凸台
  1. ある $u\in\mathbb R^k\setminus\{0\}$ と $b\in\mathbb R$ で $u\cdot T=b$ が $\nu_h$ についてほとんど至る所成り立つとき、表現は 最小でない という。そうでないとき 最小(minimal)という。
  2. $\mathcal N$ が $\mathbb R^k$ の開集合であるとき、族は 正則(regular)であるという。
  3. $\nu_h(\{x: T(x)\notin H\})=0$ となる閉半空間 $H=\{y: u\cdot y\le c\}$($u\ne0$)すべての共通部分を $C$ と書き、$T$ の 凸台(convex support)という。

$P_\eta$ の密度は $\nu_h$ に関して正なので $P_\eta$ と $\nu_h$ の零集合は同じであり、$C$ は「$T(X)$ が確率 $1$ で入る最小の閉凸集合」である(確率 $1$ で入ることは lem-ef-support の 1。最小であることは、閉凸集合が自分を含む閉半空間すべての共通部分であることによる)。
この記事の定理を使ってよい条件は次のとおりである。

  • (i) 表現が最小である(母数が識別できる)。最小でなければ、$T$ の成分を減らして最小にできる。
  • (ii) 族が正則である($\mathcal N$ が開集合)。正規分布・Poisson 分布・ガンマ分布・多項分布はどれも正則である。
  • (iii) 最尤推定では、観測 $x_1,\dots,x_n$ の十分統計量の平均 $\bar t:=\frac1n\sum_iT(x_i)$ が $C$ の内部 $\operatorname{int}C$ にある。共役事前分布では、超母数が同じ条件を満たす(prop-ef-conjugate)。
凸台の基本性質
  1. $\nu_h(T\notin C)=0$ である。
  2. 表現が最小なら $\operatorname{int}C\ne\emptyset$ である。
  3. $c_0\in\operatorname{int}C$、$y\in C$、$0\le s< 1$ なら $(1-s)c_0+sy\in\operatorname{int}C$ である。
証明を開く

1:$C$ の補集合は、条件を満たす閉半空間 $H$ の補集合(開集合)の和である。$\mathbb R^k$ の開集合の族の和は、その可算部分族の和に等しい($\mathbb R^k$ の開集合は中心と半径が有理数の開球の可算個の和なので、各有理開球を含む $H^c$ を 1 つずつ選べばよい)。よって $C^c=\bigcup_{j}H_j^c$ と可算個で書け、$\nu_h(T\in C^c)\le\sum_j\nu_h(T\notin H_j)=0$ である。

2:$C$ がある超平面 $\{u\cdot y=b\}$ に含まれるとすると、1 により $u\cdot T=b$ がほとんど至る所成り立ち、最小性に反する。よって $C$ の点のうち 1 次独立な差をもつ $k+1$ 点 $y_0,\dots,y_k$($y_1-y_0,\dots,y_k-y_0$ が 1 次独立)が選べる(選べる点の最大個数が $k$ 以下なら、$C$ はそれらの点を通る超平面に含まれてしまう)。$C$ は凸なので単体 $\{\sum_i\lambda_iy_i:\lambda_i\ge0,\sum_i\lambda_i=1\}$ を含み、単体は重心のまわりに開球を含む($\lambda\mapsto\sum_i\lambda_iy_i$ は $\lambda_0=1-\sum_{i\ge1}\lambda_i$ と置くと $(\lambda_1,\dots,\lambda_k)$ について 1 対 1 の 1 次写像に定数を足したもので、開写像である)。

3:$c_0$ を中心とする半径 $r>0$ の開球 $B$ が $C$ に含まれるとする。$C$ は凸なので $(1-s)B+sy\subset C$ であり、これは $(1-s)c_0+sy$ を中心とする半径 $(1-s)r>0$ の開球である。$\square$

公式の表

量式使える条件根拠
$T(X)$ の平均(平均母数)$E_\eta[T(X)]=\nabla A(\eta)$$\eta\in\operatorname{int}\mathcal N$lem-ef-moments
$T(X)$ の共分散行列$\operatorname{Cov}_\eta(T(X))=\nabla^2A(\eta)$$\eta\in\operatorname{int}\mathcal N$lem-ef-moments
$T(X)$ の積率母関数$E_\eta[e^{u\cdot T(X)}]=e^{A(\eta+u)-A(\eta)}$$\eta,\eta+u\in\mathcal N$def-ef-main から直接
Fisher 情報行列$I(\eta)=\nabla^2A(\eta)$(スコアは $T(x)-\nabla A(\eta)$)$\eta\in\operatorname{int}\mathcal N$lem-ef-moments
$n$ 個の観測の対数尤度$\sum_i\log h(x_i)+n\bigl(\eta\cdot\bar t-A(\eta)\bigr)$$\eta\in\mathcal N$def-ef-main
尤度方程式$\nabla A(\eta)=\bar t$。解はあればただ 1 つで最尤推定量(i)(ii)。解があるのは $\bar t\in\operatorname{int}C$ のときに限るthm-ef-mle
KL ダイバージェンス($P_{\eta_1}$ の $P_{\eta_2}$ に対する)$A(\eta_2)-A(\eta_1)-(\eta_2-\eta_1)\cdot\nabla A(\eta_1)$$\eta_1\in\operatorname{int}\mathcal N$、$\eta_2\in\mathcal N$prop-ef-kl
共役事前分布の更新$(\tau,n_0)\mapsto(\tau+n\bar t,\ n_0+n)$(i)(ii)、$n_0>0$、$\tau/n_0\in\operatorname{int}C$prop-ef-conjugate

主な分布を指数型分布族に書くと次のようになる。どれも最小かつ正則である。

分布$h(x)$($\nu$)$T(x)$$\eta$$\mathcal N$$A(\eta)$凸台 $C$
Bernoulli 分布($p$)$1$(数え上げ)$x$$\log\frac p{1-p}$$\mathbb R$$\log(1+e^\eta)$$[0,1]$
Poisson 分布($\lambda$)$1/x!$(数え上げ)$x$$\log\lambda$$\mathbb R$$e^\eta$$[0,\infty)$
正規分布($\mu,\sigma^2$)$1/\sqrt{2\pi}$(Lebesgue)$(x,x^2)$$\bigl(\frac\mu{\sigma^2},-\frac1{2\sigma^2}\bigr)$$\mathbb R\times(-\infty,0)$$-\frac{\eta_1^2}{4\eta_2}-\frac12\log(-2\eta_2)$$\{(a,b):b\ge a^2\}$
ガンマ分布(形 $\alpha$、率 $\lambda$)$1/x$($(0,\infty)$ の Lebesgue)$(\log x,x)$$(\alpha,-\lambda)$$(0,\infty)\times(-\infty,0)$$\log\Gamma(\eta_1)-\eta_1\log(-\eta_2)$$\{(a,b):b\ge e^a\}$
$K$ 区分のカテゴリ分布($p_1,\dots,p_K$)$1$(数え上げ)$(1_{\{x=j\}})_{j< K}$$\bigl(\log\frac{p_j}{p_K}\bigr)_{j< K}$$\mathbb R^{K-1}$$\log\bigl(1+\sum_{j< K}e^{\eta_j}\bigr)$$\{t\ge0,\ \sum_jt_j\le1\}$

カテゴリ分布で $K$ 個の指示関数をすべて使うと $\sum_jT_j=1$ となり最小でないので、最後の区分を基準にして $K-1$ 個にする。

キュムラント関数の凸性

キュムラント関数の微分

$\eta\in\operatorname{int}\mathcal N$ なら、$A$ は $\eta$ の近くで 2 回連続微分可能で、$X\sim P_\eta$ について $E[\lvert T(X)\rvert^2]< \infty$、
$$ \nabla A(\eta)=E_\eta[T(X)],\qquad\nabla^2A(\eta)=\operatorname{Cov}_\eta(T(X)) $$
である。

積分記号の下での微分を開く

$\delta>0$ を、$\eta$ を中心とする 1 辺 $4\delta$ の立方体 $\{\eta':\max_\beta\lvert\eta'_\beta-\eta_\beta\rvert\le2\delta\}$ が $\mathcal N$ に入るようにとる。$\lvert y\rvert_1:=\sum_\beta\lvert y_\beta\rvert$ と書くと、$e^{2\delta\lvert y\rvert_1}=\max_\sigma e^{2\delta\sigma\cdot y}\le\sum_{\sigma\in\{\pm1\}^k}e^{2\delta\sigma\cdot y}$ である。$C_2:=\sup_{r\ge0}(1+r)^2e^{-\delta r}< \infty$ とおくと、$\max_\beta\lvert s_\beta\rvert\le\delta$ のとき$$(1+\lvert T\rvert_1)^2e^{(\eta+s)\cdot T}\le C_2e^{\delta\lvert T\rvert_1}e^{\eta\cdot T}e^{\delta\lvert T\rvert_1}\le C_2\sum_{\sigma}e^{(\eta+2\delta\sigma)\cdot T}=:D$$であり、$\eta+2\delta\sigma\in\mathcal N$ なので $D$ は $\nu_h$ について可積分である。よって $s\mapsto e^{(\eta+s)\cdot T}$ の 1 階・2 階の偏導関数 $T_\alpha e^{(\eta+s)\cdot T}$、$T_\alpha T_\beta e^{(\eta+s)\cdot T}$ はどれも $D$ で抑えられ、平均値の定理 と 優収束定理 により $Z$ は $\eta$ の近くで積分記号の下で 2 回微分でき、偏導関数は連続である(最尤推定 の補題「キュムラント母関数の微分」の 1 母数の議論と同じ)。$\partial_\alpha Z=\int T_\alpha e^{\eta\cdot T}d\nu_h$、$\partial_\alpha\partial_\beta Z=\int T_\alpha T_\beta e^{\eta\cdot T}d\nu_h$ なので、$\partial_\alpha A=\partial_\alpha Z/Z=E_\eta[T_\alpha]$、$\partial_\alpha\partial_\beta A=\partial_\alpha\partial_\beta Z/Z-(\partial_\alpha Z)(\partial_\beta Z)/Z^2=E_\eta[T_\alpha T_\beta]-E_\eta[T_\alpha]E_\eta[T_\beta]$ である。$\square$

キュムラント関数の凸性
  1. $A$ は $\mathbb R^k$ 上の $(-\infty,\infty]$ に値をとる凸関数で、下半連続である。特に $\mathcal N$ は凸集合である。
  2. 表現が最小なら、$A$ は $\operatorname{int}\mathcal N$ の上で狭義凸である。

要点:1 は Hölder の不等式と Fatou の補題から、2 は線分に制限した関数の 2 階微分が $u\cdot T$ の分散で正になることから出る。

詳しい証明を開く

1:$\eta_1,\eta_2\in\mathbb R^k$、$0< \lambda< 1$ とする。$p=1/(1-\lambda)$、$q=1/\lambda$ として Hölderの不等式 を $\nu_h$ に関する積分に使うと$$Z\bigl((1-\lambda)\eta_1+\lambda\eta_2\bigr)=\int\bigl(e^{\eta_1\cdot T}\bigr)^{1-\lambda}\bigl(e^{\eta_2\cdot T}\bigr)^{\lambda}d\nu_h\le Z(\eta_1)^{1-\lambda}Z(\eta_2)^{\lambda}$$である(右辺が $\infty$ でも成り立つ)。対数をとると $A((1-\lambda)\eta_1+\lambda\eta_2)\le(1-\lambda)A(\eta_1)+\lambda A(\eta_2)$ である。$\eta_j\to\eta$ なら被積分関数 $e^{\eta_j\cdot T}$ は各点で $e^{\eta\cdot T}$ に収束するので、Fatouの補題 により $Z(\eta)\le\liminf_jZ(\eta_j)$、すなわち $A$ は下半連続である。

2:$\eta_1\ne\eta_2$ を $\operatorname{int}\mathcal N$ からとり、$u:=\eta_2-\eta_1$、$\varphi(s):=A(\eta_1+su)$($0\le s\le1$)とおく。$\operatorname{int}\mathcal N$ は凸なので線分は $\operatorname{int}\mathcal N$ に入り、lem-ef-moments により $\varphi''(s)=u^{\top}\nabla^2A(\eta_1+su)\,u=\operatorname{Var}(u\cdot T(X))$($X\sim P_{\eta_1+su}$)である。最小性から $u\cdot T$ は $\nu_h$ についてほとんど至る所定数ではなく、$P_{\eta_1+su}$ と $\nu_h$ の零集合は同じなので、この分散は正である。よって $\varphi'$ は狭義増加で、$0< s< 1$ について$$\varphi(s)-\varphi(0)=\int_0^s\varphi'< s\varphi'(s),\qquad\varphi(1)-\varphi(s)=\int_s^1\varphi'>(1-s)\varphi'(s)$$である。1 つめに $1-s$、2 つめに $s$ を掛けて引くと $\varphi(s)< (1-s)\varphi(0)+s\varphi(1)$ である。$\square$

lem-ef-moments から、Fisher 情報行列(スコア $\nabla_\eta\log f=T-\nabla A$ の共分散)は $\nabla^2A(\eta)$ に等しい。1 母数の場合は Fisher情報量 の命題「指数型分布族の Fisher 情報量と Kullback–Leibler 情報量」にある。$\nabla A$・$\nabla^2A$ の式と凸性は WJ08 Proposition 3.1(pp. 62–63)にも述べられている。

主定理:最尤推定量の存在と一意性

最尤推定量の存在と一意性

族は最小かつ正則とする。$t\in\mathbb R^k$ について $\ell_t(\eta):=\eta\cdot t-A(\eta)$($\eta\in\mathcal N$)とおく。

  1. $\nabla A$ は $\mathcal N$ から $\operatorname{int}C$ への全単射である。
  2. $\ell_t$ が $\mathcal N$ の上で最大値をとるのは $t\in\operatorname{int}C$ のときに限る。そのとき最大値をとる点はただ 1 つで、それは方程式 $\nabla A(\eta)=t$ のただ 1 つの解である。
  3. 観測 $x_1,\dots,x_n$($h(x_i)>0$)と $\bar t=\frac1n\sum_iT(x_i)$ について、$\eta$ の最尤推定量が存在するのは $\bar t\in\operatorname{int}C$ のときに限り、そのとき最尤推定量は $\hat\eta=(\nabla A)^{-1}(\bar t)$ ただ 1 つである。

正則なので $\mathcal N=\operatorname{int}\mathcal N$ であり、lem-ef-moments が $\mathcal N$ のすべての点で使える。
段 1(平均は凸台の内部にある)。 $\eta\in\mathcal N$、$m:=\nabla A(\eta)=E_\eta[T(X)]$ とし、$m\notin\operatorname{int}C$ と仮定する。lem-ef-support の 2 により $\operatorname{int}C$ は空でない開凸集合なので、Hahn–Banachの定理 の補題「点と開凸集合の分離」($\mathbb R^k$ に使う)により、$u\ne0$ で、すべての $y\in\operatorname{int}C$ について $u\cdot y< u\cdot m$ となるものがある。$c_0\in\operatorname{int}C$ を 1 つとる。$y\in C$ なら lem-ef-support の 3 により $u\cdot((1-s)c_0+sy)< u\cdot m$($0\le s< 1$)で、$s\to1$ として $u\cdot y\le u\cdot m$ である。lem-ef-support の 1 により確率 $1$ で $T(X)\in C$ なので、非負の確率変数 $u\cdot m-u\cdot T(X)$ の期待値は $u\cdot m-u\cdot E_\eta[T(X)]=0$ である。よって確率 $1$ で $u\cdot T(X)=u\cdot m$ であり、$P_\eta$ と $\nu_h$ の零集合は同じなので最小性に反する。ゆえに $\nabla A(\mathcal N)\subset\operatorname{int}C$ である。
段 2(一意性)。 prop-ef-convex の 2 により $\ell_t$ は $\mathcal N$ の上で狭義凹で、微分可能である。$\nabla A(\eta^*)=t$ なら、微分可能な凸関数の接線の不等式 $A(\eta)\ge A(\eta^*)+\nabla A(\eta^*)\cdot(\eta-\eta^*)$(凸関数 の命題「微分可能な関数が凸であるための条件」の 3 を、1 変数の凸関数 $s\mapsto A(\eta^*+s(\eta-\eta^*))$ に使う)から、すべての $\eta\in\mathcal N$ で $\ell_t(\eta)\le\ell_t(\eta^*)$ となり、$\eta^*$ は最大点である。逆に $\eta^*$ が最大点なら、$\mathcal N$ は開集合なので $\nabla\ell_t(\eta^*)=t-\nabla A(\eta^*)=0$ である。狭義凹関数の最大点は高々 1 つ(2 つあれば中点での値の方が大きい)なので、方程式 $\nabla A(\eta)=t$ の解も高々 1 つであり、$\nabla A$ は単射である。
段 3($t\in\operatorname{int}C$ なら最大点がある)。 $g(\eta):=A(\eta)-\eta\cdot t$ を $\mathbb R^k$ 上の $(-\infty,\infty]$ 値の関数とみる。prop-ef-convex の 1 により $g$ は凸で下半連続である。$\eta_0\in\mathcal N$ を固定する。
まず、単位ベクトル $u$ ごとに、ある $\varepsilon>0$ で $\nu_h(u\cdot T>u\cdot t+\varepsilon)>0$ となる。実際、そうでなければ $\nu_h(u\cdot T>u\cdot t)=0$ となり、閉半空間 $H=\{y:u\cdot y\le u\cdot t\}$ は凸台の定義の条件を満たすので $C\subset H$ である。すると $\operatorname{int}C\subset\{y:u\cdot y< u\cdot t\}$ となり、$t\in\operatorname{int}C$ に反する。$E_u:=\{u\cdot T>u\cdot t+\varepsilon\}$ とおくと $c_u:=\int_{E_u}e^{\eta_0\cdot T}d\nu_h$ は $0< c_u\le Z(\eta_0)< \infty$ を満たし、$s\ge0$ について
$$ Z(\eta_0+su)\ge\int_{E_u}e^{\eta_0\cdot T}e^{s\,u\cdot T}d\nu_h\ge c_u\,e^{s(u\cdot t+\varepsilon)},\qquad\text{よって}\quad g(\eta_0+su)\ge\log c_u-\eta_0\cdot t+s\varepsilon $$
である。どの方向 $u$ でも $g(\eta_0+su)\to\infty$($s\to\infty$)となる。
次に、集合 $L:=\{\eta\in\mathbb R^k: g(\eta)\le g(\eta_0)\}$ は有界である。有界でないとすると、$\eta_j\in L$、$\lvert\eta_j-\eta_0\rvert\to\infty$ がとれ、部分列に移って $u_j:=(\eta_j-\eta_0)/\lvert\eta_j-\eta_0\rvert$ が単位ベクトル $u$ に収束するとしてよい。$s>0$ を固定する。$\lvert\eta_j-\eta_0\rvert\ge s$ となる $j$ では点 $\eta_0+su_j$ は線分 $[\eta_0,\eta_j]$ の上にあるので、$g$ の凸性から $g(\eta_0+su_j)\le\max\{g(\eta_0),g(\eta_j)\}=g(\eta_0)$ である。下半連続性から $g(\eta_0+su)\le\liminf_jg(\eta_0+su_j)\le g(\eta_0)$ となり、これがすべての $s>0$ で成り立つことは前の段落に反する。
$L$ は下半連続関数の劣位集合なので閉で、有界だからコンパクトである。コンパクト集合の上の下半連続関数は最小値をとるので(下半連続)、$g$ は $L$ のある点 $\eta^*$ で $L$ 上の最小値をとる。$g(\eta^*)\le g(\eta_0)< \infty$ なので $\eta^*\in\mathcal N$ であり、$L$ の外では $g>g(\eta_0)$ だから、$\eta^*$ は $g$ の $\mathbb R^k$ 上の最小点、すなわち $\ell_t=-g$ の $\mathcal N$ 上の最大点である。
段 4(まとめ)。 $\ell_t$ に最大点 $\eta^*$ があれば、段 2 により $t=\nabla A(\eta^*)$ であり、段 1 により $t\in\operatorname{int}C$ である。逆は段 3 である。最大点の一意性と方程式との関係は段 2 である。これで 2 が示せた。1 は、段 1 と段 3(と段 2)から $\nabla A(\mathcal N)=\operatorname{int}C$ であることと、段 2 の単射性による。3 は、対数尤度が $\sum_i\log h(x_i)+n\,\ell_{\bar t}(\eta)$ なので、2 を $t=\bar t$ に使えばよい。$\square$

1 と同種の主張(平均母数の集合の内部への全射)は WJ08 Theorem 3.3(p. 65)にもある。観測が実際に $P_{\eta_0}$ から独立に得られるなら、大数の強法則により確率 $1$ で $\bar t\to\nabla A(\eta_0)\in\operatorname{int}C$ なので、十分大きい $n$ では最尤推定量が存在する。1 母数の場合のこの議論と、推定量の一致性・漸近正規性は 最尤推定 の定理「指数型分布族の最尤推定量」にある。$n$ が小さいときは、$\bar t$ が凸台の境界に落ちる確率が正になることがある(Poisson 分布で全部 $0$ になる確率は $e^{-n\lambda}$)。

Kullback–Leibler ダイバージェンスと共役事前分布

KL ダイバージェンスの公式

族は正則とし、$\eta_1,\eta_2\in\mathcal N$ とする。このとき
$$ D(P_{\eta_1}\|P_{\eta_2})=A(\eta_2)-A(\eta_1)-(\eta_2-\eta_1)\cdot\nabla A(\eta_1) $$
である。右辺は $0$ 以上で、表現が最小なら $0$ になるのは $\eta_1=\eta_2$ のときに限る。

要点:対数尤度比 $(\eta_1-\eta_2)\cdot T-A(\eta_1)+A(\eta_2)$ の $P_{\eta_1}$ での期待値をとり、符号は $A$ の凸性から出る。

詳しい証明を開く

$P_{\eta_1}$ と $P_{\eta_2}$ はどちらも $\nu_h$ と零集合が同じなので互いに絶対連続であり、$h(x)>0$ となる点で $\log\dfrac{f(x;\eta_1)}{f(x;\eta_2)}=(\eta_1-\eta_2)\cdot T(x)-A(\eta_1)+A(\eta_2)$ である。lem-ef-moments により $T$ は $P_{\eta_1}$ について可積分で平均は $\nabla A(\eta_1)$ なので、期待値をとると式を得る(密度をもつ分布の KL ダイバージェンスは Kullback–Leiblerダイバージェンス の補足の定義による)。右辺は凸関数 $A$ と $\eta_1$ での接平面との差なので $0$ 以上で、最小なら prop-ef-convex の 2 の狭義凸性により $\eta_2\ne\eta_1$ で正である(狭義凸関数では接線の不等式が $\eta_2\ne\eta_1$ で狭義になる)。$\square$

例えば Poisson 分布では $D=\lambda_2-\lambda_1-\lambda_1\log(\lambda_2/\lambda_1)$ で、$\lambda_1=2$、$\lambda_2=3.5$ なら $\approx0.380768$ である。
事前分布と事後分布の一般論は Bayes統計 にある。指数型分布族には、事後分布が事前分布と同じ形になる事前分布(共役事前分布)の族が一斉に作れる。

共役事前分布

族は最小かつ正則とし、$\tau\in\mathbb R^k$、$n_0>0$ について、$\mathcal N$ の上の Lebesgue 測度に関する密度
$$ \pi_{\tau,n_0}(\eta):=\frac{\exp\bigl(\eta\cdot\tau-n_0A(\eta)\bigr)}{B(\tau,n_0)},\qquad B(\tau,n_0):=\int_{\mathcal N}\exp\bigl(\eta\cdot\tau-n_0A(\eta)\bigr)\,d\eta $$
を考える。

  1. $\tau/n_0\in\operatorname{int}C$ なら $B(\tau,n_0)< \infty$ であり、$\pi_{\tau,n_0}$ は確率密度である。
  2. 1 の条件のもとで、事前分布を $\pi_{\tau,n_0}$ とし、$\eta$ が与えられたとき $X_1,\dots,X_n$ が独立にどれも $P_\eta$ に従うとする。観測 $x_1,\dots,x_n$ が $h(x_i)>0$、$T(x_i)\in C$ を満たすなら、事後分布は $\pi_{\tau+n\bar t,\ n_0+n}$ であり、$(\tau+n\bar t)/(n_0+n)\in\operatorname{int}C$ である。

1:$m:=\tau/n_0$、$g(\eta):=A(\eta)-\eta\cdot m$ とおくと、被積分関数は $e^{-n_0g(\eta)}$ である。thm-ef-mle の 2 により $g$ は $\mathcal N$ のただ 1 点 $\eta^*$ で最小になる。$r>0$ を閉球 $\bar B(\eta^*,r)$ が $\mathcal N$ に入るようにとる。lem-ef-moments により $g$ は $\mathcal N$ の上で連続なので、$g$ は球面 $S=\{\lvert\eta-\eta^*\rvert=r\}$ の上で最小値をとり、最小点の一意性から $\delta:=\min_Sg-g(\eta^*)>0$ である。$\lvert\eta-\eta^*\rvert\ge r$ なら、$\eta':=\eta^*+r(\eta-\eta^*)/\lvert\eta-\eta^*\rvert\in S$ は線分 $[\eta^*,\eta]$ の上にあり、凸性から $g(\eta')-g(\eta^*)\le\frac{r}{\lvert\eta-\eta^*\rvert}\bigl(g(\eta)-g(\eta^*)\bigr)$ なので $g(\eta)-g(\eta^*)\ge\delta\lvert\eta-\eta^*\rvert/r$ である。よって被積分関数は球の中で $e^{-n_0g(\eta^*)}$ 以下、外で $e^{-n_0g(\eta^*)}e^{-n_0\delta\lvert\eta-\eta^*\rvert/r}$ 以下で、どちらも $\mathbb R^k$ 上で可積分である。
2:Bayesの定理 により、事後密度は事前密度と尤度 $\prod_if(x_i;\eta)$ の積に比例するので、$\eta$ によらない因子を除いて
$$ e^{\eta\cdot\tau-n_0A(\eta)}\cdot e^{\eta\cdot n\bar t-nA(\eta)}=e^{\eta\cdot(\tau+n\bar t)-(n_0+n)A(\eta)} $$
である。$\bar t$ は $C$ の点の平均なので $C$ に入り、$s:=\frac n{n_0+n}< 1$ について $\frac{\tau+n\bar t}{n_0+n}=(1-s)\,m+s\,\bar t$ は lem-ef-support の 3 により $\operatorname{int}C$ に入る。よって 1 により正規化でき、事後分布は $\pi_{\tau+n\bar t,\,n_0+n}$ である。$\square$

$n_0$ は「事前に見込んだ観測の個数」、$\tau/n_0$ は「その観測の十分統計量の平均」のように働く(Bis06 §2.4.2、式 (2.229)–(2.230)、p. 117)。ベータ分布が二項分布の、ガンマ分布が Poisson 分布の共役事前分布であるのはこの特別な場合である。ただし prop-ef-conjugate の密度は自然母数 $\eta$ についての密度であり、別の母数に移すと Jacobian の因子がつく(ex-ef-poisson-gamma)。

計算の手順

  1. 密度を $h(x)\exp(\eta\cdot T(x)-A(\eta))$ の形に書き、$T$、$\eta$、$A$、$\mathcal N$ を決める(公式の表の 2 つめの表)。
  2. 最小か確かめる。$T$ の成分の間に 1 次の関係があれば成分を減らす。$\mathcal N$ が開集合か確かめる。
  3. $\bar t$ を計算し、$\bar t\in\operatorname{int}C$ を確かめる。入っていなければ最尤推定量は存在しない(thm-ef-mle)。
  4. 尤度方程式 $\nabla A(\eta)=\bar t$ を解く。閉じた形で解けなければ Newton 法 $\eta\leftarrow\eta+\nabla^2A(\eta)^{-1}(\bar t-\nabla A(\eta))$ を使い、$\ell_{\bar t}$ が増えない歩は刻みを半分にする。$\lvert\bar t-\nabla A(\eta)\rvert\le10^{-10}$ などで止める。
  5. 元の母数に戻す。Bayes 推定では $(\tau,n_0)$ に $(n\bar t,n)$ を足す(prop-ef-conjugate)。

例題

正規分布の 2 母数

データ $2.1,3.4,1.9,2.8,3.3$ に正規分布を当てはめる。使う公式:thm-ef-mle、公式の表の正規分布の行。
答え:$\bar t=(2.7,\ 7.662)$ で $7.662>2.7^2=7.29$ なので $\bar t\in\operatorname{int}C$。$\hat\mu=2.7$、$\hat\sigma^2=0.372$($n$ で割る)、$\hat\eta=(\hat\mu/\hat\sigma^2,-1/(2\hat\sigma^2))\approx(7.258065,\,-1.344086)$。

途中の計算を開く

$\partial A/\partial\eta_1=-\eta_1/(2\eta_2)=\mu$、$\partial A/\partial\eta_2=\eta_1^2/(4\eta_2^2)-1/(2\eta_2)=\mu^2+\sigma^2$ なので、尤度方程式は $\mu=\bar t_1$、$\mu^2+\sigma^2=\bar t_2$ である。$\bar t\in\operatorname{int}C$ は $\bar t_2>\bar t_1^2$、すなわち $n$ で割った標本分散が正であること(値が 2 つ以上あること)と同じである。

ガンマ分布の 2 母数

データ $0.8,1.9,2.7,1.2,4.1,0.6$ にガンマ分布を当てはめる。使う公式:thm-ef-mle、計算の手順の 4。
答え:$\bar x\approx1.883333$、$\overline{\log x}\approx0.415741$ で $e^{0.415741}\approx1.515493<\bar x$ なので $\bar t\in\operatorname{int}C$。$\hat\alpha\approx2.454749$、$\hat\lambda=\hat\alpha/\bar x\approx1.303406$。

途中の計算を開く

$\partial A/\partial\eta_1=\psi(\alpha)-\log\lambda$($\psi=\Gamma'/\Gamma$)、$\partial A/\partial\eta_2=\alpha/\lambda$ なので、尤度方程式は $\alpha/\lambda=\bar x$、$\psi(\alpha)-\log\lambda=\overline{\log x}$ で、$\lambda$ を消すと $\log\alpha-\psi(\alpha)=\log\bar x-\overline{\log x}\approx0.217302$ である。左辺は $\alpha$ について狭義減少なので、Newton 法で解いた。$\bar t\in\operatorname{int}C$ は算術平均が幾何平均より大きいこと、すなわちデータが全部は等しくないことと同じである。

カテゴリ分布と観測されない区分

3 区分の度数が $(5,3,0)$ と $(5,3,2)$ の場合に、自然母数の最尤推定量を求める。使う公式:thm-ef-mle、カテゴリ分布の行。
答え:$(5,3,0)$ では $\bar t=(0.625,0.375)$ の和が $1$ で $C$ の境界にあり、最尤推定量は存在しない。対数尤度は $5\log\frac58+3\log\frac38\approx-5.292506$ に近づくが達しない。$(5,3,2)$ では $\bar t=(0.5,0.3)\in\operatorname{int}C$ で、$\hat\eta=(\log\frac52,\log\frac32)\approx(0.916291,\,0.405465)$。

途中の計算を開く

$(5,3,0)$ で $\eta=(\log\frac53+L,\ L)$ とおくと、区分 1・2 の確率は $\frac58,\frac38$ に近づき区分 3 の確率は $0$ に近づく。$L=0,5,10,20$ で対数尤度は $-7.840136$、$-5.312694$、$-5.292642$、$-5.292506$ と増える。どの $\eta\in\mathbb R^2$ でも区分 3 の確率は正なので、上限には届かない。

Poisson 分布の共役事前分布

Poisson 分布で $\tau=2$、$n_0=1$ の共役事前分布をとり、データ $3,1,4,1,5$ を観測した。使う公式:prop-ef-conjugate。
答え:事後分布は $\pi_{16,6}$。$\lambda=e^\eta$ に移すと $d\eta=d\lambda/\lambda$ なので密度は $\lambda^{\tau-1}e^{-n_0\lambda}$ に比例し、事前分布は形 $2$・率 $1$、事後分布は形 $16$・率 $6$ のガンマ分布である。事後平均は $E[\lambda\mid x]=16/6\approx2.666667$ で、事前の見込み $\tau/n_0=2$ と標本平均 $2.8$ の重み $1:5$ の平均に等しい。

図: 左はガンマ分布の凸台。曲線 b = e^a の上側が凸台で、例題のデータの点(a = 0.4157、b = 1.8833)は内部にある。全部同じ値のデータの点は曲線の上に乗る。右は反例の表の 2 行目の族の A'(η) のグラフで、η が 0 に近づくと 2 に近づき、t̄ = 3 の水平線に届かない。 図: 左はガンマ分布の凸台。曲線 b = e^a の上側が凸台で、例題のデータの点(a = 0.4157、b = 1.8833)は内部にある。全部同じ値のデータの点は曲線の上に乗る。右は反例の表の 2 行目の族の A'(η) のグラフで、η が 0 に近づくと 2 に近づき、t̄ = 3 の水平線に届かない。

使える条件と反例

各行は thm-ef-mle または prop-ef-conjugate の条件を 1 つだけ外す。

外す条件反例成り立たなくなること
(i) 最小Bernoulli 分布を $T(x)=(x,x)$($k=2$)で書く。$A(\eta)=\log(1+e^{\eta_1+\eta_2})$、$\mathcal N=\mathbb R^2$ で正則。$\bar t=(0.4,0.4)$最大点は直線 $\eta_1+\eta_2=\log\frac23$ 全体で、一意でない。凸台は線分で内部が空なのに最大点がある
(ii) 正則$\nu$ を $[1,\infty)$ の Lebesgue 測度、$h(x)=2x^{-3}$、$T(x)=x$。$\mathcal N=(-\infty,0]$、$C=[1,\infty)$。$\bar t=3$$\ell_3$ は境界の $\eta=0$ で最大だが、尤度方程式 $A'(\eta)=3$ の解はない。$A'$ の値は $(1,2)$ で $\operatorname{int}C=(1,\infty)$ を覆わない
(iii) $\bar t\in\operatorname{int}C$Poisson 分布でデータが全部 $0$($\bar t=0$ は $C=[0,\infty)$ の境界)$\ell_0(\eta)=-e^\eta$ は $\eta\to-\infty$ で $0$ に増え、最大値をとらない
$\tau/n_0\in\operatorname{int}C$Bernoulli 分布で $\tau=0$、$n_0=1$$\int_{\mathbb R}e^{-A(\eta)}d\eta=\int_{\mathbb R}\frac{d\eta}{1+e^\eta}=\infty$ で、正規化できない
反例の確かめを開く

1 行目:$\ell_t$ は $s=\eta_1+\eta_2$ だけの関数 $0.4s-\log(1+e^s)$ で、$s=\log\frac{0.4}{0.6}$ で最大値 $0.4\log0.4+0.6\log0.6\approx-0.673012$ をとる。$\eta_1=-3,0,2$ のどれでも同じ値になる。$x_1-x_2=0$ なので最小でなく、凸台は $\{(s,s):0\le s\le1\}$ である。

2 行目:$Z(\eta)=\int_1^\infty2x^{-3}e^{\eta x}dx$ は $\eta\le0$ で有限($Z(0)=1$)、$\eta>0$ で発散する。$\eta< 0$ では $A'(\eta)=E_\eta[X]$ は狭義増加で、単調収束定理により $\eta\uparrow0$ で $E_0[X]=\int_1^\infty2x^{-2}dx=2$ に、$\eta\to-\infty$ で $1$ に近づく($A'(-10)\approx1.079317$、$A'(-0.001)\approx1.989301$)。よって $\eta< 0$ で $\ell_3'(\eta)=3-A'(\eta)>1$ であり、$\ell_3$ は増加し、$Z$ の左連続性から $\eta=0$ で最大値 $\ell_3(0)=0$ をとる($\ell_3(-1)\approx-1.483068$、$\ell_3(-0.1)\approx-0.116778$)。

3 行目:$\ell_0(\eta)=0\cdot\eta-e^\eta$。4 行目:$\int_{-L}^{L}\frac{d\eta}{1+e^\eta}=L$ で、$L\to\infty$ で発散する。$\tau=0.5$ なら $\int_{\mathbb R}\frac{e^{\eta/2}}{1+e^\eta}d\eta=\pi$ で正規化できる。

よくある誤り

誤り正しくはなぜ
尤度方程式に解があると決めてかかる先に $\bar t\in\operatorname{int}C$ を確かめる反例の表の 3 行目、ex-ef-categorical
どの母数でも対数尤度が凹だと思う凹なのは自然母数 $\eta$ について正規分布で $\mu$ を固定すると、$\sigma^2\mapsto-\frac n2\log\sigma^2-\frac S{2\sigma^2}$ は $\sigma^2>2S/n$ で凸($S:=\sum_i(x_i-\mu)^2$)
正規化の因子の向きを取り違える密度を $h\,g(\eta)e^{\eta\cdot T}$ と書くなら $g=e^{-A}$、$\nabla A=-\nabla\log g$Bis06 式 (2.194)、(2.226)
共役事前分布の密度をどの母数の密度か書かずに比べる$\eta$ の密度と $\lambda=e^\eta$ の密度は $1/\lambda$ の因子だけ違うex-ef-poisson-gamma
最小でない表現のまま Newton 法を使う先に成分を減らす$\nabla^2A$ が特異になる(反例の表の 1 行目)

補足

キュムラント関数 $A$ の 凸共役 $A^*$ は、$\mu\in\operatorname{int}C$ で $P_{\eta(\mu)}$($\nabla A(\eta(\mu))=\mu$)の $\nu_h$ に関する負のエントロピーに等しく、$A(\eta)=\sup_\mu\{\eta\cdot\mu-A^*(\mu)\}$ という変分表示が成り立つ(WJ08 Theorem 3.4、pp. 67–68。この記事では証明しない)。この表示は、平均が $\mu$ の分布のうちエントロピー最大のものが指数型分布族に入ることを意味し、変分推論 の理論の出発点になる。$\eta$ が低次元の母数の非線形な関数になる族(曲がった指数型分布族)では、thm-ef-mle の凹性はそのままでは使えない。

関連項目

参考文献

[1]
Martin J. Wainwright, Michael I. Jordan, Graphical Models, Exponential Families, and Variational Inference, Foundations and Trends in Machine Learning, 2008, §3.5(Proposition 3.1、pp. 62–63、Theorem 3.3、p. 65)、§3.6(Theorem 3.4、pp. 67–68)。Nos. 1–2, pp. 1–305。DOI 10.1561/2200000001
[2]
Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006, §2.4 The Exponential Family(式 (2.194)、(2.226)、(2.228)、pp. 113–117)、§2.4.2 Conjugate priors(式 (2.229)–(2.230)、p. 117)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する