情報幾何学(information geometry)とは、確率分布の族を多様体と見て、Fisher 情報行列を計量とし、互いに双対な接続の族を与えて調べる分野である。Fisher 計量は分割での不変性によって定数倍を除き一意に定まる(Chentsov の定理)。指数型分布族は指数接続と混合接続について双対平坦で、Kullback–Leibler ダイバージェンスの一般化ピタゴラスの定理が成り立ち、最尤推定は射影として理解できる。
前提知識: Fisher情報量, Kullback–Leiblerダイバージェンス, Riemann計量, 接続
硬貨の表の確率が $0.1$ と $0.5$ の二つの分布の「中点」はどれだろうか。確率を平均すれば $0.3$、対数オッズを平均すれば $0.25$ になる。どちらも自然に見えるが答えが違う。確率分布の集まりには、直線の入れ方が少なくとも二通りあるからである。
情報幾何学 は、確率分布の族を多様体と見て、計量と接続を与えて調べる分野である。計量は Fisher 情報量から定まる Fisher 計量 で、十分統計量による圧縮で変わらないという性質でほぼ一意に決まる。接続には $\alpha$ でパラメータづけられた族があり、とくに $\alpha=\pm1$ の二つが互いに双対で、指数型分布族 の上では両方とも平坦になる。この 双対平坦性 から、Kullback–Leibler ダイバージェンスについての「ピタゴラスの定理」が出る。最尤推定や独立モデルへの射影は、この定理で幾何学的に説明できる。
この記事では、有限標本空間での Chentsov の定理、$\alpha$ 接続の双対性、双対平坦性、一般化ピタゴラスの定理を証明し、計算の手順と数値の例題を示す。
$\Theta\subset\mathbb{R}^d$ を開集合とし、$\sigma$ 有限測度 $\nu$ に関する確率密度の族 $\{p(\cdot;\theta)\}_{\theta\in\Theta}$ を考える。$\{p>0\}$ は $\theta$ によらず、$\ell=\log p$ は $\theta$ について滑らかで、以下の微分と積分の順序は(3 階の微分まで)交換でき、現れるモーメントは有限とする。$\partial_i=\partial/\partial\theta_i$ と書く。Fisher情報量 の記事と同様に、$\int\partial_ip\,d\nu=0$ から $E_\theta\partial_i\ell=0$、さらに微分して $E_\theta[\partial_i\partial_j\ell]=-E_\theta[\partial_i\ell\,\partial_j\ell]$ である。
Fisher 情報行列 $g_{ij}(\theta)=E_\theta[\partial_i\ell\,\partial_j\ell]$ がすべての $\theta$ で正定値のとき、これを多様体 $\Theta$ の Riemann計量 と見て Fisher 計量 という。
母数を $\theta=\theta(\tau)$ と滑らかに取り替えると、$\partial\ell/\partial\tau_a=\sum_i(\partial\theta_i/\partial\tau_a)\partial_i\ell$ なので $g$ は 2 階の共変テンソルとして変換する。Fisher 情報行列が計量と見なせるのはこの変換則のためである。計量の意味は KL ダイバージェンスの 2 次の項である。
$v\in\mathbb{R}^d$ について、$t\to0$ で $D(p_\theta\|p_{\theta+tv})=\frac12t^2\sum_{i,j}g_{ij}(\theta)v_iv_j+o(t^2)$ である。
$\phi(t)=E_\theta[\ell(\theta)-\ell(\theta+tv)]$ とおく。$\phi(0)=0$、$\phi'(0)=-\sum_iv_iE_\theta\partial_i\ell=0$、$\phi''(0)=-\sum_{i,j}v_iv_jE_\theta\partial_i\partial_j\ell=\sum_{i,j}g_{ij}v_iv_j$ である。Taylor の定理から結論が従う。$\square$
$\mathcal P_n=\{p\in\mathbb{R}^n:p_i>0,\sum_ip_i=1\}$($n$ 点上の確率分布)の接空間を $V_n=\{v:\sum_iv_i=0\}$ とする。Fisher 計量は $g_p(v,w)=\sum_iv_iw_i/p_i$ で、写像 $p\mapsto2\sqrt p=(2\sqrt{p_i})_i$ は $\mathcal P_n$ から半径 $2$ の球面の正の部分への等長写像である。とくに測地線距離は
$$d(p,q)=2\arccos\sum_i\sqrt{p_iq_i}$$
である。
$p$ から $v$ 方向に微分すると $\ell(i)=\log p_i$ の微分は $v_i/p_i$ なので、$g_p(v,w)=\sum_ip_i(v_i/p_i)(w_i/p_i)=\sum_iv_iw_i/p_i$。写像の微分は $v\mapsto(v_i/\sqrt{p_i})_i$ で、その内積は $\sum_iv_iw_i/p_i$ に等しい。球面の正の部分は測地的に凸なので、距離は半径 $2$ と中心角の積である。中心角の余弦は $\langle2\sqrt p,2\sqrt q\rangle/4=\sum_i\sqrt{p_iq_i}$ である。$\square$
Fisher 計量が特別である理由は、データの圧縮に関する不変性にある。有限標本空間の場合に示す。正の整数の組 $k=(k_1,\dots,k_n)$、$N=\sum_ik_i$ について、等分割の埋め込み $\kappa_k:\mathcal P_n\to\mathcal P_N$ を、点 $i$ を $k_i$ 個に分け確率を等分するものとする:$(\kappa_kp)_{i,j}=p_i/k_i$($1\le j\le k_i$)。元の点に戻す写像は $\kappa_kp$ に対して十分統計量であり、$\kappa_k$ で情報は増えも減りもしない。
各 $n\ge2$ について $\mathcal P_n$ に連続な Riemann 計量 $g^{(n)}$ が与えられ、次をみたすとする。
手順 1(一様分布の点) $u_n=(1/n,\dots,1/n)$ は置換で動かないので、(C1) より $g^{(n)}_{u_n}$ は置換で不変である。$n\ge3$ とし、$A=g^{(n)}_{u_n}(e_1-e_2,e_1-e_2)$、$B=g^{(n)}_{u_n}(e_1-e_3,e_2-e_3)$ とおく。置換で移るものは値が等しいので、$e_1-e_2=(e_1-e_3)-(e_2-e_3)$ を代入すると $A=A+A-2B$、つまり $B=A/2$ である。$V_n$ の基底 $e_i-e_n$($i< n$)について、$g^{(n)}_{u_n}$ の値は対角で $A$、非対角で $A/2$ であり、標準内積の値は $2$、$1$ である。よって $g^{(n)}_{u_n}=a_n\langle\cdot,\cdot\rangle$($a_n=A/2>0$)。$n=2$ では $V_2$ が 1 次元なので同じ形である。
手順 2(定数の決定) $k=(m,\dots,m)$ とすると $\kappa_k(u_n)=u_{mn}$ で、$d\kappa_k$ は $v$ の各成分を $v_i/m$ として $m$ 個並べる。(C2) より
$$a_n\langle v,w\rangle=a_{mn}\sum_im\cdot\frac{v_i}{m}\frac{w_i}{m}=\frac{a_{mn}}{m}\langle v,w\rangle$$
なので $a_{mn}=ma_n$ である。$m,n$ を入れ替えると $ma_n=na_m$ となるので、$a_n=cn$($c=a_2/2>0$)である。
手順 3(有理点) $p=k/N$($k_i$ は正の整数、$\sum k_i=N$)なら $(\kappa_kp)_{i,j}=1/N$、すなわち $\kappa_k(p)=u_N$ である。(C2) と手順 1・2 より
$$g^{(n)}_p(v,w)=cN\sum_ik_i\frac{v_i}{k_i}\frac{w_i}{k_i}=c\sum_i\frac{v_iw_i}{k_i/N}=c\sum_i\frac{v_iw_i}{p_i}.$$
手順 4(連続性) 有理点は $\mathcal P_n$ で稠密で、両辺は $p$ について連続なので、すべての $p$ で等号が成り立つ。
逆は、$\sum_{i,j}(v_i/k_i)(w_i/k_i)/(p_i/k_i)=\sum_iv_iw_i/p_i$ から従う。置換不変性は明らかである。$\square$
等分割だけでなく、Fisher 計量は一般の情報の処理でも増えない。
$K=(K_{ij})$ を $n\times m$ の確率行列(各行の和が $1$)とし、$q=pK$、$w=vK$($p\in\mathcal P_n$、$v\in V_n$、$q$ の成分は正とする)とする。このとき $\sum_jw_j^2/q_j\le\sum_iv_i^2/p_i$ である。
$w_j=\sum_i(v_i/p_i)(p_iK_{ij})$ に Cauchy–Schwarz の不等式を使うと、$w_j^2\le\bigl(\sum_i(v_i/p_i)^2p_iK_{ij}\bigr)\bigl(\sum_ip_iK_{ij}\bigr)$ であり、最後の和は $q_j$ である。$j$ について足すと $\sum_jw_j^2/q_j\le\sum_i(v_i/p_i)^2p_i=\sum_iv_i^2/p_i$。$\square$
一般の標本空間での一意性と、十分統計量での等号の特徴づけは AJLS12 の Theorem 2.10(pp. 10–11)、Theorem 3.5(p. 13)、Theorem 3.11(p. 15)にある。この記事では証明しない。
$\alpha\in\mathbb{R}$ について、$\Gamma^{(\alpha)}_{ij,k}=E_\theta\bigl[\bigl(\partial_i\partial_j\ell+\frac{1-\alpha}2\partial_i\ell\,\partial_j\ell\bigr)\partial_k\ell\bigr]$ を、添字を下げた接続係数とする 接続 $\nabla^{(\alpha)}$($g(\nabla^{(\alpha)}_{\partial_i}\partial_j,\partial_k)=\Gamma^{(\alpha)}_{ij,k}$)を $\alpha$ 接続 という。$\alpha=1$ を e 接続、$\alpha=-1$ を m 接続 という。また $T_{ijk}=E_\theta[\partial_i\ell\,\partial_j\ell\,\partial_k\ell]$ を Amari–Chentsov テンソル という。
母数の取り替えでは、$\partial_a\partial_b\ell$ から $(\partial_a\partial_b\theta_i)\partial_i\ell$ の項が出て、$\partial_k\ell$ を掛けて期待値をとると $g$ の項になる。これがちょうど接続係数の非斉次項である。また $T$ はテンソルなので、$\Gamma^{(\alpha)}$ は接続の変換則に従う。Nie18 の p. 22 に同じ定義がある。
次が成り立つ。
1 は定義から直ちに従う。2 について、$g_{ij}=\int p\,\partial_i\ell\,\partial_j\ell\,d\nu$ を微分すると、$\partial_kp=p\,\partial_k\ell$ より
$$\partial_kg_{ij}=E[\partial_k\partial_i\ell\,\partial_j\ell]+E[\partial_i\ell\,\partial_k\partial_j\ell]+T_{ijk}.$$
一方、定義から $\Gamma^{(\alpha)}_{ki,j}+\Gamma^{(-\alpha)}_{kj,i}=E[\partial_k\partial_i\ell\,\partial_j\ell]+E[\partial_k\partial_j\ell\,\partial_i\ell]+\bigl(\frac{1-\alpha}2+\frac{1+\alpha}2\bigr)T_{ijk}$ で、両者は等しい。
3 について、$\Gamma^{(0)}_{ij,k}$ は $i,j$ について対称なので捩れがなく、2 で $\alpha=0$ とすると計量と両立する。これらをみたす接続はただ一つである。$\square$
$\alpha=\pm1$ が特別なのは、微分の恒等式
$$\partial_i\partial_j\ell+\partial_i\ell\,\partial_j\ell=\frac{\partial_i\partial_jp}{p}$$
と、指数型分布族の 2 階微分が標本によらないことによる。記号は 指数型分布族 に合わせ、$p(x;\eta)=\exp(\eta^{\mathsf T}T(x)-A(\eta))$(基準測度 $\nu_h$)、$\Theta$ は自然母数空間の内部、族は最小とする。期待値母数 は $\mu=\nabla A(\eta)$ である。
最小な指数型分布族について、次が成り立つ。
$\mu$ の側のポテンシャルは $A$ の 凸共役 $\varphi(\mu)=\sup_\eta(\eta^{\mathsf T}\mu-A(\eta))$ で、$\nabla\varphi(\mu)=\eta$、$g^{ab}=\partial^a\partial^b\varphi$ である(Legendre変換)。同じ計算で、混合族 $p=\sum_i\theta_ip_i+(1-\sum_i\theta_i)p_0$ では $\partial_i\partial_jp=0$ なので、上の恒等式から $\Gamma^{(-1)}_{ij,k}=0$ となり、$\theta$ が m 接続のアフィン座標になる。$\mathcal P_n$ は指数型でも混合族でもある。
したがって、$\eta$ の直線が e 測地線(確率の対数の線形補間を正規化したもの)、$\mu$ の直線が m 測地線 である。Levi-Civita 接続とは別のものである。冒頭の中点は、m 測地線で $0.3$、e 測地線で $0.25$、Fisher 計量の測地線で $0.2764$ となる。
KL ダイバージェンスを $\eta$ と $\mu$ で書くと、指数型分布族 の命題「KL ダイバージェンスの公式」により $D(P_{\eta_1}\|P_{\eta_2})=A(\eta_2)-A(\eta_1)-(\eta_2-\eta_1)^{\mathsf T}\mu_1$ である。
最小な指数型分布族の 3 点 $P_1,P_2,P_3$(母数 $\eta_a,\mu_a$)について
$$D(P_1\|P_2)+D(P_2\|P_3)-D(P_1\|P_3)=(\eta_3-\eta_2)^{\mathsf T}(\mu_1-\mu_2)$$
である。右辺は、$P_2$ から $P_1$ への m 測地線の速度と、$P_2$ から $P_3$ への e 測地線の速度の、$P_2$ での Fisher 内積である。したがって、この二つの測地線が $P_2$ で直交するとき、そのときに限り
$$D(P_1\|P_3)=D(P_1\|P_2)+D(P_2\|P_3)$$
である。
$A_a=A(\eta_a)$ と書く。上の公式から
$$D(P_1\|P_2)+D(P_2\|P_3)-D(P_1\|P_3)=(A_2-A_1)+(A_3-A_2)-(A_3-A_1)-(\eta_2-\eta_1)^{\mathsf T}\mu_1-(\eta_3-\eta_2)^{\mathsf T}\mu_2+(\eta_3-\eta_1)^{\mathsf T}\mu_1.$$
$A$ の項は消え、残りは $(\eta_3-\eta_2)^{\mathsf T}\mu_1-(\eta_3-\eta_2)^{\mathsf T}\mu_2$ である。
$P_2$ で、e 測地線の速度は $\sum_i(\eta_3-\eta_2)_i\partial_i$、m 測地線の速度は $\sum_a(\mu_1-\mu_2)_a\partial^a$ である。thm-ig-dually-flat の $g(\partial_i,\partial^a)=\delta_i^a$ から、内積は右辺に等しい。$\square$
この等式は $D$ が距離でなくても成り立ち、辺の向きが決まっている。CS04 の Theorem 3.2 は、線形族への射影についての同じ形の等式である。
$\Theta'=(\eta_0+W)\cap\Theta$($W$ は線形部分空間)を e 平坦な部分族、$P$ を、$E_P|T|<\infty$ で $D(P\|P_{\eta})$ が有限な分布とする。$\eta^*\in\Theta'$ が $E_{P}[T]-\mu(\eta^*)\perp W$ をみたすなら、すべての $\eta\in\Theta'$ について
$$D(P\|P_\eta)=D(P\|P_{\eta^*})+D(P_{\eta^*}\|P_\eta)$$
であり、$P_{\eta^*}$ は $\Theta'$ の上で $D(P\|\cdot)$ を最小にする唯一の点である(m 射影)。
$P$ が族に属さなくてもよいので直接計算する。$m=E_PT$、$\mu^*=\mu(\eta^*)$ とする。
$$D(P\|P_\eta)-D(P\|P_{\eta^*})=E_P\Bigl[\log\frac{p_{\eta^*}}{p_\eta}\Bigr]=(\eta^*-\eta)^{\mathsf T}m-A(\eta^*)+A(\eta).$$
同じ式で $P$ を $P_{\eta^*}$ に替えると $D(P_{\eta^*}\|P_\eta)=(\eta^*-\eta)^{\mathsf T}\mu^*-A(\eta^*)+A(\eta)$ である。差は $(\eta^*-\eta)^{\mathsf T}(m-\mu^*)$ で、$\eta^*-\eta\in W$ なので $0$ である。$D(P_{\eta^*}\|P_\eta)\ge0$ で、等号は $\eta=\eta^*$ のときに限る。$\square$
条件 $E_P[T]-\mu(\eta^*)\perp W$ は、部分族の十分統計量の期待値を合わせる式である。したがって次の二つが m 射影の代表例である。
図: 左は 3 点上の確率単体の三角形に、一様分布からの Fisher 距離の等高線を描いたもの。線は頂点に近づくほど辺に沿って歪む。右は 2 変数の同時分布から独立モデルの各点への KL ダイバージェンスの等高線で、最小点が周辺分布の積にある。
| 量 | 式 | 根拠 |
|---|---|---|
| Fisher 計量 | $g_{ij}=E[\partial_i\ell\,\partial_j\ell]=-E[\partial_i\partial_j\ell]$ | def-ig-metric |
| KL の局所形 | $D(p_\theta\Vert p_{\theta+dv})\approx\frac12g(dv,dv)$ | prop-ig-kl-expansion |
| $n$ 点上の距離 | $2\arccos\sum_i\sqrt{p_iq_i}$ | prop-ig-sphere |
| Bernoulli の距離 | $2\lvert\arcsin\sqrt p-\arcsin\sqrt q\rvert$ | prop-ig-sphere を $n=2$ で |
| Poisson の距離 | $2\lvert\sqrt{\lambda_1}-\sqrt{\lambda_2}\rvert$ | $g=1/\lambda$ を積分 |
| 正規分布 $(\mu,\sigma)$ の計量 | $(d\mu^2+2d\sigma^2)/\sigma^2$、曲率 $-1/2$ | ex-ig-normal |
| $\alpha$ 接続 | $\Gamma^{(\alpha)}_{ij,k}=\Gamma^{(0)}_{ij,k}-\frac\alpha2T_{ijk}$ | prop-ig-duality |
| 指数型分布族 | $g=\nabla^2A$、$\mu=\nabla A$、$\eta=\nabla\varphi$ | thm-ig-dually-flat |
| ピタゴラスの残差 | $(\eta_3-\eta_2)^{\mathsf T}(\mu_1-\mu_2)$ | thm-ig-pythagoras |
| m 射影の条件 | $E_P[T]-\mu(\eta^*)\perp W$ | cor-ig-projection |
(a) Bernoulli 分布 $p=0.1$ と $q=0.5$ の Fisher 距離。(b) $a=(0.5,0.3,0.2)$ と $b=(0.2,0.2,0.6)$ の Fisher 距離と、両方向の KL ダイバージェンス。(c) Poisson 分布 $\lambda=2$ と $3.5$ の Fisher 距離。
使う公式:prop-ig-sphere、公式の表。
答え:(a) $0.9273$。(b) $d=0.8666$、$D(a\|b)=0.3601$、$D(b\|a)=0.3948$。(c) $0.9132$。
(a) $\arcsin\sqrt{0.5}=0.78540$、$\arcsin\sqrt{0.1}=0.32175$ で、差の $2$ 倍は $0.92730$。$\int_{0.1}^{0.5}dt/\sqrt{t(1-t)}$ の値と一致する。(c) $g=1/\lambda$ より $\int_2^{3.5}d\lambda/\sqrt\lambda=2(\sqrt{3.5}-\sqrt2)=0.91323$。
$N(\mu,\sigma^2)$ の族について、Fisher 計量、Gauss 曲率、$N(0,1)$ と $N(1,1)$ の Fisher 距離を求めよ。
使う公式:def-ig-metric と、Poincaréの上半平面 に計量 $(dx^2+dy^2)/y^2$ を入れたときの距離の公式 $\cosh d_H=1+\lvert z_1-z_2\rvert^2/(2y_1y_2)$(この記事では証明しない)。
答え:$g=\operatorname{diag}(1/\sigma^2,2/\sigma^2)$、曲率 $-1/2$、距離 $\sqrt2\log2=0.9803$。
$\partial_\mu\ell=(x-\mu)/\sigma^2$、$\partial_\sigma\ell=((x-\mu)^2-\sigma^2)/\sigma^3$ から $g_{\mu\mu}=1/\sigma^2$、$g_{\mu\sigma}=0$、$g_{\sigma\sigma}=(3-2+1)/\sigma^2=2/\sigma^2$。$\mu=\sqrt2x$ と置くと $ds^2=2(dx^2+d\sigma^2)/\sigma^2$ で、これは上半平面の計量の $2$ 倍なので曲率は $-1/2$。接続係数は $\Gamma^{(0)}_{\mu\mu,\sigma}=1/\sigma^3$、$\Gamma^{(0)}_{\mu\sigma,\mu}=-1/\sigma^3$、$\Gamma^{(0)}_{\sigma\sigma,\sigma}=-2/\sigma^3$。$N(0,1)$、$N(1,1)$ は $x$ 座標で $0,1/\sqrt2$、$\sigma=1$ なので $\cosh d_H=1+(1/2)/2=5/4$、$d_H=\log2$、$d=\sqrt2\log2$。局所近似 $\sqrt{2D}=1$ と比べると少し小さい。
2 値の $X,Y$ の同時分布 $P$ を $P(1,1)=0.4$、$P(1,2)=0.1$、$P(2,1)=0.2$、$P(2,2)=0.3$ とする。独立モデルへの m 射影 $Q$ と $D(P\|Q)$ を求めよ。$X,Y$ が独立で周辺が $(0.5,0.5)$、$(0.8,0.2)$ の $R$ について定理を確かめよ。
使う公式:cor-ig-projection。独立モデルの十分統計量は $\mathbf 1_{X=1}$、$\mathbf 1_{Y=1}$。
答え:$Q$ は周辺 $(0.5,0.5)$、$(0.6,0.4)$ の積で、$Q(1,1)=0.3$、$Q(1,2)=0.2$、$Q(2,1)=0.3$、$Q(2,2)=0.2$。$D(P\|Q)=0.08630$、$D(Q\|R)=0.10465$、和 $0.19095=D(P\|R)$。
Poisson 分布 $\lambda_1=2,\lambda_2=3.5,\lambda_3=1.2$ について thm-ig-pythagoras の等式を確かめよ。
使う公式:$\eta=\log\lambda$、$\mu=\lambda$、$A=e^\eta$、$D(\lambda_a\|\lambda_b)=\lambda_a\log(\lambda_a/\lambda_b)-\lambda_a+\lambda_b$。
答え:$D_{12}=0.38077$、$D_{23}=1.44654$、$D_{13}=0.22165$ で、左辺は $1.60566$。右辺は $(\log1.2-\log3.5)(2-3.5)=1.60566$。1 次元では $\eta_3\ne\eta_2$ かつ $\mu_1\ne\mu_2$ なら直交しないので、残差は $0$ にならない。
次の表の各行は、対応する定理の条件を一つ外した例である。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $g$ の正定値性(def-ig-metric) | $N(\tau^3,1)$ で $\tau=0$ | $g(\tau)=9\tau^4$ が $\tau=0$ で消え、Riemann 計量にならない。$\theta=\tau^3$ に取り替えると $g=1$ なので、座標の問題である(定義の条件が満たされない) |
| 台が母数によらない | $U(0,\theta)$ | $E\partial_\theta\ell=-1/\theta\ne0$。$t>0$ で $D(p_\theta\Vert p_{\theta+t})=\log(1+t/\theta)$ は $t$ の 1 次で、逆向きは $+\infty$。prop-ig-kl-expansion が成り立たない |
| 分割での不変性(thm-ig-chentsov の (C2)) | Euclid 計量 $\langle v,w\rangle$ | 連続で置換不変だが、$d\kappa_kv$ の内積は $\sum_iv_i^2/k_i$ になり等長でない。定理の結論の形にならない |
| 接続が $\alpha=\pm1$(thm-ig-dually-flat) | 正規分布の族で $\alpha=0$ | 指数型であるが、Levi-Civita 接続の曲率は $-1/2$ で $0$ でない。別の結論である |
| 部分族が e 平坦(cor-ig-projection) | $\mathbb{R}^2$ の $N(m,I)$ で $m=(\cos t,\sin t)$、$P=N(0,I)$ | $D(P\Vert N(m,I))=1/2$ が $t$ によらず、最小点が一意でない。主張そのものが成り立たない |
| 直交(thm-ig-pythagoras) | ex-ig-poisson の 3 点 | $D_{13}=0.222$ だが $D_{12}+D_{23}=1.827$。等式が成り立たず、残差は $1.606$ |
| 誤り | 正しくは | 確かめ |
|---|---|---|
| KL ダイバージェンスは距離だ | 対称でなく三角不等式もない。局所的に $\frac12g$ に等しいだけ | ex-ig-distance の $0.3601$ と $0.3948$ |
| 測地線は一通りだ | e、m、Fisher の測地線はすべて異なる | $p=0.1,0.5$ の中点は $0.25$、$0.3$、$0.2764$ |
| 双対平坦なら Riemann 多様体として平坦だ | 平坦なのは $\nabla^{(\pm1)}$ で、Levi-Civita 接続ではない | 正規分布の族の曲率 $-1/2$ |
| 射影の向きはどちらでも同じだ | $\min_QD(P\Vert Q)$ と $\min_QD(Q\Vert P)$ は別のもの | ex-ig-table で $D(Q\Vert P)$ を独立モデルの上で最小にすると、周辺は $(0.5039,0.4961)$、$(0.6218,0.3782)$、値 $0.09199$ で、$P$ の周辺と異なる |
| Chentsov の定理で計量が完全に決まる | 定数倍の自由度は残る | $c=1/2$ でも (C1)(C2) をみたす |
自然勾配。 損失 $L(\theta)$ の勾配法で、$\nabla L$ の代わりに $g^{-1}\nabla L$ を使う方法を自然勾配法という。$g^{-1}\nabla L$ は母数の取り替えでベクトルとして変換するので、更新の向きが座標に依存しない(BCN18 p. 61)。勾配降下法 の座標依存性を補うものである。
変分推論との関係。 誤りの表の 4 行目の逆向きの最小化は、変分推論 の平均場近似である。この向きでは目的関数が一般に非凸で、局所解が複数ありうる。
曲がった族。 一般の統計モデルは、大きな指数型分布族に埋め込まれた曲がった部分多様体と見なせることが多い。このとき最尤推定は m 射影の足で表される。体系的な扱いは AN00 にある。この記事では扱わない。双対平坦な多様体の基礎的な解説は Nie18 の §3.7(pp. 14–18)にある。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する