Kullback–Leiblerダイバージェンス(Kullback–Leibler divergence)とは、有限集合または可算集合上の確率分布 $p,q$ に対して $D(p\|q)=\sum_x p(x)\log\frac{p(x)}{q(x)}$($p(x)>0=q(x)$ となる $x$ があれば $\infty$)で定まる量(相対エントロピー)である。$D(p\|q)\ge0$ で、$0$ になるのは $p=q$ のときに限る(Gibbs の不等式)が、一般に対称でなく三角不等式も満たさない。2 つの分布を同じ写像で粗く見ると値は増えず(データ処理不等式)、両方が積の分布なら足し算になり、全変動距離 $\delta$ について $D\ge2\delta^2$(Pinsker の不等式)が成り立つ。符号の無駄や尤度比の増え方を表す、情報理論と統計学の基本量である。
前提知識: エントロピー, 凸関数, Jensenの不等式
本当の分布が $p$ なのに、分布 $q$ を前提にした符号で結果を書き送ると、1 回あたり平均してどれだけ長さを無駄にするか。分布 $p$ から取った標本は、分布 $q$ から取ったと考えたときに比べて、どれほど「ありそう」に見えるか。この 2 つの問いに答えるのが同じ量 $D(p\|q)$ であり(前者は $q$ の確率がどれも $2$ の冪の逆数のときにちょうど)、これを Kullback–Leibler ダイバージェンス(相対エントロピー)という。$D(p\|q)$ は $0$ 以上で、$0$ になるのは $p=q$ のときに限るので、2 つの分布の「違いの大きさ」を測る量として、情報理論・統計学・機械学習のいたるところに現れる。ただし距離ではなく、$p$ と $q$ を入れ替えると値が変わることがあり、三角不等式も一般には成り立たない。
この記事では、離散分布の場合に定義と基本の例を述べ、非負性(Gibbs の不等式)、粗く見ても値が増えないこと(データ処理不等式)、連鎖律、同時凸性、全変動距離を抑える Pinsker の不等式を証明する。後半では符号の無駄・尤度比・最尤推定という意味づけと、密度をもつ分布への拡張を述べる。
以下、$\mathcal X$ は有限集合または可算集合、$p,q$ は $\mathcal X$ 上の確率分布($p(x)\ge0$、$\sum_xp(x)=1$)とする。$\log$ は自然対数とし、$0\log0:=0$ と約束する。部分集合 $A\subset\mathcal X$ について $p(A):=\sum_{x\in A}p(x)$ と書く。
$p(x)>0$ かつ $q(x)=0$ となる $x\in\mathcal X$ があれば $D(p\|q):=\infty$ とし、なければ
$$
D(p\|q):=\sum_{x:\,p(x)>0}p(x)\log\frac{p(x)}{q(x)}
$$
とおく。$D(p\|q)$ を $p$ の $q$ に対する Kullback–Leibler ダイバージェンス(KL ダイバージェンス、相対エントロピー、Kullback–Leibler 情報量)という。対数の底を $2$ にした値 $D_2(p\|q):=D(p\|q)/\log2$ を bit 単位の値という。
$\log t\ge1-\frac1t$($t>0$)により、和の各項は $p(x)\log\frac{p(x)}{q(x)}\ge p(x)-q(x)\ge-q(x)$ を満たす。負の項の絶対値の和は $\sum_xq(x)=1$ 以下なので、和は項の順序によらず $(-\infty,\infty]$ の値として定まる。後の thm-kl-gibbs により、実際には $D(p\|q)\in[0,\infty]$ である。
$X$ が分布 $p$ に従うなら、$D(p\|q)< \infty$ のとき $D(p\|q)=E\bigl[\log\frac{p(X)}{q(X)}\bigr]$ であり、結果を見たときに「$q$ より $p$ の方がどれだけありそうか」の対数の平均である。
交差エントロピーとの関係:$H(p,q):=-\sum_{x:\,p(x)>0}p(x)\log q(x)\in[0,\infty]$ を $p$ の $q$ に対する 交差エントロピー という。$p$ のエントロピー $H(p)=-\sum_xp(x)\log p(x)$ が有限なら
$$
H(p,q)=H(p)+D(p\|q)
$$
である($p(x)>0$ の項ごとに $-\log q(x)=-\log p(x)+\log\frac{p(x)}{q(x)}$ を $p(x)$ 倍して足す。$D(p\|q)=\infty$ なら両辺とも $\infty$)。$p$ を固定して $q$ について交差エントロピーを最小にすることは、$D(p\|q)$ を最小にすることと同じである。
使える条件:
| $p$ | $q$ | $D(p\Vert q)$(nat) | 根拠 |
|---|---|---|---|
| Bernoulli分布(確率 $a$ で $1$) | Bernoulli 分布(確率 $b$ で $1$) | $d(a\Vert b):=a\log\frac ab+(1-a)\log\frac{1-a}{1-b}$ | 定義から直接 |
| 一般の $p$($n$ 点上) | $n$ 点の 一様分布 $u$ | $\log n-H(p)$ | ex-kl-uniform |
| Poisson 分布 $\mathrm{Po}(\lambda)$($\lambda>0$) | $\mathrm{Po}(\mu)$($\mu>0$) | $\lambda\log\frac\lambda\mu-\lambda+\mu$ | ex-kl-poisson |
| $p_1\otimes p_2$ | $q_1\otimes q_2$ | $D(p_1\Vert q_1)+D(p_2\Vert q_2)$ | cor-kl-product |
| 正規分布 $N(m_1,s_1^2)$ | $N(m_2,s_2^2)$ | $\log\frac{s_2}{s_1}+\frac{s_1^2+(m_1-m_2)^2}{2s_2^2}-\frac12$ | ex-kl-gaussian(密度による定義) |
表の $d(a\Vert b)$ では $0< b< 1$ とする($b\in\{0,1\}$ なら定義どおり $\infty$ または $0$)。たとえば $d(0.1\Vert0.5)\approx0.368064$、$d(0.5\Vert0.1)\approx0.510826$ であり、入れ替えると値が変わる。
$\mathcal X$ を $n$ 個の元からなる集合、$u$ をその上の一様分布($u(x)=\frac1n$)とする。$u(x)>0$ がすべての $x$ で成り立つので
$$
D(p\|u)=\sum_{x:\,p(x)>0}p(x)\log\bigl(n\,p(x)\bigr)=\log n-H(p)
$$
である。$D(p\|u)\ge0$ は エントロピー の定理「エントロピーの範囲」の上からの評価 $H(p)\le\log n$ と同じことであり、$D(p\|u)$ は「$p$ が一様分布からどれだけ偏っているか」を測る。たとえば $p=(0.5,0.3,0.2)$ では $D(p\|u)=\log3-H(p)\approx0.068959$ である。
$\lambda,\mu>0$ とし、$p(k)=e^{-\lambda}\frac{\lambda^k}{k!}$、$q(k)=e^{-\mu}\frac{\mu^k}{k!}$($k=0,1,2,\dots$)とする。すべての $k$ で $q(k)>0$ であり、$\log\frac{p(k)}{q(k)}=\mu-\lambda+k\log\frac\lambda\mu$ なので、$\sum_kp(k)=1$、$\sum_kk\,p(k)=\lambda$ を使うと
$$
D(p\|q)=(\mu-\lambda)+\lambda\log\frac\lambda\mu
$$
である(和は絶対収束する)。$\lambda=2$、$\mu=3.5$ では約 $0.380768$ である。
$\mathcal X$ 上の確率分布 $p,q$ について $D(p\|q)\ge0$ であり、等号は $p=q$ のときに限る。
$g(t):=t-1-\log t$($t>0$)は $g'(t)=1-\frac1t$ により $t=1$ で最小値 $0$ をとるので、$\log t\le t-1$ で、等号は $t=1$ のときに限る。
$D(p\|q)=\infty$ なら主張は明らかなので、$D(p\|q)< \infty$ とする。このとき $S:=\{x\mid p(x)>0\}$ の上で $q(x)>0$ であり、
$$
-D(p\|q)=\sum_{x\in S}p(x)\log\frac{q(x)}{p(x)}\le\sum_{x\in S}p(x)\Bigl(\frac{q(x)}{p(x)}-1\Bigr)=q(S)-1\le0
$$
である。等号が成り立てば、最初の不等号から $S$ の上で $q(x)=p(x)$、2 つ目から $q(S)=1$ なので $S$ の外で $q(x)=0=p(x)$ であり、$p=q$ である。逆に $p=q$ なら各項は $0$ である。$\square$
$\mathcal X$ が有限集合なら、同じ不等式は凹関数 $\log$ に Jensenの不等式 を使っても得られる(同記事の例「情報量の不等式」)。証明の要は $q(S)\le1$ である(反例の表の 1 行目)。定義と Gibbs の不等式は Mac03 §2.6(p. 34)の式 (2.45)・(2.46) にある。
次の補題は、Gibbs の不等式を「確率とは限らない $0$ 以上の数の組」に言い換えたもので、以下の定理の道具になる。
$I$ を有限集合または可算集合とし、$a_i,b_i\ge0$($i\in I$)、$A:=\sum_ia_i< \infty$、$B:=\sum_ib_i< \infty$ とする。$0\log\frac0b:=0$($b\ge0$)、$a\log\frac a0:=\infty$($a>0$)と約束すると
$$
\sum_{i\in I}a_i\log\frac{a_i}{b_i}\ge A\log\frac AB
$$
である。$A,B>0$ で左辺が有限なら、等号はすべての $i$ で $a_iB=b_iA$ のときに限る。
$A=0$ ならすべての $a_i$ が $0$ で、両辺とも $0$ である。$A>0$ で、$a_i>0$ かつ $b_i=0$ となる $i$ があれば左辺は $\infty$ である($B=0$ ならそのような $i$ が必ずある)。残るのは $A,B>0$ で、$a_i>0$ なら $b_i>0$ の場合である。$p_i:=a_i/A$、$q_i:=b_i/B$ は $I$ 上の確率分布で、$a_i>0$ のとき
$$
a_i\log\frac{a_i}{b_i}=A\,p_i\log\frac{p_i}{q_i}+a_i\log\frac AB
$$
である。右辺の第 2 項の和は $A\log\frac AB$ に絶対収束し、第 1 項の和は $A\,D(p\|q)$ なので、左辺の和は $A\,D(p\|q)+A\log\frac AB$ であり、thm-kl-gibbs により $A\log\frac AB$ 以上である。等号は $D(p\|q)=0$、すなわち $p=q$ のときに限り、これは $a_iB=b_iA$ と同じである。$\square$
写像 $f\colon\mathcal X\to\mathcal Y$($\mathcal Y$ も有限集合または可算集合)があるとき、$p_f(y):=p\bigl(f^{-1}(y)\bigr)$ で $\mathcal Y$ 上の分布 $p_f$ が定まる。$X$ が $p$ に従えば $f(X)$ は $p_f$ に従う。
$f\colon\mathcal X\to\mathcal Y$ を写像とすると、$D(p_f\|q_f)\le D(p\|q)$ である。
$D(p\|q)=\infty$ なら明らかなので、$D(p\|q)< \infty$ とする。定義の和は負の部分の和が有限なので、$f$ の値ごとに項をまとめて足してよい:
$$
D(p\|q)=\sum_{y\in\mathcal Y}\ \sum_{x\in f^{-1}(y)}p(x)\log\frac{p(x)}{q(x)}
$$
($p(x)=0$ の項は $0$ と読む)。内側の和に lem-kl-logsum を $a_x=p(x)$、$b_x=q(x)$($x\in f^{-1}(y)$)で使うと、内側の和は $p_f(y)\log\frac{p_f(y)}{q_f(y)}$ 以上である。これを $y$ について足すと $D(p_f\|q_f)\le D(p\|q)$ を得る($D(p\|q)< \infty$ なので $p(x)>0$ なら $q(x)>0$ であり、$p_f(y)>0$ なら $q_f(y)>0$ である)。$\square$
結果 $x$ を見る代わりに、その一部の情報 $f(x)$ しか見なければ、2 つの分布は見分けにくくなる。これが不等式の意味である。$f$ が単射なら $p_f,q_f$ は $p,q$ の並べ替えなので等号が成り立つ。
$\mathcal X,\mathcal Y$ を有限集合とし、$P,Q$ を $\mathcal X\times\mathcal Y$ 上の確率分布、$P_{\mathcal X}(x):=\sum_yP(x,y)$ などを周辺分布とする。$P_{\mathcal X}(x)>0$ のとき $P(y\mid x):=P(x,y)/P_{\mathcal X}(x)$ とし、$P(\cdot\mid x)$ を $\mathcal Y$ 上の分布とみる。$Q$ についても同じとする。
$$
D(P\|Q)=D(P_{\mathcal X}\|Q_{\mathcal X})+\sum_{x:\,P_{\mathcal X}(x)>0}P_{\mathcal X}(x)\,D\bigl(P(\cdot\mid x)\,\big\|\,Q(\cdot\mid x)\bigr)
$$
である。ただし、$P_{\mathcal X}(x)>0=Q_{\mathcal X}(x)$ となる $x$ があるときは右辺を $\infty$ と読む(このとき右辺の第 1 項が $\infty$ である)。
両辺が $\infty$ になる場合。 左辺が $\infty$ なら、$P(x,y)>0=Q(x,y)$ となる $(x,y)$ がある。$Q_{\mathcal X}(x)=0$ なら右辺の第 1 項が $\infty$ であり、$Q_{\mathcal X}(x)>0$ なら $P(y\mid x)>0=Q(y\mid x)$ なので和の $x$ の項が $\infty$ である。逆に右辺が $\infty$ なら、$P_{\mathcal X}(x)>0=Q_{\mathcal X}(x)$ となる $x$ があるか、$P(y\mid x)>0=Q(y\mid x)$ となる $(x,y)$ があり、どちらの場合も $P(x,y)>0=Q(x,y)$ となる $y$ がとれて左辺は $\infty$ である。
両辺が有限な場合。 $P(x,y)>0$ なら $Q(x,y)>0$、$Q_{\mathcal X}(x)>0$ で、$P(x,y)=P_{\mathcal X}(x)P(y\mid x)$、$Q(x,y)=Q_{\mathcal X}(x)Q(y\mid x)$ なので
$$
\log\frac{P(x,y)}{Q(x,y)}=\log\frac{P_{\mathcal X}(x)}{Q_{\mathcal X}(x)}+\log\frac{P(y\mid x)}{Q(y\mid x)}
$$
である。両辺に $P(x,y)$ を掛けて $P(x,y)>0$ となる $(x,y)$ について足す(有限和)。左辺は $D(P\|Q)$、右辺の第 1 項は $y$ について先に足して $D(P_{\mathcal X}\|Q_{\mathcal X})$、第 2 項は $P(x,y)=P_{\mathcal X}(x)P(y\mid x)$ と書いて $\sum_xP_{\mathcal X}(x)D(P(\cdot\mid x)\|Q(\cdot\mid x))$ になる。$\square$
$\mathcal X,\mathcal Y$ 上の確率分布 $p_1,q_1$ と $p_2,q_2$ について、積の分布 $(p_1\otimes p_2)(x,y):=p_1(x)p_2(y)$ などを考えると
$$
D(p_1\otimes p_2\,\|\,q_1\otimes q_2)=D(p_1\|q_1)+D(p_2\|q_2)
$$
である。とくに、$p^{\otimes n}$ を $p$ の $n$ 個の積とすると $D(p^{\otimes n}\|q^{\otimes n})=n\,D(p\|q)$ である。
$P:=p_1\otimes p_2$、$Q:=q_1\otimes q_2$ の周辺分布は $p_1,q_1$ で、$p_1(x)>0$、$q_1(x)>0$ なら $P(\cdot\mid x)=p_2$、$Q(\cdot\mid x)=q_2$ である。thm-kl-chain の右辺の和は $D(p_2\|q_2)\sum_xp_1(x)=D(p_2\|q_2)$ になる($p_1(x)>0=q_1(x)$ となる $x$ があれば両辺とも $\infty$)。$n$ 個の場合は帰納法による。$\square$
$\mathcal X,\mathcal Y$ を有限集合、$K(y\mid x)\ge0$、$\sum_yK(y\mid x)=1$(各 $x$)とし、$(pK)(y):=\sum_xp(x)K(y\mid x)$ とおく。このとき $D(pK\|qK)\le D(p\|q)$ である。
$D(p\|q)=\infty$ なら明らかなので、$p(x)>0$ なら $q(x)>0$ とする。$P(x,y):=p(x)K(y\mid x)$、$Q(x,y):=q(x)K(y\mid x)$ とおくと、$\mathcal X$ の周辺分布は $p,q$、$p(x)>0$ のとき $P(\cdot\mid x)=Q(\cdot\mid x)=K(\cdot\mid x)$ なので、thm-kl-chain により $D(P\|Q)=D(p\|q)$ である。一方、$\mathcal Y$ の周辺分布は $pK,qK$ であり、座標の順を入れ替えて thm-kl-chain を使うと、$D(P\|Q)=D(pK\|qK)+(\text{条件付き分布の } D \text{ の平均})$ で、後の項は thm-kl-gibbs により $0$ 以上である。よって $D(pK\|qK)\le D(P\|Q)=D(p\|q)$ である。$\square$
$K(y\mid x)$ を「$y=f(x)$ なら $1$、そうでなければ $0$」とすると $pK=p_f$ なので、有限集合では thm-kl-dpi はこの系の特別な場合である。
$\mathcal X$ 上の確率分布 $p_1,p_2,q_1,q_2$ と $0\le\lambda\le1$ について
$$
D\bigl(\lambda p_1+(1-\lambda)p_2\,\big\|\,\lambda q_1+(1-\lambda)q_2\bigr)\le\lambda D(p_1\|q_1)+(1-\lambda)D(p_2\|q_2)
$$
である。
$\lambda\in\{0,1\}$ なら等号なので、$0< \lambda< 1$ とし、右辺が有限とする。各 $x$ について lem-kl-logsum を 2 項 $a_1=\lambda p_1(x)$、$a_2=(1-\lambda)p_2(x)$、$b_1=\lambda q_1(x)$、$b_2=(1-\lambda)q_2(x)$ に使うと、$a_j/b_j$ の $\lambda$ と $1-\lambda$ は約分されて
$$
\bigl(a_1+a_2\bigr)\log\frac{a_1+a_2}{b_1+b_2}\le\lambda p_1(x)\log\frac{p_1(x)}{q_1(x)}+(1-\lambda)p_2(x)\log\frac{p_2(x)}{q_2(x)}
$$
である。右辺の和は有限、左辺の各項は $-(b_1+b_2)$ 以上なので、$x$ について足して主張を得る。$\square$
$q$ を固定すれば $p\mapsto D(p\|q)$ が凸、$p$ を固定すれば $q\mapsto D(p\|q)$ が凸である。
2 つの分布が「事象の確率としてどれだけ違いうるか」は全変動距離で測る。
$\mathcal X$ 上の確率分布 $p,q$ の 全変動距離 を
$$
\delta(p,q):=\sup_{A\subset\mathcal X}\bigl|p(A)-q(A)\bigr|
$$
で定める。
$A_+:=\{x\mid p(x)>q(x)\}$ とおくと $\delta(p,q)=p(A_+)-q(A_+)=\frac12\sum_x|p(x)-q(x)|$ であり、$0\le\delta\le1$ である。
任意の $A$ について $p(A)-q(A)\le p(A\cap A_+)-q(A\cap A_+)\le p(A_+)-q(A_+)$($A_+$ の外では $p\le q$、$A_+$ の上では $p>q$)であり、補集合をとると $q(A)-p(A)=p(A^c)-q(A^c)\le p(A_+)-q(A_+)$ である。また $p,q$ の和がともに $1$ なので $\sum_{x\in A_+}(p(x)-q(x))=\sum_{x\notin A_+}(q(x)-p(x))$ であり、$\sum_x|p(x)-q(x)|$ はその 2 倍である。
$\mathcal X$ 上の確率分布 $p,q$ について
$$
\delta(p,q)\le\sqrt{\frac{D(p\|q)}2}
$$
である。すなわち $D(p\|q)\ge2\,\delta(p,q)^2$ である。
1. 2 点の場合。 $a\in[0,1]$ を固定し、$b\in(0,1)$ について $g(b):=d(a\|b)-2(a-b)^2$ とおく($d$ は基本の例の表の Bernoulli 分布どうしの値)。$d(a\|b)=a\log a+(1-a)\log(1-a)-a\log b-(1-a)\log(1-b)$($0\log0=0$)なので
$$
g'(b)=-\frac ab+\frac{1-a}{1-b}+4(a-b)=(b-a)\Bigl(\frac1{b(1-b)}-4\Bigr)
$$
である。$b(1-b)\le\frac14$ により括弧の中は $0$ 以上なので、$g$ は $b\le a$ で減少、$b\ge a$ で増加する。$0< a< 1$ なら $g(b)\ge g(a)=0$ である。$a=0$ なら $g$ は $(0,1)$ で増加し、$d(0\|b)=-\log(1-b)\to0$($b\to+0$)なので $g(b)\ge0$ である。$a=1$ も同様である。$b\in\{0,1\}$ のときは、$b=a$ なら両辺 $0$、$b\ne a$ なら $d(a\|b)=\infty$ である。よってすべての $a,b\in[0,1]$ で $d(a\|b)\ge2(a-b)^2$ である。
2. 一般の場合。 $A\subset\mathcal X$ を任意にとり、$f\colon\mathcal X\to\{0,1\}$ を $A$ の指示関数とすると、$p_f,q_f$ は確率 $p(A),q(A)$ で $1$ をとる Bernoulli 分布である。thm-kl-dpi と 1 により
$$
D(p\|q)\ge D(p_f\|q_f)=d\bigl(p(A)\,\big\|\,q(A)\bigr)\ge2\bigl(p(A)-q(A)\bigr)^2
$$
である。$A$ について上限をとると $D(p\|q)\ge2\,\delta(p,q)^2$ を得る。$\square$
$D(p\|q)$ が小さければ、どの事象の確率もほとんど同じである。逆向きの評価はない:$\delta(p,q)$ が小さくても $D(p\|q)$ は $\infty$ になりうる(距離との比較の表)。例として $p=(\frac12,\frac12)$、$q=(0.1,0.9)$ では $\delta=0.4$ で、$D(p\|q)=d(0.5\|0.1)\approx0.510826\ge2\cdot0.4^2=0.32$ である。
$\mathcal X=\{1,\dots,m\}$ とし、$p_i>0$(すべての $i$)とする。長さ $l_1,\dots,l_m$ の 0 と 1 の符号語で、どれもほかの先頭部分にならないもの(接頭符号)が $\sum_i2^{-l_i}=1$ を満たすとき、$q_i:=2^{-l_i}$ は確率分布であり、符号は「$q$ に合わせて作った符号」とみなせる($q_i$ が大きい値ほど短い符号語)。接頭符号と長さの関係は エントロピー の節「圧縮の限界」にある。このとき平均の長さは
$$
\sum_ip_il_i=\sum_ip_i\log_2\frac1{q_i}=H_2(p)+D_2(p\|q)
$$
である(交差エントロピーの式を $\log2$ で割ったもの。$H_2(p)$ は bit 単位のエントロピー)。平均の長さの下限 $H_2(p)$ に比べて、$q$ に合わせた符号は 1 記号あたりちょうど $D_2(p\|q)$ bit を無駄にする(Mac03 §5.4、式 (5.23)(p. 98))。
符号語 $0,10,11$ は $q=(\frac12,\frac14,\frac14)$ に合わせた接頭符号である。本当の分布が $p=(\frac14,\frac14,\frac12)$ なら、平均の長さは $\frac14\cdot1+\frac14\cdot2+\frac12\cdot2=1.75$ bit で、$H_2(p)=1.5$ bit、$D_2(p\|q)=\frac14\log_2\frac12+\frac14\log_21+\frac12\log_22=0.25$ bit であり、$1.75=1.5+0.25$ である。符号語の割り当てを逆にして $p$ に合わせれば平均 $1.5$ bit になる。
$\mathcal X$ を有限集合、$p,q$ をすべての $x$ で $p(x)>0$、$q(x)>0$ となる分布とし、$X_1,X_2,\dots$ を互いに独立でどれも分布 $p$ に従う確率変数とする。$L_n:=\frac1n\sum_{i=1}^n\log\frac{p(X_i)}{q(X_i)}$ とおくと、任意の $\varepsilon>0$ について
$$
P\bigl(|L_n-D(p\|q)|>\varepsilon\bigr)\to0\qquad(n\to\infty)
$$
である。
$Z_i:=\log\frac{p(X_i)}{q(X_i)}$ は互いに独立で同じ分布に従い、有限個の値しかとらないので分散が有限で、期待値は $\sum_xp(x)\log\frac{p(x)}{q(x)}=D(p\|q)$ である。$L_n$ は $Z_1,\dots,Z_n$ の標本平均なので、大数の法則 の定理「大数の弱法則」から従う。$\square$
標本の確率の比(尤度比)$\prod_ip(X_i)/\prod_iq(X_i)$ は $e^{nL_n}$ なので、本当の分布が $p$ なら尤度比はほぼ $e^{nD(p\|q)}$ の速さで大きくなる。$D(p\|q)$ が大きいほど、少ない標本で $p$ と $q$ を見分けられる。
$\mathcal X$ を有限集合とし、観測 $x_1,\dots,x_n\in\mathcal X$ の 経験分布 を $\hat p(x):=\frac1n\#\{i\mid x_i=x\}$ とする。分布 $q$ のもとでの対数尤度の $\frac1n$ 倍は
$$
\frac1n\sum_{i=1}^n\log q(x_i)=\sum_x\hat p(x)\log q(x)=-H(\hat p)-D(\hat p\|q)
$$
である(交差エントロピーの式。$\hat p(x)>0=q(x)$ となる $x$ があれば両辺とも $-\infty$)。$H(\hat p)$ はデータだけで決まるので、分布の族 $\{q_\theta\}$ の中で尤度を最大にすること(最尤推定)は、経験分布からの $D(\hat p\|q_\theta)$ を最小にすることと同じである。
| 距離の条件 | $D(p\Vert q)$ で成り立つか | 根拠・例 |
|---|---|---|
| $0$ 以上で、$0$ になるのは $p=q$ のときに限る | 成り立つ | thm-kl-gibbs |
| 対称 $D(p\Vert q)=D(q\Vert p)$ | 成り立たない | $d(0.1\Vert0.5)\approx0.368064$、$d(0.5\Vert0.1)\approx0.510826$ |
| 三角不等式 | 成り立たない | $d(0.5\Vert0.1)\approx0.510826> d(0.5\Vert0.3)+d(0.3\Vert0.1)\approx0.087177+0.153664$ |
| 値が有限 | 成り立たない | $0< \varepsilon< 1$ として $p=(1-\varepsilon,\varepsilon)$、$q=(1,0)$ で $D(p\Vert q)=\infty$ |
| 全変動距離で上から抑えられる | 成り立たない | 同じ $p,q$ で $\delta(p,q)=\varepsilon$ は小さいが $D=\infty$ |
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $q$ の和が $1$(thm-kl-gibbs) | $p=(\frac12,\frac12)$、$q=(1,1)$ | $D(p\Vert q)=-\log2< 0$ |
| 両方に同じ写像を使う(thm-kl-dpi) | $p=q=(\frac12,\frac12)$ に対し、$p$ を $f\equiv0$、$q$ を $g\equiv1$ で送る | $D(p_f\Vert q_g)=\infty> 0=D(p\Vert q)$ |
| $q$ も積の分布(cor-kl-product) | $p$ を $\{0,1\}^2$ 上の一様分布、$q$ を $(0,0),(1,1)$ に確率 $\frac12$ ずつの分布 | 周辺分布はどれも一様で右辺は $0$ だが、$D(p\Vert q)=\infty$ |
| $H(p)< \infty$(交差エントロピーの式) | $H(p)=\infty$ となる $p$ と $q=p$ | $D(p\Vert q)=0$ だが $H(p,q)-H(p)$ は $\infty-\infty$ で定まらない |
1 行目:$D(p\|q)=\frac12\log\frac12+\frac12\log\frac12=-\log2$。prf-kl-gibbs の $q(S)\le1$ が $q(S)=2$ になっている。
2 行目:$p_f$ は $0$ に、$q_g$ は $1$ に集中するので、$p_f(0)=1>0=q_g(0)$ により $D(p_f\|q_g)=\infty$ である。thm-kl-dpi は同じ $f$ で両方を送る場合の主張であり、異なる写像では「見え方」そのものが変わってしまう。
3 行目:$p$ の周辺分布はどちらも $(\frac12,\frac12)$ で、$q$ の周辺分布もどちらも $(\frac12,\frac12)$ である。$p(0,1)=\frac14>0=q(0,1)$ なので $D(p\|q)=\infty$ である。$q$ は積の分布ではない($q(0,1)=0\ne\frac14$)。
4 行目:$H(p)=\infty$ となる $p$ は エントロピー の反例の表 1 行目にある。$q=p$ なら $D(p\|q)=0$ で、$H(p,q)=H(p)=\infty$ である。$\square$
$f$ を $N(m_1,s_1^2)$、$g$ を $N(m_2,s_2^2)$ の密度とする($s_1,s_2>0$)。このとき
$$
D(f\|g)=\log\frac{s_2}{s_1}+\frac{s_1^2+(m_1-m_2)^2}{2s_2^2}-\frac12
$$
である。
どちらの密度もいたるところ正で、$\log\frac{f(x)}{g(x)}=\log\frac{s_2}{s_1}-\frac{(x-m_1)^2}{2s_1^2}+\frac{(x-m_2)^2}{2s_2^2}$ である。$X\sim N(m_1,s_1^2)$ なら $E[(X-m_1)^2]=s_1^2$、$E[(X-m_2)^2]=s_1^2+(m_1-m_2)^2$ なので、期待値をとって上の式を得る。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する