Hellinger距離

同義語:ヘリンジャー距離Hellinger distanceHellinger metric

概要

Hellinger距離(Hellinger distance)とは、確率測度 $P,Q$ の密度 $p,q$ の平方根どうしの $L^2$ 距離 $H(P,Q)=\bigl(\int(\sqrt p-\sqrt q)^2\,d\nu\bigr)^{1/2}$ で、確率測度の間の距離である。$H^2=2-2\rho$($\rho=\int\sqrt{pq}\,d\nu$ は Hellinger 親和度)は全変動距離と $\frac12H^2\le d_{\mathrm{TV}}\le H\sqrt{1-H^2/4}$ で比べられ、可測写像で増えず、独立な積では親和度が掛け算になるので、独立な $n$ 回の観測での検定の誤りは $\frac12\rho^{2n}$ と $\rho^n$ の間にある。各座標が同値な無限直積測度は、親和度の積が正なら同値、$0$ なら特異である(角谷の二者択一)。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率測度, Radon–Nikodymの定理, 積測度, 条件付き期待値

Hellinger距離(Hellinger distance)は、2 つの確率分布の近さを、密度の平方根どうしの $L^2$ 距離で測る量である。確率密度 $p,q$ について
$$H^2(P,Q)=\int\bigl(\sqrt p-\sqrt q\bigr)^2\,d\nu=2-2\int\sqrt{pq}\,d\nu$$
とおく。平方根をとるのは、密度 $p$ は $L^1$ の元だが $\sqrt p$ は $L^2$ の単位球面の元になり、Hilbert 空間の幾何が使えるからである。
全変動距離が「1 回の観測で 2 つの分布を見分ける力」を測るのに対し、Hellinger 距離は 独立な観測を重ねたときの振る舞い を扱いやすい。独立な積については $1-\frac12H^2$ が掛け算になり(thm-hel-tensor)、全変動距離とは上下から比べられる(thm-hel-lecam)。この 2 つを合わせると、$n$ 個の独立な観測による検定の誤りの確率が $n H^2$ の大きさで決まることが分かる(cor-hel-testing)。無限個の独立な座標については、角谷静夫の二者択一(thm-hel-kakutani)により、無限直積測度が同値になるか互いに特異になるかが Hellinger 距離の 2 乗の和で決まる。

結果内容扱い
prop-hel-basic値の範囲と距離の公理証明
thm-hel-lecam全変動距離との上下の比較証明
thm-hel-dpi可測写像で増えない(データ処理不等式)証明
thm-hel-tensor積測度での乗法性証明
cor-hel-testing独立な $n$ 回の観測による検定の誤り証明
prop-hel-klKL ダイバージェンスとの比較証明
thm-hel-kakutani角谷の二者択一証明

定義

$(X,\mathcal X)$ を可測空間、$P,Q$ をその上の確率測度とする。$P$ と $Q$ がともに絶対連続になる σ-有限な測度 $\nu$(たとえば $\nu=\frac12(P+Q)$)をとり、Radon–Nikodymの定理 による密度を $p:=dP/d\nu$、$q:=dQ/d\nu$ とする。

Hellinger 距離と Hellinger 親和度

$$\rho(P,Q):=\int_X\sqrt{p\,q}\,d\nu,\qquad H^2(P,Q):=\int_X\bigl(\sqrt p-\sqrt q\bigr)^2\,d\nu=2-2\rho(P,Q)$$
とおき、$\rho(P,Q)$ を Hellinger 親和度(Bhattacharyya 係数)、$H(P,Q):=\sqrt{H^2(P,Q)}$ を Hellinger 距離 という。どちらも $\nu$ の選び方によらない。

$\nu$ によらないこと:$\nu,\nu'$ がともに $P,Q$ を支配するとき、$\nu'':=\nu+\nu'$ について $r:=d\nu/d\nu''$ とおくと $dP/d\nu''=pr$、$dQ/d\nu''=qr$ で、$\int\sqrt{pr\cdot qr}\,d\nu''=\int\sqrt{pq}\,r\,d\nu''=\int\sqrt{pq}\,d\nu$ である。$\nu'$ についても同じなので、$\nu$ と $\nu'$ で同じ値になる。$H^2=2-2\rho$ は $\int p\,d\nu=\int q\,d\nu=1$ から展開して出る。
$H^2$ を $\frac12\int(\sqrt p-\sqrt q)^2\,d\nu$ と正規化する文献もあり、そのときの値は $[0,1]$ に入る。この記事は PW24 (7.5)(p. 117)と同じく係数をつけない。

値の範囲と距離の公理
  1. $0\le\rho(P,Q)\le1$、$0\le H^2(P,Q)\le2$。
  2. $H^2(P,Q)=0$ と $P=Q$ は同値である。
  3. $H^2(P,Q)=2$($\rho=0$)と、$P,Q$ が互いに特異であること($P(A)=0$、$Q(A)=1$ となる $A$ があること)は同値である。
  4. $H$ は $(X,\mathcal X)$ 上の確率測度全体の上の距離である。
$L^2(\nu)$ の単位ベクトルとして見る

要点:$\sqrt p,\sqrt q$ は $L^2(\nu)$ の単位ベクトルで、$\rho$ はその内積、$H$ は差のノルムである。

詳しい証明を開く

$\sqrt p,\sqrt q$ は $L^2(\nu)$ のノルム $1$ の元で、$\rho$ はその内積である。

1. Cauchy–Schwarz の不等式で $\rho\le\|\sqrt p\|\,\|\sqrt q\|=1$。$\rho\ge0$ は被積分関数が非負だから。$H^2=2-2\rho$ から $H^2$ の範囲が出る。 2. $H^2=0$ なら $\sqrt p=\sqrt q$ が $\nu$-a.e. で、$P=Q$。逆は明らか。 3. $\rho=0$ なら $pq=0$ が $\nu$-a.e. である。$A:=\{q>0\}$ とおくと $Q(A)=1$ で、$A$ の上で $p=0$ が $\nu$-a.e. なので $P(A)=0$。逆に $P(A)=0$、$Q(A)=1$ なら、$A$ の上で $p=0$、$A$ の外で $q=0$ が $\nu$-a.e. で、$\rho=0$ である。 4. 3 つの確率測度 $P,Q,R$ を同時に支配する $\nu=\frac13(P+Q+R)$ をとると、$H(P,Q)=\|\sqrt p-\sqrt q\|_{L^2(\nu)}$ なので、三角不等式は $L^2(\nu)$ のノルムの三角不等式である。対称性は定義から、$H(P,Q)=0\Leftrightarrow P=Q$ は 2 から出る。$\square$

$H^2$ 自身は三角不等式を満たさない。$\{0,1\}$ 上で $\delta_0$、$\delta_1$ と公平な硬貨 $B$ を比べると、$H^2(\delta_0,\delta_1)=2$ だが、$H^2(\delta_0,B)=H^2(B,\delta_1)=(1-\sqrt{1/2})^2+\frac12=2-\sqrt2$ で、和は $4-2\sqrt2\approx1.17< 2$ である。

よく使う分布の親和度
分布の組$\rho(P,Q)$
Bernoulli 分布 $\mathrm{Ber}(a)$ と $\mathrm{Ber}(b)$$\sqrt{ab}+\sqrt{(1-a)(1-b)}$
正規分布 $N(a,\sigma^2)$ と $N(b,\sigma^2)$$\exp\bigl(-(a-b)^2/(8\sigma^2)\bigr)$
Poisson 分布 $\mathrm{Po}(a)$ と $\mathrm{Po}(b)$$\exp\bigl(-(\sqrt a-\sqrt b)^2/2\bigr)$
指数分布(率 $a$ と $b$)$2\sqrt{ab}/(a+b)$

正規分布は $\sqrt{\varphi_a\varphi_b}$ の指数を平方完成すると $-\frac{(x-(a+b)/2)^2}{2\sigma^2}-\frac{(a-b)^2}{8\sigma^2}$ になることから出る(分散が異なる場合の式は Feldman–Hájekの定理 にある)。Poisson 分布は $\sum_ke^{-(a+b)/2}\frac{(\sqrt{ab})^k}{k!}=e^{-(a+b)/2+\sqrt{ab}}$、指数分布は $\int_0^\infty\sqrt{ab}\,e^{-(a+b)x/2}\,dx$ である。

全変動距離との比較

全変動距離 $d_{\mathrm{TV}}(P,Q):=\sup_A\lvert P(A)-Q(A)\rvert$ は、確率測度 の命題「全変動距離の性質と密度による表示」により $\frac12\int\lvert p-q\rvert\,d\nu$ に等しい。

全変動距離との上下の比較

確率測度 $P,Q$ について
$$\frac12H^2(P,Q)\le d_{\mathrm{TV}}(P,Q)\le H(P,Q)\sqrt{1-\frac{H^2(P,Q)}4}.$$
親和度で書けば $1-\rho(P,Q)\le d_{\mathrm{TV}}(P,Q)\le\sqrt{1-\rho(P,Q)^2}$ である。

$\lvert p-q\rvert$ を平方根の差と和に分ける

$\lvert p-q\rvert=\lvert\sqrt p-\sqrt q\rvert\,(\sqrt p+\sqrt q)$ である。
下からの評価:$\lvert\sqrt p-\sqrt q\rvert\le\sqrt p+\sqrt q$ なので $(\sqrt p-\sqrt q)^2\le\lvert p-q\rvert$ で、積分して $H^2\le2d_{\mathrm{TV}}$。
上からの評価:Cauchy–Schwarz の不等式により
$$2d_{\mathrm{TV}}=\int\lvert\sqrt p-\sqrt q\rvert(\sqrt p+\sqrt q)\,d\nu\le\Bigl(\int(\sqrt p-\sqrt q)^2d\nu\Bigr)^{1/2}\Bigl(\int(\sqrt p+\sqrt q)^2d\nu\Bigr)^{1/2}=H\sqrt{4-H^2}$$
である。$\int(\sqrt p+\sqrt q)^2d\nu=2+2\rho=4-H^2$ を使った。両辺を $2$ で割ればよい。親和度の形は $H^2=2(1-\rho)$ と $H^2(1-H^2/4)=2(1-\rho)\cdot\frac{1+\rho}2=1-\rho^2$ から出る。$\square$

PW24 (7.22)(p. 124)と同じ不等式である。とくに $H(P_n,Q_n)\to0$ と $d_{\mathrm{TV}}(P_n,Q_n)\to0$ は同値で、$H^2(P_n,Q_n)\to2$ と $d_{\mathrm{TV}}(P_n,Q_n)\to1$ も同値である。収束の速さは違いうる:$d_{\mathrm{TV}}$ は $H^2$ と $H$ の間にある。

データ処理不等式と積での乗法性

データ処理不等式

$T\colon(X,\mathcal X)\to(Y,\mathcal Y)$ を可測写像とし、像測度を $P_T:=P\circ T^{-1}$、$Q_T:=Q\circ T^{-1}$ とする。このとき $\rho(P_T,Q_T)\ge\rho(P,Q)$、すなわち $H(P_T,Q_T)\le H(P,Q)$ である。

条件付き期待値に Cauchy–Schwarz を使う

$\nu:=\frac12(P+Q)$ は確率測度で、$p,q\le2$ である。$\mathcal G:=\sigma(T)=\{T^{-1}(B):B\in\mathcal Y\}$ とし、$\nu$ のもとでの 条件付き期待値 を $E[\cdot\mid\mathcal G]$ と書く。$\mathcal G$-可測な関数は $Y$ 上の可測関数と $T$ の合成で書けるので、$E[p\mid\mathcal G]=\bar p\circ T$、$E[q\mid\mathcal G]=\bar q\circ T$ となる可測な $\bar p,\bar q\ge0$ がある。$B\in\mathcal Y$ について $P_T(B)=\int\mathbf 1_B(T)\,p\,d\nu=\int\mathbf 1_B(T)\,\bar p(T)\,d\nu=\int_B\bar p\,d\nu_T$ なので、$\bar p,\bar q$ は $\nu_T:=\nu\circ T^{-1}$ に関する $P_T,Q_T$ の密度で、
$$\rho(P_T,Q_T)=\int\sqrt{\bar p\,\bar q}\,d\nu_T=\int\sqrt{E[p\mid\mathcal G]\,E[q\mid\mathcal G]}\,d\nu$$
である。
$U:=\sqrt p$、$V:=\sqrt q$(有界)について、条件付きの Cauchy–Schwarz の不等式 $E[UV\mid\mathcal G]^2\le E[U^2\mid\mathcal G]\,E[V^2\mid\mathcal G]$ a.s. を示す。有理数 $t$ ごとに $0\le E[(U+tV)^2\mid\mathcal G]=a+2tb+t^2c$ a.s.($a:=E[U^2\mid\mathcal G]$、$b:=E[UV\mid\mathcal G]$、$c:=E[V^2\mid\mathcal G]$)が成り立つ。可算個の零集合を除くとすべての有理数 $t$ で同時に成り立ち、$t$ について連続なのですべての実数 $t$ で成り立つので、判別式から $b^2\le ac$ である。
よって $\sqrt{E[p\mid\mathcal G]E[q\mid\mathcal G]}\ge E[\sqrt{pq}\mid\mathcal G]$ a.s. で、積分すると $\rho(P_T,Q_T)\ge E[\sqrt{pq}]=\rho(P,Q)$ である。$\square$

観測 $x$ を加工した $T(x)$ だけから 2 つの分布を見分ける問題は、もとの問題より易しくならない、という意味である。

積測度での乗法性

$(X_i,\mathcal X_i)$ 上の確率測度 $P_i,Q_i$($i=1,\dots,n$)について
$$\rho\Bigl(\bigotimes_{i=1}^nP_i,\ \bigotimes_{i=1}^nQ_i\Bigr)=\prod_{i=1}^n\rho(P_i,Q_i),\qquad 1-\frac12H^2\Bigl(\bigotimes_iP_i,\bigotimes_iQ_i\Bigr)=\prod_{i=1}^n\Bigl(1-\frac12H^2(P_i,Q_i)\Bigr).$$

積の密度は密度の積

$\nu_i:=\frac12(P_i+Q_i)$、$p_i,q_i$ をその密度とする。積測度 の命題「密度をもつ測度の積」を繰り返し使うと、$\bigotimes_iP_i$ と $\bigotimes_iQ_i$ は $\bigotimes_i\nu_i$ について密度 $\prod_ip_i(x_i)$、$\prod_iq_i(x_i)$ をもつ。よって
$$\rho\Bigl(\bigotimes_iP_i,\bigotimes_iQ_i\Bigr)=\int\prod_i\sqrt{p_i(x_i)q_i(x_i)}\,d\Bigl(\bigotimes_i\nu_i\Bigr)=\prod_i\int\sqrt{p_iq_i}\,d\nu_i$$
で、最後の等号は非負関数についての Fubini の定理(Tonelli)である。2 つ目の式は $1-\frac12H^2=\rho$ による。$\square$

PW24 (7.26)(p. 125)と同じ式である。直積でない測度ではこの式は成り立つとは限らない(rem-hel-counterexamples の 3 行目)。

独立な観測による検定

$P$ と $Q$ のどちらかから独立に $n$ 個の観測 $x_1,\dots,x_n$ を得て、どちらの分布かを当てる。$X^n$ の可測集合 $A$ を「$P$ と判定する領域」とする検定の誤りの和を $\mathrm{err}(A):=P^{\otimes n}(X^n\setminus A)+Q^{\otimes n}(A)$ とし、$\mathrm{err}_n:=\inf_A\mathrm{err}(A)$ とおく。$\mathrm{err}(A)=1-\bigl(P^{\otimes n}(A)-Q^{\otimes n}(A)\bigr)$ なので、$\mathrm{err}_n=1-d_{\mathrm{TV}}(P^{\otimes n},Q^{\otimes n})$ である(PW24 Theorem 7.7、p. 122)。

検定の誤りの上下からの評価

$\rho:=\rho(P,Q)$ とすると
$$\frac12\rho^{2n}\le1-\sqrt{1-\rho^{2n}}\le\mathrm{err}_n\le\rho^n.$$
とくに $P\ne Q$ なら $\mathrm{err}_n$ は指数関数的に $0$ に近づく。分布の組が $n$ ごとに $P_n,Q_n$ と変わる場合、$nH^2(P_n,Q_n)\to\infty$ なら $\mathrm{err}_n\to0$、$nH^2(P_n,Q_n)\to0$ なら $\mathrm{err}_n\to1$ である。

thm-hel-tensor により $\rho(P^{\otimes n},Q^{\otimes n})=\rho^n$ で、thm-hel-lecam の親和度の形から $1-\rho^n\le d_{\mathrm{TV}}(P^{\otimes n},Q^{\otimes n})\le\sqrt{1-\rho^{2n}}$ である。$\mathrm{err}_n=1-d_{\mathrm{TV}}$ に代入し、$\sqrt{1-u}\le1-\frac u2$($0\le u\le1$)を使う。$P\ne Q$ なら prop-hel-basic から $\rho< 1$ である。
$\rho_n:=\rho(P_n,Q_n)=1-\frac12H^2(P_n,Q_n)$ とおく。$1-x\le e^{-x}$ から $\mathrm{err}_n\le\rho_n^n\le\exp(-\frac n2H^2(P_n,Q_n))$ である。また $(1-x)^{2n}\ge1-2nx$($0\le x\le1$、Bernoulli の不等式)から $\rho_n^{2n}\ge1-nH^2(P_n,Q_n)$ で、$nH^2\to0$ なら $\rho_n^{2n}\to1$、下からの評価により $\mathrm{err}_n\to1$ である。$\square$

PW24 Theorem 7.8(p. 124)は後半を全変動距離の言葉で述べている。1 回の観測での全変動距離が小さくても、$n$ 回の観測で見分けられるかどうかは $H^2$ と $1/n$ の比で決まる。

KL ダイバージェンスとの比較

$\mathrm{KL}(P\|Q):=\int p\log(p/q)\,d\nu$(自然対数)について
$$H^2(P,Q)\le-2\log\rho(P,Q)\le\mathrm{KL}(P\|Q).$$

$\mathrm{KL}=\infty$ なら右の不等式は自明なので、$\mathrm{KL}< \infty$ とする。このとき $P(q=0)=0$ である。$P$ のもとで $\log$ は凹なので Jensenの不等式 により
$$-\frac12\mathrm{KL}(P\|Q)=\int_{\{p>0\}}p\log\sqrt{q/p}\,d\nu\le\log\int_{\{p>0\}}p\sqrt{q/p}\,d\nu=\log\rho(P,Q)$$
である。左の不等式は $-\log\rho\ge1-\rho$ と $H^2=2(1-\rho)$ による。$\square$

$-2\log\rho$ は次数 $\frac12$ の Rényi ダイバージェンスである(PW24 p. 145)。Kullback–Leiblerダイバージェンス の Pinsker の不等式と並べると、$d_{\mathrm{TV}}$・$H$・$\mathrm{KL}$ の大小関係がそろう。

角谷の二者択一

$(E_k,\mathcal E_k)$($k\ge1$)を可測空間、$P_k,Q_k$ をその上の確率測度とし、無限直積 $\prod_kE_k$ の積 σ-代数の上の無限直積測度 $P:=\bigotimes_kP_k$、$Q:=\bigotimes_kQ_k$ を考える(存在と一意性は Ionescu-Tulceaの定理 の系「任意の確率空間の無限直積」)。$\rho_k:=\rho(P_k,Q_k)$ とおく。

角谷の二者択一

各 $k$ で $P_k$ と $Q_k$ が同値(互いに絶対連続)であるとする。

  1. $\prod_k\rho_k>0$ と $\sum_kH^2(P_k,Q_k)< \infty$ は同値である。
  2. これが成り立てば $P$ と $Q$ は同値である。
  3. 成り立たなければ $P$ と $Q$ は互いに特異である。
    とくに $P$ と $Q$ は、同値であるか互いに特異であるかのどちらかである。
特異な側はデータ処理、同値な側は密度の平方根の $L^2$ 収束

1. $P_k$ と $Q_k$ は同値なので、$\nu_k$ に関する密度は $P_k$-a.s. に $p_k>0$ かつ $q_k>0$ で、$\rho_k>0$ である。$\rho_k\le1$ と $H^2(P_k,Q_k)=2(1-\rho_k)$ に注意する。$0< x\le1$ で $1-x\le-\log x$ であり、$\frac12\le x\le1$ では $-\log x=\int_x^1\frac{dt}t\le\frac{1-x}x\le2(1-x)$ である。$\prod_k\rho_k>0$ なら $\sum_k(-\log\rho_k)< \infty$ なので $\sum_k(1-\rho_k)< \infty$。逆に $\sum_k(1-\rho_k)< \infty$ なら $\rho_k\to1$ で、有限個を除いて $\rho_k\ge\frac12$ だから $\sum_k(-\log\rho_k)< \infty$、すなわち $\prod_k\rho_k>0$ である。
3. 射影 $\pi_n\colon x\mapsto(x_1,\dots,x_n)$ による像は $P\circ\pi_n^{-1}=\bigotimes_{k\le n}P_k$、$Q\circ\pi_n^{-1}=\bigotimes_{k\le n}Q_k$ である。thm-hel-dpi と thm-hel-tensor から、すべての $n$ で
$$\rho(P,Q)\le\rho\Bigl(\bigotimes_{k\le n}P_k,\bigotimes_{k\le n}Q_k\Bigr)=\prod_{k\le n}\rho_k$$
である。$\prod_k\rho_k=0$ なら $\rho(P,Q)=0$ で、prop-hel-basic の 3 により $P$ と $Q$ は互いに特異である。この向きには $P_k$ と $Q_k$ の同値性を使わない。
2. $f_k:=dQ_k/dP_k$ とし、$G_n(x):=\prod_{k\le n}\sqrt{f_k(x_k)}$ とおく。$P$ のもとで座標は独立で、$\int f_k\,dP_k=1$、$\int\sqrt{f_k}\,dP_k=\rho_k$($\nu_k:=P_k$ として定義を当てる)なので、$n< m$ について
$$E_P[G_n^2]=1,\qquad E_P[G_nG_m]=\prod_{n< k\le m}\rho_k,\qquad E_P\bigl[(G_m-G_n)^2\bigr]=2-2\prod_{n< k\le m}\rho_k$$
である。無限積 $\prod_k\rho_k$ は正の値に収束するので、$\prod_{n< k\le m}\rho_k=\prod_{k\le m}\rho_k\big/\prod_{k\le n}\rho_k$ は $n,m\to\infty$ で $1$ に近づき、$(G_n)$ は $L^2(P)$ の Cauchy 列である。極限を $G$ とする。$\lvert G_n^2-G^2\rvert=\lvert G_n-G\rvert(G_n+G)$ と Cauchy–Schwarz の不等式から、$G_n^2\to G^2$ は $L^1(P)$ で成り立つ。
最初の $n_0$ 個の座標で決まる集合 $C=\pi_{n_0}^{-1}(B)$ と $n\ge n_0$ について、積測度 の命題「密度をもつ測度の積」から $\bigotimes_{k\le n}Q_k$ は $\bigotimes_{k\le n}P_k$ について密度 $\prod_{k\le n}f_k$ をもつので、$Q(C)=\int_CG_n^2\,dP$ である。$n\to\infty$ として $Q(C)=\int_CG^2\,dP$ を得る。このような集合の全体は共通部分で閉じ積 σ-代数を生成するので、Dynkinのπ-λ定理 により $Q=G^2P$、とくに $Q\ll P$ である。$\rho_k$ は $P_k$ と $Q_k$ について対称なので、役割を入れ替えて $P\ll Q$ も得る。$\square$

主張は角谷静夫(1948)による(Kak48)。Dur19 Theorem 4.3.8(p. 229)は実数列の空間について同じ二者択一をマルチンゲール収束定理で証明している。2 の議論を $\mathbb R$ 上の分布について述べたものが Feldman–Hájekの定理 の補題「積測度の同値(角谷)」で、Gauss 測度の二者択一はこの定理に帰着される。

平均のずれた正規分布の列

$P_k:=N(0,1)$、$Q_k:=N(m_k,1)$ とする。ex-hel-values から $\rho_k=e^{-m_k^2/8}$ で、$\prod_k\rho_k=\exp(-\frac18\sum_km_k^2)$ である。よって $\bigotimes_kN(0,1)$ と $\bigotimes_kN(m_k,1)$ は、$\sum_km_k^2< \infty$ なら同値、そうでなければ互いに特異である。$m_k=1/k$ なら同値、$m_k=1/\sqrt k$ なら特異である。

偏った硬貨の列

$P_k:=\mathrm{Ber}(\frac12)$、$Q_k:=\mathrm{Ber}(a_k)$($0< a_k< 1$)とする。$P_k$ と $Q_k$ は同値で、
$$H^2(P_k,Q_k)=\bigl(\sqrt{a_k}-\sqrt{1/2}\bigr)^2+\bigl(\sqrt{1-a_k}-\sqrt{1/2}\bigr)^2$$
である。$(\sqrt a-\sqrt{1/2})^2=\frac{(a-1/2)^2}{(\sqrt a+\sqrt{1/2})^2}$ で、分母は $\frac12$ 以上 $4$ 以下なので、$\frac12(a_k-\frac12)^2\le H^2(P_k,Q_k)\le4(a_k-\frac12)^2$ である。したがって $\bigotimes_kQ_k$ が公平な硬貨の列の分布と同値であるのは $\sum_k(a_k-\frac12)^2< \infty$ のときに限り、そうでなければ互いに特異である(Dur19 Exercise 4.3.8 の特別な場合)。

反例

外した仮定例成り立たなくなる結論
各 $P_k$ と $Q_k$ が同値(thm-hel-kakutani)$P_1:=\delta_0$、$Q_1:=\mathrm{Ber}(\frac12)$、$k\ge2$ では $P_k=Q_k=\mathrm{Ber}(\frac12)$「同値か互いに特異か」の二者択一($\prod\rho_k>0$ なのに同値でない)
$Q$ が直積測度であること(thm-hel-kakutani)$P:=\bigotimes_k\mathrm{Ber}(\frac12)$、$Q:=\frac12P+\frac12\delta_{(0,0,\dots)}$「同値か互いに特異か」の二者択一
測度が直積であること(thm-hel-tensor)$\{0,1\}^2$ 上で $P$ を $(Y,Y)$、$Q$ を $(Z,Z)$ の分布とする($Y\sim\mathrm{Ber}(a)$、$Z\sim\mathrm{Ber}(b)$、$a\ne b$、$\{a,b\}\ne\{0,1\}$)親和度が周辺分布の親和度の積になること
反例の確かめ

要点:各行で親和度と、$P\ll Q$・$Q\ll P$ の成否を直接計算する。

詳しい証明を開く

1 行目:$\rho_1=\sqrt{1\cdot\frac12}=\frac1{\sqrt2}$、$k\ge2$ では $\rho_k=1$ で、$\prod_k\rho_k=\frac1{\sqrt2}>0$ である。$P_1\ll Q_1$ は成り立つが $Q_1\ll P_1$ は成り立たない。$P\le2Q$ なので $P\ll Q$ で、$P$ と $Q$ は互いに特異でない。一方 $Q(x_1=1)=\frac12$、$P(x_1=1)=0$ なので $Q\not\ll P$ で、同値でもない。外したのは同値性だけで、直積の形はそのままである。

2 行目:$P$ は直積、$Q$ は直積でない(座標は $Q$ のもとで独立でない:$Q(x_1=0)=Q(x_2=0)=\frac34$、$Q(x_1=x_2=0)=\frac58\ne\frac9{16}$)。$P\le2Q$ なので $P\ll Q$ で、特異でない。$Q(\{(0,0,\dots)\})=\frac12$、$P(\{(0,0,\dots)\})=0$ なので $Q\not\ll P$ である。

3 行目:$P,Q$ は対角線 $\{(0,0),(1,1)\}$ に集中し、$\rho(P,Q)=\sqrt{ab}+\sqrt{(1-a)(1-b)}=\rho(\mathrm{Ber}(a),\mathrm{Ber}(b))=:r$ である。周辺分布はどちらの座標も $\mathrm{Ber}(a)$ と $\mathrm{Ber}(b)$ なので、その親和度の積は $r^2$ である。$a\ne b$ なら prop-hel-basic の 2 により $r< 1$ で、$r\ne r^2$ である($r>0$ のとき。$\{a,b\}=\{0,1\}$ では $r=0$ で等しくなるので除く)。

補足

名前

$\rho$ は Bhattacharyya 係数とも呼ばれる(PW24 p. 117)。

関連項目

参考文献

[1]
Yury Polyanskiy, Yihong Wu, Information Theory: From Coding to Learning, Cambridge University Press, 2025, 著者公開の刊行前版(2024-08-16)の頁:(7.5)(Hellinger 距離の 2 乗と Bhattacharyya 係数、p. 117)、Theorem 7.7(全変動距離と検定の誤り、p. 122)、(7.22)・Theorem 7.8(p. 124)、(7.25)・(7.26)(積での乗法性、pp. 124–125)、Rényi ダイバージェンスの次数 1/2 との関係(p. 145)
[3]
Shizuo Kakutani, On equivalence of infinite product measures, Annals of Mathematics 49 (1948), no. 1, pp. 214–224, 1948

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する