事前分布と事後分布

同義語:事前分布事後分布prior distributionposterior distribution

概要

事前分布と事後分布(prior and posterior distributions)とは、Bayes 統計で、データの分布を決める未知の母数について、観測の前と後の不確かさを表す確率分布のことであり、事後分布の密度は事前分布の密度と尤度の積に比例する。事前分布で確率 $0$ の集合は事後分布でも確率 $0$ で、密度が十分統計量で因子分解されれば事後分布はその値だけで決まり、条件付き独立な観測は 1 つずつ取り込んでもまとめて取り込んでも同じ事後分布を与える。事後分布で平均した観測の分布を事後予測分布といい、全確率が無限大の非正則な事前分布では事後分布が定まるかを観測ごとに確かめる必要がある。母数の候補が有限個で、真の値に正の事前確率を置き、異なる候補が異なる分布を与えるなら、独立同分布の観測を増やすと事後分布は確率 $1$ で真の値に集中する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Bayes統計, 条件付き確率, 確率密度関数

事前分布(prior distribution)と 事後分布(posterior distribution)とは、Bayes統計 で、データの分布を決める未知の母数 $\theta$ について、観測の前と後の不確かさを表す確率分布のことである。観測値 $x$ を得たあとの事後分布の密度は、事前分布の密度と尤度($x$ を固定して $\theta$ の関数とみた密度)の積に比例する:
$$ \pi(\theta\mid x)\ \propto\ f(x;\theta)\,\pi(\theta). $$
この記事では、この更新規則そのものの性質を扱う。事前分布で確率 $0$ の集合は事後分布でも確率 $0$ であること、事後分布は十分統計量だけで決まること、観測を 1 つずつ取り込んでもまとめて取り込んでも同じ事後分布になること(thm-pp-sequential)、次の観測の分布を予測する事後予測分布、全確率が無限大の事前分布の扱いを述べる。主定理(thm-pp-consistency)は、母数の候補が有限個のとき、真の値に正の事前確率を置き、異なる候補が異なる分布を与えるなら、独立同分布の観測を増やすと事後分布が真の値に集中することである。

定義

この記事では Bayes統計 の節「設定と定義」と同じ統計モデルを使う。データの値の空間 $(\mathcal X,\mathcal A)$ の上の $\sigma$ 有限測度 $\mu$ と、母数空間 $\Theta$($\mathbb R^d$ の Borel 集合か可算集合)の上の測度 $\nu$(Lebesgue 測度か数え上げ測度)を固定し、各 $\theta\in\Theta$ に $\mu$ に関する確率密度 $f(\cdot\,;\theta)$ が与えられ、$(x,\theta)\mapsto f(x;\theta)$ は可測であるとする。$f(\cdot\,;\theta)$ が定める分布を $P_\theta$ と書く。

事前分布と事後分布

$\nu$ に関する確率密度 $\pi\colon\Theta\to[0,\infty)$ を 事前密度、それが定める $\Theta$ の上の確率分布 $\Pi(A):=\int_A\pi\,d\nu$ を 事前分布 という。観測値 $x\in\mathcal X$ について、$\theta\mapsto f(x;\theta)$ を 尤度 といい、
$$ p(x):=\int_\Theta f(x;\theta)\,\pi(\theta)\,\nu(d\theta)\in[0,\infty] $$
を 周辺密度 という。$0< p(x)< \infty$ のとき
$$ \pi(\theta\mid x):=\frac{f(x;\theta)\,\pi(\theta)}{p(x)},\qquad \Pi(A\mid x):=\int_A\pi(\theta\mid x)\,\nu(d\theta) $$
を、$x$ を観測したあとの 事後密度、事後分布 という。

これは Bayes統計 の定義「事前分布と事後分布」と同じである。母数を確率変数 $\vartheta$ とみて $(\vartheta,X)$ の同時分布を作ると、$\Pi(\cdot\mid X)$ は $X$ が与えられたときの $\vartheta$ の条件付き分布になり、周辺密度 $p$ は $X$ の密度である(同記事の定理「事後分布は条件付き分布である」)。ER10 Definition 7.1.1(p. 376)は事後分布をこの条件付き分布として定め、密度を上の式で与えている。分母 $p(x)$ は $\theta$ によらないので、事後密度を求めるには $f(x;\theta)\pi(\theta)$ を $\theta$ の関数として見て、積分が $1$ になるように定数倍すればよい(ER10 Example 7.1.1(pp. 376–377)の Bernoulli 模型とベータ分布の事前分布の計算)。

更新規則の基本性質

事後分布の基本性質

$x$ は $0< p(x)< \infty$ を満たすとする。

  1. 尤度を、$\theta$ によらない正の数 $g(x)$ を掛けた $g(x)f(x;\theta)$ に取り替えても、事後分布は変わらない。
  2. Borel 集合 $A\subset\Theta$ について $\Pi(A)=0$ なら $\Pi(A\mid x)=0$ である。さらにすべての $\theta$ で $f(x;\theta)>0$ なら、$\Pi(A\mid x)=0$ と $\Pi(A)=0$ は同値である。
  3. 可測関数 $T\colon\mathcal X\to\mathcal T$ と、可測関数 $g\colon\mathcal T\times\Theta\to[0,\infty)$、$h\colon\mathcal X\to[0,\infty)$ によって $f(x;\theta)=g(T(x),\theta)\,h(x)$ と書けるとする。$h(x)>0$ なら、事後密度は
    $$ \pi(\theta\mid x)=\frac{g(T(x),\theta)\,\pi(\theta)}{\int_\Theta g(T(x),\theta')\,\pi(\theta')\,\nu(d\theta')} $$
    であり、$x$ には $T(x)$ を通してだけ依存する。
分子と分母に同じ因子が現れる

1:周辺密度は $g(x)p(x)$ に変わり、$0< g(x)p(x)< \infty$ である。事後密度の分子と分母に同じ $g(x)$ が掛かるので、商は変わらない。
2:$\Pi(A)=0$ なら、$\nu$ についてほとんどすべての $\theta\in A$ で $\pi(\theta)=0$ なので、$\int_Af(x;\theta)\pi(\theta)\,\nu(d\theta)=0$ であり、$\Pi(A\mid x)=0$ である。逆に $f(x;\cdot)>0$ のとき $\Pi(A\mid x)=0$ なら、$\nu$ についてほとんどすべての $\theta\in A$ で $f(x;\theta)\pi(\theta)=0$、したがって $\pi(\theta)=0$ であり、$\Pi(A)=0$ である。
3:1 を $g(x):=1/h(x)$ に使うと、尤度を $g(T(x),\theta)$ に取り替えてよい。そのときの周辺密度 $p(x)/h(x)$ は正で有限であり、式の分母はこれに等しい。$\square$

2 は、事前分布で確率 $0$ とした母数の値は、どんな観測のあとでも確率 $0$ のままであることを表す。主定理の反例の表の 1 行目はこの帰結である。3 の形の分解は 十分統計量 の定理「密度の因子分解から十分性へ」の仮定であり、3 は「事後分布は十分統計量の値だけで決まる」ことを示す(ER10 Exercise 7.1.19(p. 384)はこの主張を演習にしている)。たとえば独立な Bernoulli 試行では表の回数、分散が既知の正規分布では標本平均だけで事後分布が決まる。

観測の逐次的な取り込み

2 種類の観測 $X\in\mathcal X_1$、$Y\in\mathcal X_2$ があり、$\theta$ を固定すると $X$ と $Y$ は独立で、それぞれ密度 $f_1(\cdot\,;\theta)$、$f_2(\cdot\,;\theta)$($\sigma$ 有限測度 $\mu_1$、$\mu_2$ に関する)をもつとする。組 $(X,Y)$ の密度は $f(x,y;\theta)=f_1(x;\theta)f_2(y;\theta)$ である。事前密度 $\pi$ についての $X$ だけの周辺密度を $p_1(x):=\int f_1(x;\theta)\pi(\theta)\,\nu(d\theta)$、$(X,Y)$ の周辺密度を $p(x,y):=\int f_1(x;\theta)f_2(y;\theta)\pi(\theta)\,\nu(d\theta)$ と書く。

逐次的な更新

$0< p_1(x)< \infty$ とし、$X=x$ のあとの事後密度 $\pi_1:=\pi(\cdot\mid x)$ を新しい事前密度として、$Y$ についての周辺密度を
$$ p_2(y\mid x):=\int_\Theta f_2(y;\theta)\,\pi_1(\theta)\,\nu(d\theta) $$
とおく。このとき $p(x,y)=p_1(x)\,p_2(y\mid x)$ であり、$0< p(x,y)< \infty$ と $0< p_2(y\mid x)< \infty$ は同値である。これが成り立つとき、$(x,y)$ をまとめて観測したあとの事後密度は、$\pi_1$ を事前密度として $y$ だけを観測したあとの事後密度に等しい:
$$ \pi(\theta\mid x,y)=\frac{f_2(y;\theta)\,\pi_1(\theta)}{p_2(y\mid x)}. $$

事後密度を事前密度に代入する

$\pi_1(\theta)=f_1(x;\theta)\pi(\theta)/p_1(x)$ を代入すると
$$ p_1(x)\,p_2(y\mid x)=\int_\Theta f_2(y;\theta)f_1(x;\theta)\pi(\theta)\,\nu(d\theta)=p(x,y) $$
である。$0< p_1(x)< \infty$ なので、$p(x,y)$ が正で有限であることと $p_2(y\mid x)$ が正で有限であることは同値である。そのとき
$$ \pi(\theta\mid x,y)=\frac{f_1(x;\theta)f_2(y;\theta)\pi(\theta)}{p(x,y)}=\frac{f_2(y;\theta)}{p_2(y\mid x)}\cdot\frac{f_1(x;\theta)\pi(\theta)}{p_1(x)} $$
であり、右辺の第 2 の因子が $\pi_1(\theta)$ である。$\square$

$X$ と $Y$ の役割を入れ替えても同じ $\pi(\theta\mid x,y)$ になるので、観測を取り込む順序は結果に影響しない。独立同分布の観測 $x_1,\dots,x_n$ なら、1 つずつ取り込むことを $n$ 回繰り返しても、尤度 $\prod_if(x_i;\theta)$ でまとめて更新しても同じである。事象の場合の同じ主張は Bayesの定理 の定理「逐次的な Bayes の更新」である。

事後予測分布

まだ観測していない $Y$ の値を、観測 $x$ にもとづいて予測したい。前節の設定で、$\theta$ ごとの $Y$ の密度 $f_2(y;\theta)$ を事後分布で平均したもの
$$ q(y\mid x):=\int_\Theta f_2(y;\theta)\,\pi(\theta\mid x)\,\nu(d\theta) $$
を 事後予測密度 といい、それが定める $\mathcal X_2$ の上の分布を 事後予測分布 という(ER10 §7.2.4(pp. 400–401))。定義から $q(y\mid x)=p_2(y\mid x)$ であり、thm-pp-sequential により $q(y\mid x)=p(x,y)/p_1(x)$ である。

事後予測分布は条件付き分布である

$\Theta\times\mathcal X_1\times\mathcal X_2$ の上の確率変数 $(\vartheta,X,Y)$ が $\nu\otimes\mu_1\otimes\mu_2$ に関する密度 $\pi(\theta)f_1(x;\theta)f_2(y;\theta)$ をもつとする。$0< p_1(x)< \infty$ となる $x$ について $q(\cdot\mid x)$ は $\mu_2$ に関する確率密度であり、可測集合 $B\subset\mathcal X_1$、$C\subset\mathcal X_2$ について
$$ P(X\in B,\ Y\in C)=\int_{B\cap\{0< p_1< \infty\}}\Bigl(\int_Cq(y\mid x)\,\mu_2(dy)\Bigr)p_1(x)\,\mu_1(dx) $$
が成り立つ。すなわち $q(\cdot\mid X)$ は、$X$ が与えられたときの $Y$ の条件付き分布の密度である。

積分の順序を入れ替える

被積分関数はどれも $0$ 以上で可測なので、Fubiniの定理(非負関数についての Tonelli の形)により積分の順序を自由に入れ替えられる。$\int_{\mathcal X_2}f_2(y;\theta)\,\mu_2(dy)=1$ から $\int q(y\mid x)\,\mu_2(dy)=\int\pi(\theta\mid x)\,\nu(d\theta)=1$ である。$X$ の密度は $p_1$ で、$P(p_1(X)\in\{0,\infty\})=0$ である(Bayes統計 の定理「事後分布は条件付き分布である」の 1)。$x\in B':=B\cap\{0< p_1< \infty\}$ では $q(y\mid x)p_1(x)=p(x,y)=\int\pi(\theta)f_1(x;\theta)f_2(y;\theta)\,\nu(d\theta)$ なので、右辺は
$$ \int_{B'}\int_C\int_\Theta\pi(\theta)f_1(x;\theta)f_2(y;\theta)\,\nu(d\theta)\,\mu_2(dy)\,\mu_1(dx)=P(X\in B',\ Y\in C)=P(X\in B,\ Y\in C) $$
である。$\square$

正規分布の次の観測の予測

$\sigma>0$ を既知とし、$\theta$ を固定すると $X_1,\dots,X_n,X_{n+1}$ が独立にどれも $N(\theta,\sigma^2)$ に従うとする。事前分布 $N(m_0,\tau_0^2)$ のもとでの $x=(x_1,\dots,x_n)$ のあとの事後分布は $N(m_n,\tau_n^2)$、$\tau_n^{-2}=\tau_0^{-2}+n\sigma^{-2}$、$m_n=\tau_n^2(m_0\tau_0^{-2}+n\bar x\sigma^{-2})$ である(Bayes統計 の定理「正規分布の平均の共役事前分布」)。$X_{n+1}$ の事後予測密度は
$$ q(y\mid x)=\int_{\mathbb R}\frac1{\sigma}\phi\Bigl(\frac{y-\theta}{\sigma}\Bigr)\frac1{\tau_n}\phi\Bigl(\frac{\theta-m_n}{\tau_n}\Bigr)d\theta\qquad\Bigl(\phi(z)=\frac{e^{-z^2/2}}{\sqrt{2\pi}}\Bigr) $$
で、これは $U\sim N(m_n,\tau_n^2)$ と $\varepsilon\sim N(0,\sigma^2)$ が独立なときの $U+\varepsilon$ の密度である。正規分布 の定理「独立な正規分布の和」により、事後予測分布は $N(m_n,\ \sigma^2+\tau_n^2)$ である。$\theta$ に推定値を代入した $N(\bar x,\sigma^2)$ と比べ、分散が母数の事後の不確かさ $\tau_n^2$ だけ大きい。$n\to\infty$ で $\tau_n^2\to0$ なので、この差は観測が増えると消える。

硬貨投げとベータ分布の事前分布では、次が表である事後予測確率が事後平均に等しい(ER10 Example 7.2.14(pp. 400–401)、de Finettiの定理 の例「次が表である確率(Laplace の継起則)」)。

非正則な事前分布

$\nu$ について可測な $\pi\colon\Theta\to[0,\infty)$ で $\int_\Theta\pi\,d\nu=\infty$ となるものを、非正則な事前分布(improper prior)という。確率分布ではないが、周辺密度 $p(x)$ を同じ式で定め、$0< p(x)< \infty$ なら同じ式で事後密度を定める。このとき事後密度の積分は $1$ で、事後分布は確率分布である。$\pi$ を正の定数倍 $c\pi$ に変えても事後分布は変わらない(分子と分母に $c$ が掛かる。ER10 Exercise 7.4.6(p. 428))。非正則な事前分布では $(\vartheta,X)$ の同時分布がないので、事後分布を条件付き分布として意味づけることはできず、$p(x)< \infty$ も個々の $x$ ごとに確かめる必要がある(ER10 §7.4.5(pp. 425–426))。

正規分布の平均と Poisson 分布の平均
  1. 定数の事前密度:ex-pp-normal-predictive の観測で $\Theta=\mathbb R$、$\pi\equiv1$ とする。尤度と事前密度の積は $\exp(-n(\theta-\bar x)^2/(2\sigma^2))$ の定数倍で、$\theta$ について積分は有限かつ正である。よってどの $x$ でも事後分布は $N(\bar x,\sigma^2/n)$ である(ER10 Example 7.4.5(p. 426))。これは正規分布の事前分布の $\tau_0\to\infty$ の極限と一致する。
  2. $\pi(\theta)=1/\theta$ と Poisson 分布:$\theta$ を固定すると $X_1,\dots,X_n$ が独立にどれも平均 $\theta>0$ の Poisson分布 に従うとし、$\Theta=(0,\infty)$、$\pi(\theta)=1/\theta$ とする。$s:=x_1+\dots+x_n$ とおくと、尤度は $e^{-n\theta}\theta^s/\prod_ix_i!$ なので
    $$ p(x)=\frac1{\prod_ix_i!}\int_0^\infty\theta^{s-1}e^{-n\theta}\,d\theta $$
    である。$s\ge1$ なら積分は $\Gamma(s)/n^s$ で有限、事後分布は形 $s$・率 $n$ の ガンマ分布 である。$s=0$(すべての観測が $0$)なら被積分関数は $\theta^{-1}e^{-n\theta}$ で、$\theta\to0$ の近くで積分が発散し、$p(x)=\infty$ となって事後分布は定まらない。真の $\theta$ のもとで $s=0$ となる確率は $e^{-n\theta}>0$ である。

二項分布の母数に $\pi(\theta)=1/(\theta(1-\theta))$ を置いた場合に、表だけ・裏だけの観測で事後分布が定まらないことは Bayes統計 の反例の表の 1 行目にある。

有限個の候補への事後分布の集中

$\Theta=\{\theta_0,\theta_1,\dots,\theta_m\}$ を有限集合、$\nu$ を数え上げ測度とし、$\pi(\theta)$ は $\theta$ の事前確率である。$X_1,X_2,\dots$ を独立にどれも $P_{\theta_0}$ に従う確率変数とし、$x=(x_1,\dots,x_n)$ の尤度を $\prod_{i=1}^nf(x_i;\theta)$ として、$\Pi_n(\cdot):=\Pi(\cdot\mid X_1,\dots,X_n)$ を事後分布とする。$\theta\ne\theta_0$ について
$$ K(\theta):=E\Bigl[\log\frac{f(X_1;\theta_0)}{f(X_1;\theta)}\Bigr]\qquad(\log(a/0):=\infty) $$
とおく(期待値が定まり、下の定理の識別可能性のもとで値が $(0,\infty]$ に入ることは、定理の証明の(a)で示す)。$\mathcal X$ が有限集合なら $K(\theta)$ は Kullback–Leiblerダイバージェンス $D(P_{\theta_0}\|P_\theta)$ である。

有限な母数空間での事後分布の一致性

$\pi(\theta_0)>0$ とし、$\theta\ne\theta_0$ なら $P_\theta\ne P_{\theta_0}$(識別可能性)とする。このとき確率 $1$ で次が成り立つ。

  1. すべての $n$ で $0< p(X_1,\dots,X_n)< \infty$ であり、事後分布 $\Pi_n$ が定まる。
  2. $\pi(\theta)>0$ となる $\theta\ne\theta_0$ について、$n\to\infty$ のとき
    $$ \frac1n\log\frac{\Pi_n(\{\theta\})}{\Pi_n(\{\theta_0\})}\to-K(\theta)\in[-\infty,0) $$
    である(左辺が $-\infty$ になる $n$ も許す)。
  3. $\Pi_n(\{\theta_0\})\to1$ である。

2 は、真の値でない候補の事後確率が、$K(\theta)$ を速さとして指数的に小さくなることを表す。$K(\theta)$ が小さい候補、すなわち真の分布と見分けにくい候補ほど、事後確率がゆっくり減る。

対数尤度比の大数の強法則

$f_0:=f(\cdot\,;\theta_0)$ と書く。$P(f_0(X_i)=0)=\int_{\{f_0=0\}}f_0\,d\mu=0$ なので、確率 $1$ ですべての $i$ で $f_0(X_i)>0$ である。以下この事象の上で考える。
1:$p(X_1,\dots,X_n)\ge\pi(\theta_0)\prod_{i\le n}f_0(X_i)>0$ であり、$p$ は有限個の有限な値の和なので有限である。
2:$\theta\ne\theta_0$、$\pi(\theta)>0$ とし、$R_i:=f(X_i;\theta)/f_0(X_i)\in[0,\infty)$、$Y_i:=\log R_i\in[-\infty,\infty)$ とおく。$Y_1,Y_2,\dots$ は独立で同じ分布に従い、事後確率の比は
$$ \frac{\Pi_n(\{\theta\})}{\Pi_n(\{\theta_0\})}=\frac{\pi(\theta)}{\pi(\theta_0)}\prod_{i=1}^nR_i,\qquad\frac1n\log\frac{\Pi_n(\{\theta\})}{\Pi_n(\{\theta_0\})}=\frac1n\log\frac{\pi(\theta)}{\pi(\theta_0)}+\frac1n\sum_{i=1}^nY_i $$
である。$E[Y_1]=-K(\theta)$ である。
(a)$E[Y_1]$ が $[-\infty,0)$ の値として定まること。$E[R_1]=\int_{\{f_0>0\}}f(x;\theta)\,\mu(dx)\le1$ である。$r\ge0$ について $\log r\le r-1$($\log0=-\infty$)で、等号は $r=1$ のときに限る。とくに $Y_1^+\le R_1$ なので $E[Y_1^+]\le1$ で、$E[Y_1]\in[-\infty,\infty)$ が定まる。$E[Y_1]=-\infty$ なら示すことはない。$E[Y_1]$ が有限なら、$R_1-1-Y_1\ge0$ の期待値は $E[R_1]-1-E[Y_1]\ge0$ なので $E[Y_1]\le E[R_1]-1\le0$ である。$E[Y_1]=0$ と仮定すると $E[R_1]=1$ かつ $E[R_1-1-Y_1]=0$ で、確率 $1$ で $R_1-1-Y_1=0$、すなわち $R_1=1$ となる。これは $\mu$ についてほとんどすべての $x\in\{f_0>0\}$ で $f(x;\theta)=f_0(x)$ であることを意味し、$E[R_1]=1$ から $\int_{\{f_0=0\}}f(x;\theta)\,\mu(dx)=0$ なので、$P_\theta=P_{\theta_0}$ となって識別可能性に反する。よって $E[Y_1]< 0$、すなわち $K(\theta)>0$ である。
(b)平均の収束。$P(Y_1=-\infty)=P(R_1=0)>0$ なら $E[Y_1]=-\infty$ であり、最初の $n$ 個がどれも $R_i>0$ である確率 $P(R_1>0)^n$ は $0$ に近づくので、確率 $1$ である $i$ で $R_i=0$ となり、それ以後の $n$ では比は $0$、左辺は $-\infty$ である。$P(Y_1=-\infty)=0$ なら $Y_i$ は実数値で、$E[Y_1]$ が有限なら 強大数の法則(Dur19 Theorem 2.4.1(p. 76))により $\frac1n\sum_{i\le n}Y_i\to E[Y_1]$、$E[Y_1]=-\infty$ なら $-Y_i$ に Dur19 Theorem 2.4.5(p. 78)($E[(-Y_1)^+]=\infty$、$E[(-Y_1)^-]=E[Y_1^+]< \infty$ の場合の大数の強法則)を当てて $\frac1n\sum_{i\le n}Y_i\to-\infty$ である。どちらの場合も $\frac1n\log(\pi(\theta)/\pi(\theta_0))\to0$ と合わせて 2 を得る。
3:2 から、$\pi(\theta)>0$ となる $\theta\ne\theta_0$ について確率 $1$ で $\Pi_n(\{\theta\})/\Pi_n(\{\theta_0\})\to0$ である(極限が負なので、十分大きい $n$ で比は $e^{-cn}$($c>0$)以下になる)。$\pi(\theta)=0$ なら prop-pp-basic の 2 により比はつねに $0$ である。候補は有限個なので
$$ \Pi_n(\{\theta_0\})=\Bigl(1+\sum_{\theta\ne\theta_0}\frac{\Pi_n(\{\theta\})}{\Pi_n(\{\theta_0\})}\Bigr)^{-1}\to1 $$
である。$\square$

$\mathcal X$ が有限集合ですべての確率が正の場合の、対数尤度比の平均が $D(p\|q)$ に近づくこと(大数の弱法則による)は Kullback–Leiblerダイバージェンス の命題「対数尤度比の平均」にある。上の証明の(a)は、その記事の定理「非負性(Gibbs の不等式)」を密度の場合に示したものにあたる。母数空間が連続な場合に、事後分布が真の値のまわりで正規分布に近づくことは Bernstein–von Misesの定理 で扱う。

3 枚の硬貨の候補

表の確率が $\Theta=\{0.3,0.5,0.7\}$ のどれかである硬貨を考え、事前確率をどれも $1/3$ とする。10 回投げて表が 7 回出たとき、事後確率は $\theta^7(1-\theta)^3$ に比例し、
$$ \Pi(\{0.3\}\mid x)\approx0.0229,\qquad\Pi(\{0.5\}\mid x)\approx0.2982,\qquad\Pi(\{0.7\}\mid x)\approx0.6789 $$
である。真の値が $\theta_0=0.7$ なら $K(0.5)=0.7\log1.4+0.3\log0.6\approx0.0823$、$K(0.3)=0.4\log(7/3)\approx0.3389$ で、thm-pp-consistency の 2 により、$0.5$ の事後確率の対数は 1 回あたり約 $0.082$、$0.3$ のそれは約 $0.339$ の割合で $0.7$ のそれより小さくなっていく。

反例

thm-pp-consistency の仮定を 1 つずつ外す。

外す条件例成り立たなくなること
$\pi(\theta_0)>0$$\Theta=\{1/3,2/3\}$、真の値 $\theta_0=1/3$、$\pi(1/3)=0$、$\pi(2/3)=1$$\Pi_n(\{\theta_0\})\to1$(3)
識別可能性$\Theta=\{\theta_0,\theta_1\}$ で $f(\cdot\,;\theta_1)=f(\cdot\,;\theta_0)$、事前確率は $1/2$ ずつ$\Pi_n(\{\theta_0\})\to1$(3)
$X_1,X_2,\dots$ が独立$\Theta=\{1/3,2/3\}$ の硬貨、$\theta_0=1/3$、事前確率は $1/2$ ずつ、$X_1$ は確率 $1/3$ で表、$X_i:=X_1$($i\ge2$)確率 $1$ で $\Pi_n(\{\theta_0\})\to1$(3)
反例の表の確かめ
確かめを開く

1 行目:prop-pp-basic の 2 により $\Pi_n(\{1/3\})=0$ がすべての $n$ で成り立つ。2 つの候補の分布は異なり、観測は独立同分布である。

2 行目:尤度はどの観測でも 2 つの候補で等しいので、事後確率は事前確率のまま $\Pi_n(\{\theta_0\})=1/2$ である。$\pi(\theta_0)>0$ で、観測は独立同分布である。

3 行目:各 $X_i$ は $X_1$ と同じく確率 $1/3$ で表($1$)をとるので、どの $X_i$ も真の分布 $P_{\theta_0}$ に従う。外したのは独立性だけである。$X_1=1$(確率 $1/3$)のとき、$n$ 回とも表なので事後確率の比は $(1/3)^n/(2/3)^n=2^{-n}$、$\Pi_n(\{\theta_0\})=2^{-n}/(1+2^{-n})=1/(2^n+1)\to0$ である。$X_1=0$ のときは比が $2^n$ で $\Pi_n(\{\theta_0\})\to1$ なので、収束が成り立つ確率は $2/3$ であり、$1$ でない。

関連項目

参考文献

[1]
Michael J. Evans, Jeffrey S. Rosenthal, Probability and Statistics: The Science of Uncertainty, W. H. Freeman, 2010, §7.1 Definition 7.1.1(p. 376)、Example 7.1.1(pp. 376–377)、Exercise 7.1.19(p. 384)、§7.2.4 Prediction・Example 7.2.14(pp. 400–401)、§7.4.5 Improper Priors and Noninformativity(pp. 425–426)、Example 7.4.5(p. 426)、Exercise 7.4.6(p. 428)
[2]
Rick Durrett, Probability: Theory and Examples, Cambridge University Press, 2019, Theorem 2.4.1(大数の強法則、p. 76)、Theorem 2.4.5(期待値が無限大の場合の大数の強法則、p. 78)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する