Bayes統計
概要
Bayes統計（Bayesian statistics）とは、データの分布を決める未知の母数を確率変数とみなし、観測前の不確かさを事前分布、観測後の不確かさを事後分布で表して推論する統計学の方法である。事後密度は尤度と事前密度の積に比例し、事後分布は観測値が与えられたときの母数の条件付き分布である。推定では、損失の期待値を事前分布で平均した Bayes リスクを最小にする Bayes 推定量は、観測値ごとに事後期待損失を最小にし Bayes リスクが有限な推定量として得られ、事前分布の 2 次の積率が有限なら 2 乗損失では事後平均、1 次の積率が有限なら絶対損失では事後分布の中央値になる。区間は事後確率で定める信用区間で表し、分散が既知の正規分布の平均の事前分布に正規分布、二項分布の確率にベータ分布を使うと事後分布が同じ族に入る。
Bayes 統計は、データの分布を決める未知の母数 $\theta$ そのものを確率変数とみなし、観測の前の不確かさを 事前分布、観測のあとの不確かさを 事後分布 という確率分布で表して推論する統計学の方法である。事後分布は 条件付き確率 の定理「Bayesの定理」を密度の形にした
$$
\text{事後密度}\;\propto\;\text{尤度}\times\text{事前密度}
$$
で求まり、推定や区間は事後分布から作る。母数を未知の定数として扱い、尤度を最大にする 最尤推定 と並ぶ、推定の基本的な考え方である。
この記事では、事後分布が母数の条件付き分布であることを証明し（主定理 1）、分散が既知の正規分布の平均について共役事前分布を計算する。中心の節は Bayes 推定 で、損失関数の期待値（Bayes リスク）を最小にする推定量は、事後期待損失を各点で最小にし Bayes リスクが有限な推定量として得られること、事前分布の 2 次の積率が有限なら、2 乗損失では事後平均がそれであること（主定理 2）を示す。最後に信用区間を定め、事後確率がちょうど $1-\alpha$ の最高事後密度集合が、水準 $1-\alpha$ の信用集合の中で体積最小であることを示す。
設定と定義
この記事を通して、データの値の空間 $(\mathcal X,\mathcal A)$ の上の $\sigma$ 有限測度 $\mu$（離散のデータでは数え上げ測度、連続のデータでは Lebesgue 測度）と、母数空間 $\Theta$ の上の $\sigma$ 有限測度 $\nu$ を固定する。$\Theta$ は $\mathbb R^d$ の Borel 集合（$\nu$ は Lebesgue 測度）か可算集合（$\nu$ は数え上げ測度）とする。各 $\theta\in\Theta$ に $\mu$ に関する確率密度 $f(\cdot\,;\theta)$ が与えられ、$(x,\theta)\mapsto f(x;\theta)$ は可測であるとする。これは 最尤推定 の記事と同じ統計モデルである。観測値 $x$ を固定して $\theta$ の関数とみた $f(x;\theta)$ を 尤度 という。
$n$ 個の観測 $X_1,\dots,X_n$ を扱うときは、1 個分の密度 $f_1(\cdot\,;\theta)$ から $\mathcal X=\mathcal X_1^n$ の上の $f(x;\theta)=\prod_{i=1}^nf_1(x_i;\theta)$ を作る。これは「$\theta$ を固定すると $X_1,\dots,X_n$ は独立に同じ分布に従う」ことを表す。
$\nu$ に関する確率密度 $\pi\colon\Theta\to[0,\infty)$（$\int_\Theta\pi\,d\nu=1$）を 事前密度 といい、それが定める $\Theta$ の上の確率分布 $\Pi(A)=\int_A\pi\,d\nu$ を 事前分布 という。$\Theta$ に値をとる確率変数 $\vartheta$ と $\mathcal X$ に値をとる確率変数 $X$ の組が、すべての Borel 集合 $A\subset\Theta$ と $B\in\mathcal A$ について
$$
P(\vartheta\in A,\ X\in B)=\int_A\Bigl(\int_Bf(x;\theta)\,\mu(dx)\Bigr)\pi(\theta)\,\nu(d\theta)
$$
を満たすとき、これを事前分布 $\Pi$ のもとでの Bayes モデル という。
$$
p(x):=\int_\Theta f(x;\theta)\pi(\theta)\,\nu(d\theta)\in[0,\infty]
$$
を 周辺密度 といい、$0< p(x)<\infty$ となる $x$ について
$$
\pi(\theta\mid x):=\frac{f(x;\theta)\,\pi(\theta)}{p(x)},\qquad\Pi(A\mid x):=\int_A\pi(\theta\mid x)\,\nu(d\theta)
$$
を、それぞれ $x$ を観測したあとの 事後密度、事後分布 という。
$B=\mathcal X$ とおくと $P(\vartheta\in A)=\Pi(A)$ なので、$\vartheta$ の分布は事前分布である。このような組は、$\Theta\times\mathcal X$ の上に $\nu\otimes\mu$ に関する密度 $f(x;\theta)\pi(\theta)$ をもつ確率測度をとり、二つの座標を $\vartheta$、$X$ とすれば作れる（Fubiniの定理 により全測度は $1$）。事後密度の定義の分母 $p(x)$ は $\theta$ によらないので、事後密度は尤度と事前密度の積に比例し、比例定数は積分が $1$ になるように決まる。
事後分布は条件付き分布である
Bayes モデル $(\vartheta,X)$ について次が成り立つ。
- $X$ は $\mu$ に関する密度 $p$ をもち、$P(0< p(X)<\infty)=1$ である。
- すべての Borel 集合 $A\subset\Theta$ と $B\in\mathcal A$ について
$$ P(\vartheta\in A,\ X\in B)=\int_{B\cap\{0< p<\infty\}}\Pi(A\mid x)\,p(x)\,\mu(dx) $$
である。すなわち $\Pi(A\mid X)$ は、$X$ が与えられたときの事象 $\{\vartheta\in A\}$ の条件付き確率である。 - $\mu$ が数え上げ測度で $P(X=x)>0$ なら、$P(X=x)=p(x)$ であり、$\Pi(A\mid x)=P(\vartheta\in A\mid X=x)$（条件付き確率 の定義「条件付き確率」の意味）である。
被積分関数 $f(x;\theta)\pi(\theta)$ は非負かつ可測なので、Fubiniの定理（非負関数についての Tonelli の形）により積分の順序を入れ替えられる。
1：$A=\Theta$ として順序を入れ替えると $P(X\in B)=\int_B\bigl(\int_\Theta f(x;\theta)\pi(\theta)\,\nu(d\theta)\bigr)\mu(dx)=\int_Bp\,d\mu$ なので、$p$ は $X$ の密度である。$\int_{\mathcal X}p\,d\mu=1$ なので $N_\infty:=\{p=\infty\}$ は $\mu(N_\infty)=0$ を満たし、$P(X\in N_\infty)=0$ である。また $P(p(X)=0)=\int_{\{p=0\}}p\,d\mu=0$ である。
2：$B':=B\cap\{0< p<\infty\}$ とおくと、1 により $P(\vartheta\in A,X\in B)=P(\vartheta\in A,X\in B')$ である。$x\in B'$ では $\Pi(A\mid x)\,p(x)=\int_Af(x;\theta)\pi(\theta)\,\nu(d\theta)$ なので、順序を入れ替えて
$$
\int_{B'}\Pi(A\mid x)\,p(x)\,\mu(dx)=\int_A\Bigl(\int_{B'}f(x;\theta)\,\mu(dx)\Bigr)\pi(\theta)\,\nu(d\theta)=P(\vartheta\in A,\ X\in B')
$$
を得る。$x\mapsto\Pi(A\mid x)$ が可測であることも同じ定理による。後半の言い換えは、1 により右辺が $E[\Pi(A\mid X);\,X\in B]$ に等しいことによる。
3：$\mu$ が数え上げ測度なら 1 により $P(X=x)=p(x)$ で、$p(x)>0$ である。$p(x)\le1$ なので $0< p(x)<\infty$ であり、2 で $B=\{x\}$ とすると $P(\vartheta\in A,X=x)=\Pi(A\mid x)\,P(X=x)$ となる。両辺を $P(X=x)$ で割ればよい。$\square$
$\Theta=\{\theta_1,\dots,\theta_m\}$ が有限集合で $\nu$ が数え上げ測度、すべての $j$ で $\pi(\theta_j)>0$ のとき、3 で $A=\{\theta_j\}$ としたものは、条件付き確率 の定理「Bayesの定理」で分割を $B_j=\{\vartheta=\theta_j\}$、条件の事象を $\{X=x\}$ としたものにほかならない。2 の意味の条件付き確率は 条件付き期待値 の理論で定まり、$P(X=x)=0$ となる連続のデータでも事後分布を意味づける。
共役事前分布
事前分布の族が、どの観測のあとでも事後分布が同じ族に入るとき、その族を統計モデルの 共役事前分布 という。共役な族では、観測による更新が母数（超母数という）の書き換えで済む。
- 硬貨の表の確率 $\theta$ の事前分布をベータ分布 $\mathrm{Beta}(a,b)$ にとると、$N$ 回投げて表が $s$ 回出たあとの事後分布は $\mathrm{Beta}(a+s,\,b+N-s)$ である（ベータ分布 の定理「ベータ分布による事後分布」）。
- $X_1,\dots,X_n$ が独立にどれも平均 $\theta>0$ の Poisson分布 に従い、事前分布がガンマ分布 $\mathrm{Gamma}(\alpha,\lambda)$（$\lambda$ は率）なら、尤度は $\prod_ie^{-\theta}\theta^{x_i}/x_i!\propto\theta^{s}e^{-n\theta}$（$s=\sum_ix_i$）なので、事後密度は $\theta^{\alpha+s-1}e^{-(\lambda+n)\theta}$ に比例し、事後分布は $\mathrm{Gamma}(\alpha+s,\,\lambda+n)$ である。
$\sigma>0$ を既知の定数とし、$\theta\in\mathbb R$ を固定すると $X_1,\dots,X_n$ が独立にどれも正規分布 $N(\theta,\sigma^2)$ に従うとする。事前分布を $N(m_0,\tau_0^2)$（$\tau_0>0$）とすると、観測値 $x=(x_1,\dots,x_n)$、$\bar x=\frac1n\sum_ix_i$ についての事後分布は $N(m_n,\tau_n^2)$ であり、
$$
\frac1{\tau_n^2}=\frac1{\tau_0^2}+\frac n{\sigma^2},\qquad m_n=\tau_n^2\Bigl(\frac{m_0}{\tau_0^2}+\frac{n\bar x}{\sigma^2}\Bigr)=w\,\bar x+(1-w)\,m_0,\qquad w=\frac{n\tau_0^2}{\sigma^2+n\tau_0^2}
$$
である。
$\theta$ によらない正の定数を無視すると、$\sum_i(x_i-\theta)^2=n(\theta-\bar x)^2+\sum_i(x_i-\bar x)^2$ により、尤度と事前密度の積は
$$
\exp\Bigl(-\frac{n(\theta-\bar x)^2}{2\sigma^2}-\frac{(\theta-m_0)^2}{2\tau_0^2}\Bigr)
$$
に比例する。指数の中を $\theta$ について平方完成すると、$\theta^2$ の係数は $-\frac12\bigl(\frac n{\sigma^2}+\frac1{\tau_0^2}\bigr)=-\frac1{2\tau_n^2}$、$\theta$ の係数は $\frac{n\bar x}{\sigma^2}+\frac{m_0}{\tau_0^2}=\frac{m_n}{\tau_n^2}$ なので、指数の中は $-\frac{(\theta-m_n)^2}{2\tau_n^2}$ と $\theta$ によらない定数の和である。よって事後密度は $\exp\bigl(-\frac{(\theta-m_n)^2}{2\tau_n^2}\bigr)$ に比例し、積分が $1$ になる正規化をすると $N(m_n,\tau_n^2)$ の密度になる。$w$ の式は $\tau_n^2=\frac{\sigma^2\tau_0^2}{\sigma^2+n\tau_0^2}$ を代入して得られる。$\square$
事後平均 $m_n$ は、標本平均 $\bar x$ と事前の平均 $m_0$ を、精度（分散の逆数）$\frac n{\sigma^2}$ と $\frac1{\tau_0^2}$ の比で混ぜたものである。精度は足し算で増え、$n\to\infty$ では $w\to1$ となる。誤差が正規分布に従う線形回帰 $y=H\beta+\varepsilon$（$H$ は定数の行列、$\varepsilon\sim N(0,\sigma^2I)$ で $\sigma^2$ は既知）の係数に事前分布 $N(0,\tau\Sigma)$（$\tau>0$、$\Sigma$ は正定値）をおいた場合も、事後分布は正規分布で、その平均は $(H^{\mathsf T}H+\frac{\sigma^2}{\tau}\Sigma^{-1})^{-1}H^{\mathsf T}y$ である（ESL17 (8.25)・(8.27)、pp. 268–269）。
Bayes 推定
この節では $\Theta\subset\mathbb R$ とし、実数値の母数 $\theta$ を推定する。可測関数 $\delta\colon\mathcal X\to\mathbb R$ を 推定量 といい、推定値 $a$ を真の値 $\theta$ の代わりに使ったときの損を、可測な非負関数 $L\colon\Theta\times\mathbb R\to[0,\infty)$ で測る。$L$ を 損失関数 という。代表例は 2 乗損失 $L(\theta,a)=(\theta-a)^2$ と 絶対損失 $L(\theta,a)=|\theta-a|$ である。
推定量 $\delta$ の リスク を $R(\theta,\delta):=\int_{\mathcal X}L(\theta,\delta(x))f(x;\theta)\,\mu(dx)$、事前分布 $\Pi$ に関する Bayes リスク を
$$
r(\delta):=\int_\Theta R(\theta,\delta)\,\pi(\theta)\,\nu(d\theta)=E\bigl[L(\vartheta,\delta(X))\bigr]
$$
とする。$r(\delta)<\infty$ であり、すべての推定量 $\delta'$ について $r(\delta)\le r(\delta')$ となる $\delta$ を Bayes 推定量 という。また、$0< p(x)<\infty$ となる $x$ と $a\in\mathbb R$ について
$$
\rho(x,a):=\int_\Theta L(\theta,a)\,\Pi(d\theta\mid x)
$$
を 事後期待損失 という。
リスク $R(\theta,\delta)$ は $\theta$ ごとの平均的な損で、どの $\theta$ でも最小になる推定量は一般にない（下の ex-bayes-normal-risk）。Bayes リスクは、それを事前分布で平均して一つの数にしたものである。
推定量 $\delta$ について
$$
r(\delta)=\int_{\{0< p<\infty\}}\rho(x,\delta(x))\,p(x)\,\mu(dx)
$$
である。推定量 $\delta^*$ が、$p\,\mu$ についてほとんどすべての $x$ で $\rho(x,\delta^*(x))=\inf_{a\in\mathbb R}\rho(x,a)$ を満たし、$r(\delta^*)<\infty$ なら、$\delta^*$ は Bayes 推定量である。
$L(\theta,\delta(x))f(x;\theta)\pi(\theta)$ は非負かつ可測なので、Fubiniの定理 により
$$
r(\delta)=\int_{\mathcal X}\Bigl(\int_\Theta L(\theta,\delta(x))f(x;\theta)\pi(\theta)\,\nu(d\theta)\Bigr)\mu(dx)
$$
である。thm-bayes-conditional の 1 により $\{0< p<\infty\}$ の外は $p\,\mu$ の測度が $0$ で、そこでは被積分関数（内側の積分）も $\mu$ についてほとんどいたるところ $0$ である（$p(x)=0$ なら $\nu$ についてほとんどすべての $\theta$ で $f(x;\theta)\pi(\theta)=0$）。$0< p(x)<\infty$ では内側の積分は $\rho(x,\delta(x))\,p(x)$ に等しい。よって等式が成り立つ。任意の推定量 $\delta$ について、ほとんどすべての $x$ で $\rho(x,\delta(x))\ge\rho(x,\delta^*(x))$ なので、積分して $r(\delta)\ge r(\delta^*)$ を得る。$\square$
Bayes 推定量を求めるには、全体の最小化をやめて、観測値 $x$ ごとに事後分布のもとでの期待損失を最小にすればよい。2 乗損失ではその最小点が事後平均になる。
2 乗損失 $L(\theta,a)=(\theta-a)^2$ を考え、$E[\vartheta^2]=\int_\Theta\theta^2\pi(\theta)\,\nu(d\theta)<\infty$ とする。
- $p\,\mu$ についてほとんどすべての $x$ で事後分布の 2 次の積率は有限である。そのような $x$ では 事後平均 $\delta^*(x):=\int_\Theta\theta\,\Pi(d\theta\mid x)$ とおき、残りの $x$ では $\delta^*(x):=0$ とする。
- $\delta^*$ は Bayes 推定量であり、その Bayes リスクは事後分散の平均 $\int\bigl(\int_\Theta(\theta-\delta^*(x))^2\,\Pi(d\theta\mid x)\bigr)p(x)\,\mu(dx)$ である。
- Bayes 推定量は $p\,\mu$ について零集合を除いて一意である。すなわち任意の推定量 $\delta$ について $r(\delta)=r(\delta^*)+\int(\delta(x)-\delta^*(x))^2p(x)\,\mu(dx)$ である。
1：thm-bayes-minimize の等式を $\delta\equiv0$ に使うと $\int\bigl(\int\theta^2\,\Pi(d\theta\mid x)\bigr)p(x)\,\mu(dx)=E[\vartheta^2]<\infty$ なので、内側の積分は $p\,\mu$ についてほとんどいたるところ有限である。$x\mapsto\delta^*(x)$ が可測であることは、$\theta\pi(\theta)f(x;\theta)$ の正の部分と負の部分に Fubiniの定理 を使えば分かる。
2・3：事後 2 次の積率が有限な $x$ で、$a\in\mathbb R$ について、$\int(\theta-\delta^*(x))\,\Pi(d\theta\mid x)=0$ を使って展開すると
$$
\rho(x,a)=\int_\Theta(\theta-\delta^*(x))^2\,\Pi(d\theta\mid x)+(a-\delta^*(x))^2
$$
である。よって $\rho(x,\cdot)$ は $a=\delta^*(x)$ でただ一つの最小値をとる。$a=\delta(x)$ を代入して $p(x)\,\mu(dx)$ で積分し、thm-bayes-minimize の等式を使うと 3 の等式を得る。$\delta=\delta^*$ とおけば $r(\delta^*)$ は事後分散の平均で、$E[\vartheta^2]$ 以下なので有限である。3 の等式の第 2 項は非負なので $\delta^*$ は Bayes 推定量であり、$r(\delta)=r(\delta^*)$ となるのは $\delta=\delta^*$ が $p\,\mu$ についてほとんどいたるところ成り立つときに限る。$\square$
thm-bayes-conditional の 2 を積分の形にすると、$\delta^*(X)$ は $X$ が与えられたときの $\vartheta$ の条件付き期待値 $E[\vartheta\mid X]$ である。3 の等式は、条件付き期待値が 2 乗誤差を最小にする射影であることの、Bayes モデルでの姿である（条件付き期待値）。
絶対損失では、thm-bayes-minimize と 確率分布の中央値 の定理「中央値は $E\lvert X-a\rvert$ を最小にする」により、事後分布の中央値が Bayes 推定量になる（$E|\vartheta|<\infty$ のとき。このとき thm-bayes-squared の 1 と同じ議論で、$p\,\mu$ についてほとんどすべての $x$ で事後分布の 1 次の積率は有限であり、中央値の最小性から $r(\delta^*)\le r(0)=E|\vartheta|<\infty$ である。中央値が区間になるときは最小の中央値 $\inf\{a:\Pi((-\infty,a]\mid x)\ge\frac12\}$ を選べば、$\{x:\delta^*(x)\le a\}=\{x:\Pi((-\infty,a]\mid x)\ge\frac12\}$ により可測である）。事後密度を最大にする $\theta$ を 事後最頻値（MAP 推定値）という。事後密度は尤度と事前密度の積に比例するので、$\Theta$ が有界な区間で事前密度が定数なら、事後最頻値は最尤推定値と一致する。
thm-bayes-normal の設定で、2 乗損失の Bayes 推定量は事後平均 $\delta^*(x)=m_n=w\bar x+(1-w)m_0$ である。$\theta$ を固定すると $\bar X\sim N(\theta,\sigma^2/n)$ なので、リスクはバイアスと分散に分けて
$$
R(\theta,\delta^*)=w^2\frac{\sigma^2}n+(1-w)^2(\theta-m_0)^2,\qquad R(\theta,\bar X)=\frac{\sigma^2}n
$$
である。Bayes リスクは $r(\delta^*)=\tau_n^2=\frac{\sigma^2\tau_0^2}{\sigma^2+n\tau_0^2}<\frac{\sigma^2}n=r(\bar X)$ で、事前分布で平均すると事後平均のほうがよい。一方、$|\theta-m_0|$ が大きい $\theta$ では $R(\theta,\delta^*)>R(\theta,\bar X)$ であり、どちらの推定量もすべての $\theta$ で他方よりよいわけではない。$n\to\infty$ では $1-w=\frac{\sigma^2}{\sigma^2+n\tau_0^2}\to0$ なので $|m_n-\bar x|=(1-w)|\bar x-m_0|\to0$（$\bar x$ が有界な範囲を動くとき）となり、事後平均は最尤推定値 $\bar x$（最尤推定 の例「正規分布の平均と分散」）に近づく。
事前分布 $\mathrm{Beta}(a,b)$ のもとで $N$ 回中 $s$ 回表が出たとき、2 乗損失の Bayes 推定量は事後平均 $\frac{a+s}{a+b+N}$ である（ベータ分布 の命題「積率と対称性」）。一様な事前分布（$a=b=1$）では $\frac{s+1}{N+2}$ で、最尤推定値 $\frac sN$ と違い、$s=0$ でも $0$ にならない。
信用区間
$0<\alpha<1$ とする。観測値 $x$ ごとに定めた Borel 集合 $C_x\subset\Theta$ で $\Pi(C_x\mid x)\ge1-\alpha$ を満たすものを、水準 $1-\alpha$ の 信用集合 といい、区間のときは 信用区間 という。$k>0$ について $H_k:=\{\theta\in\Theta:\pi(\theta\mid x)\ge k\}$ の形の集合を 最高事後密度集合 という。
信頼区間 は「$\theta$ を固定したとき、データ $X$ から作った区間が $\theta$ を含む確率」が $1-\alpha$ 以上という性質であり、信用区間は「観測値 $x$ を固定したとき、$\vartheta$ が区間に入る事後確率」が $1-\alpha$ 以上という性質である。確率をとる対象が逆である。
$\Theta\subset\mathbb R^d$、$\nu$ を Lebesgue 測度とし、$x$ を固定する。$k>0$ で $\Pi(H_k\mid x)=1-\alpha$ なら、$\Pi(C\mid x)\ge1-\alpha$ を満たす任意の Borel 集合 $C\subset\Theta$ について $\nu(C)\ge\nu(H_k)$ である。
$\pi(\cdot)=\pi(\cdot\mid x)$ と書く。$\int_C\pi\,d\nu\ge\int_{H_k}\pi\,d\nu$ から共通部分 $C\cap H_k$ の寄与を引くと $\int_{C\setminus H_k}\pi\,d\nu\ge\int_{H_k\setminus C}\pi\,d\nu$ である。$C\setminus H_k$ では $\pi< k$、$H_k\setminus C$ では $\pi\ge k$ なので
$$
k\,\nu(C\setminus H_k)\ge\int_{C\setminus H_k}\pi\,d\nu\ge\int_{H_k\setminus C}\pi\,d\nu\ge k\,\nu(H_k\setminus C)
$$
である（$\nu(C\setminus H_k)=\infty$ なら結論は明らか）。$k>0$ で割り、両辺に $\nu(C\cap H_k)$ を足せばよい。$\square$
thm-bayes-normal の設定では、事後密度は $m_n$ について対称で中心から離れるほど小さいので、最高事後密度集合は区間 $[m_n-z\tau_n,\ m_n+z\tau_n]$（$z$ は標準正規分布の上側 $\alpha/2$ 点）である。$\tau_0\to\infty$ とすると $m_n\to\bar x$、$\tau_n\to\sigma/\sqrt n$ で、端点は分散が既知の正規母集団の平均の信頼区間 $\bar x\pm z\sigma/\sqrt n$ の端点に近づく。
反例
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 事前密度の積分が $1$（thm-bayes-conditional の 1） | 表の確率 $\theta\in(0,1)$ の硬貨を $N\ge1$ 回投げ、$\pi(\theta)=\frac1{\theta(1-\theta)}$ とする | 全部裏のとき $p(x)=\infty$ で、事後分布が定まらない |
| 損失が 2 乗損失（thm-bayes-squared） | 一様な事前分布で 1 回投げて表、絶対損失 | 事後平均 $\frac23$ は事後期待損失を最小にしない |
| 事前分布が正規分布（ex-bayes-normal-risk の $m_n-\bar x\to0$） | thm-bayes-normal の観測で、事前分布を $[-1,1]$ 上の一様分布とし、真の値を $\theta=2$ とする | 事後平均はつねに $1$ 以下で、$\bar x\to2$ に近づかない |
各行は左の列の条件だけを破っている。
確かめを開く
1 行目：$\int_0^1\pi=\infty$ なので事前密度でない。全部裏の観測 $x$ では尤度は $(1-\theta)^N$ で、$\int_0^1\frac{(1-\theta)^N}{\theta(1-\theta)}\,d\theta=\int_0^1\theta^{-1}(1-\theta)^{N-1}\,d\theta=\infty$（$\theta\to0$ で $\theta^{-1}$ が積分できない）である。全部表の観測でも同様に $p(x)=\infty$ であり、表と裏がどちらも出ていれば積分は ベータ関数 の値で有限なので、困るのはこの二つの観測である。
2 行目：事後分布は $\mathrm{Beta}(2,1)$ で、密度は $2\theta$（$0< \theta< 1$）、平均は $\frac23$ である。$P(\vartheta>\frac23\mid x)=1-\frac49=\frac59>\frac12$ なので $\frac23$ は中央値でなく、確率分布の中央値 の定理により $\frac23$ は $\int|\theta-a|\,\Pi(d\theta\mid x)$ を最小にしない（最小点は中央値 $\frac1{\sqrt2}$）。事前分布の 2 次の積率は有限である。
3 行目：事後分布は $[-1,1]$ の外に確率をもたないので、事後平均は $[-1,1]$ に入る。真の値が $2$ のとき、強大数の法則 により $\bar X\to2$ がほとんど確実に成り立つ。損失は 2 乗損失のままで、事後平均は Bayes 推定量である。
関連項目
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
