信頼区間(confidence interval)とは、データ $X$ から計算する区間 $[L(X),U(X)]$ で、未知の母数 $\theta$ が何であってもそれが $\theta$ を含む確率が $1-\alpha$ 以上になるものであり、$1-\alpha$ を信頼係数という。確率がかかっているのはデータから作る区間の方で、母数は動かない。分布が母数によらない量(ピボット)があれば不等式を解いて区間が得られ、正規母集団の平均と分散、指数分布、一様分布の区間はこの形で正確に作れる。信頼集合は各母数値での検定で棄却されない値の全体と一致し、この対応から二項分布の母比率にも近似なしに信頼係数を保証する区間が作れる。
信頼区間は、データから計算する区間 $[L(X),U(X)]$ で、未知の母数 $\theta$ が何であっても、それが $\theta$ を含む確率が決めた値(たとえば $0.95$)以上になるものである。区間推定の基本の形であり、「母平均は $10.1\pm0.34$」のように、推定値とその不確かさを同時に表す。
高校数学の 区間推定(高校数学) では、母標準偏差が分かっている場合の母平均の区間 $\bar x\pm1.96\sigma/\sqrt n$ と、正規近似による母比率の区間を扱った。この記事では、一般の母数について信頼区間を定義し、分布が母数によらない量(ピボット)から区間を作る方法、仮説検定との一対一の対応、離散分布でも近似なしに信頼係数を保証する区間を証明する。正規母集団の平均・分散、指数分布、一様分布の区間はその例として得られる。
観測データを $\mathbb{R}^n$ に値をとる確率ベクトル $X=(X_1,\dots,X_n)$ とし、その分布が未知の母数 $\theta\in\Theta$ によって $P_\theta$ と決まるとする($\Theta$ を母数空間という)。$P_\theta(X\in A)$ は、母数が $\theta$ のときに $X$ が Borel 集合 $A$ に入る確率を表す。推定したいのは実数値の量 $g(\theta)$ とする(多くの場合 $\Theta\subset\mathbb{R}$、$g(\theta)=\theta$)。
$0< \alpha< 1$ とする。Borel 可測関数 $L,U\colon\mathbb{R}^n\to[-\infty,\infty]$ が $L\le U$ を満たし、すべての $\theta\in\Theta$ について
$$
P_\theta\bigl(L(X)\le g(\theta)\le U(X)\bigr)\ge1-\alpha
$$
となるとき、確率変数の区間 $[L(X),U(X)]$ を $g(\theta)$ の信頼係数 $1-\alpha$ の信頼区間(confidence interval)という。左辺を $\theta$ における被覆確率という。すべての $\theta$ で等号が成り立つとき、正確な信頼区間という。
より一般に、各 $x\in\mathbb{R}^n$ に部分集合 $C(x)\subset\Theta$ を対応させ、すべての $\theta$ について $\{x\mid\theta\in C(x)\}$ が Borel 集合で $P_\theta(\theta\in C(X))\ge1-\alpha$ となるとき、$C(X)$ を信頼係数 $1-\alpha$ の信頼集合という。
この定義は PN14 §8.3.1 の定義と同じである。$1-\alpha=0.95$ のとき「$95\%$ 信頼区間」という。
定義の確率 $P_\theta$ で動くのはデータ $X$ であり、母数 $\theta$ は動かない定数である。データ $x$ を観測して区間 $[L(x),U(x)]=[9.76,10.44]$ が得られたあとでは、「$\theta$ がこの区間に入る」は正しいか誤りかのどちらかで、確率 $0.95$ で正しいという意味はもたない。$95\%$ は「同じ手順をくり返せば、作られる区間のうち約 $95\%$ が $\theta$ を含む」という手順の性質である(区間推定(高校数学) の図 2 はこれを乱数で示している)。母数そのものに確率分布を置いて「区間に入る確率」を計算する Bayes 統計の信用区間は、別の考え方である。
関数 $Q\colon\mathbb{R}^n\times\Theta\to\mathbb{R}$ で、$\theta$ を固定するごとに $x$ について Borel 可測であり、$P_\theta$ のもとでの $Q(X,\theta)$ の分布がすべての $\theta\in\Theta$ で同じであるものをピボットという。
$Q$ をピボットとし、実数 $a\le b$ を $P_\theta\bigl(a\le Q(X,\theta)\le b\bigr)\ge1-\alpha$ となるようにとる(ピボットなので左辺は $\theta$ によらない)。
1。 $\theta$ を固定する。$C(x)$ の定義により、$x$ について
$$
\theta\in C(x)\iff a\le Q(x,\theta)\le b
$$
である。右辺を満たす $x$ の集合は Borel 集合であり、$P_\theta(\theta\in C(X))=P_\theta(a\le Q(X,\theta)\le b)\ge1-\alpha$ である。等号の場合も同じ式による。
2。 $\theta'\mapsto Q(x,\theta')$ が連続で狭義単調なら、閉区間 $[a,b]$ のこの写像による逆像は、$\Theta$ の中の区間である($\theta_1< \theta'< \theta_2$ で $\theta_1,\theta_2$ が逆像に入れば、単調性により $Q(x,\theta')$ は $Q(x,\theta_1)$ と $Q(x,\theta_2)$ の間にあるので $[a,b]$ に入る)。$\square$
母数が $\theta=(\mu,\sigma)$ のように複数あっても、$Q(x,\theta)$ が推定したい量 $g(\theta)$ だけを通して $\theta$ による($Q(x,\theta)=\tilde Q(x,g(\theta))$)なら、$C(x)$ は $g(\theta)$ の値についての条件 $a\le\tilde Q(x,g(\theta))\le b$ で決まり、$g(\theta)$ の信頼集合として読める。この方法は PN14 §8.3.2 の「pivotal method」である。使うときの要点は、$a,b$ を $Q(X,\theta)$ の本当の分布で選ぶこと(反例の表の 1 行目)と、$Q$ の分布が本当に $\theta$ によらないこと(2 行目)である。
$X_1,\dots,X_n$($n\ge2$)が独立で、どれも正規分布 $N(\mu,\sigma^2)$ に従うとし、$\bar X:=\frac1n\sum_iX_i$、$S^2:=\frac1{n-1}\sum_i(X_i-\bar X)^2$ とする。$0< \alpha< 1$ について、$z_{\alpha/2}$ を $P(\lvert Z\rvert\le z_{\alpha/2})=1-\alpha$($Z\sim N(0,1)$)、$t_{\alpha/2}$ を自由度 $n-1$ の $t$ 分布で同じ式を満たす値、$c_1< c_2$ を自由度 $n-1$ のカイ二乗分布 $V$ で $P(V< c_1)=P(V>c_2)=\frac\alpha2$ となる値とする。
次はどれも正確な信頼係数 $1-\alpha$ の信頼区間である。
要点:Student の定理で得られる 3 つの量はどれも分布が $(\mu,\sigma)$ によらないピボットなので、thm-ci-pivot を当てて不等式を解く。
t分布 の定理「Student の定理」により、$\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1)$、$\frac{\bar X-\mu}{S/\sqrt n}$ は自由度 $n-1$ の $t$ 分布、$\frac{(n-1)S^2}{\sigma^2}$ は自由度 $n-1$ のカイ二乗分布に従う。どの分布も $(\mu,\sigma)$ によらないので、これらはピボットであり、thm-ci-pivot の 1 を $[a,b]=[-z_{\alpha/2},z_{\alpha/2}]$、$[-t_{\alpha/2},t_{\alpha/2}]$、$[c_1,c_2]$ で使う。不等式を解くと、たとえば 3 では $c_1\le(n-1)S^2/\sigma^2\le c_2$ は $(n-1)S^2/c_2\le\sigma^2\le(n-1)S^2/c_1$ と同値である。分布は連続なので、端点の等号の有無で確率は変わらず、被覆確率はちょうど $1-\alpha$ である。$\square$
1 は 区間推定(高校数学) の定義「母平均の信頼区間」の区間そのもの($\alpha=0.05$、$z_{0.025}=1.96$)であり、2 は t分布 の例「母分散が分からないときの信頼区間」で計算している。
t分布 の例「母分散が分からないときの信頼区間」の 5 個の測定値 $9.8,10.2,10.1,9.9,10.5$ では $(n-1)S^2=0.30$ である。自由度 $4$ のカイ二乗分布で $c_1=0.4844\ldots$、$c_2=11.143\ldots$(数値計算)なので、$\sigma^2$ の $95\%$ 信頼区間は
$$
\Bigl[\frac{0.30}{11.143},\ \frac{0.30}{0.4844}\Bigr]=[0.0269\ldots,\ 0.619\ldots]
$$
である。点推定値 $S^2=0.075$ に対して区間は大きく右に伸びる。カイ二乗分布が左右対称でないためで、標本が小さいと分散はなかなか絞り込めない。
$X_1,\dots,X_n$ を独立とし、$0< \alpha< 1$ とする。
要点:1 は $2\lambda T$ が自由度 $2n$ のカイ二乗分布に従うピボットであること、2 は $M/\theta$ の分布関数が $t^n$ で $\theta$ によらないことによる。
1。 確率密度関数 の定理「単調な変換による密度」により、$2\lambda X_i$ は密度 $\frac12e^{-v/2}$($v>0$)をもつ。これは自由度 $2$ のカイ二乗分布の密度 $g_2(v)=\frac{1}{2\Gamma(1)}e^{-v/2}$ である。$2\lambda X_1,\dots,2\lambda X_n$ は独立なので、t分布 の定理「カイ二乗分布の再生性」の 2 を順に使うと、$2\lambda T$ は自由度 $2n$ のカイ二乗分布に従い、その分布は $\lambda$ によらない。thm-ci-pivot を $[a,b]=[d_1,d_2]$ で使い、$d_1\le2\lambda T\le d_2$ を $\lambda$ について解けばよい($T>0$ は確率 $1$ で成り立つ)。分布は連続なので被覆確率はちょうど $1-\alpha$ である。
2。 推定量のよさ の補題「最大値の分布」により、$0\le t\le1$ で $P_\theta(M/\theta\le t)=t^n$ であり、$\theta$ によらない。$M\le\theta$ は確率 $1$ で成り立ち、$\theta\le\alpha^{-1/n}M$ は $M/\theta\ge\alpha^{1/n}$ と同値なので、被覆確率は $P_\theta(M/\theta\ge\alpha^{1/n})=1-(\alpha^{1/n})^n=1-\alpha$ である。$\square$
部品 5 個の寿命(時間)が $12,3,25,8,2$ で、指数分布に従うとする。$T=50$、自由度 $10$ のカイ二乗分布の $d_1=3.247\ldots$、$d_2=20.483\ldots$(数値計算)から、$\lambda$ の $95\%$ 信頼区間は $[0.0325,\ 0.2048]$ である。$1/\lambda$ は狭義単調なので、平均寿命 $1/\lambda$ の $95\%$ 信頼区間は $[4.88,\ 30.8]$ になる(同じ事象を言い換えただけなので被覆確率は変わらない)。
$(0,\theta)$ 上の一様分布から 5 個の値をとり、最大値が $M=9.2$ だったとする。$0.05^{-1/5}=1.8205\ldots$ なので、$\theta$ の $95\%$ 信頼区間は $[9.2,\ 16.75]$ である。区間の左端が観測した最大値そのものになるのは、$\theta\ge M$ が確実に分かっているからである。
各 $\theta_0\in\Theta$ について、帰無仮説「$\theta=\theta_0$」の検定を、受容域と呼ぶ Borel 集合 $A(\theta_0)\subset\mathbb{R}^n$ で与える($X\notin A(\theta_0)$ なら棄却する)。$P_{\theta_0}(X\notin A(\theta_0))\le\alpha$ のとき、この検定の有意水準は $\alpha$ であるという(仮説検定(高校数学) の定義「帰無仮説・対立仮説・棄却域・有意水準」)。
どちらの場合も、すべての $x$ と $\theta$ について
$$
\theta\in C(x)\iff x\in A(\theta)
$$
が定義から成り立つ。1 では、$\{x\mid\theta\in C(x)\}=A(\theta)$ は Borel 集合で、$P_\theta(\theta\in C(X))=P_\theta(X\in A(\theta))\ge1-\alpha$ である。2 では、$A(\theta_0)$ は信頼集合の定義により Borel 集合で、$P_{\theta_0}(X\notin A(\theta_0))=P_{\theta_0}(\theta_0\notin C(X))\le\alpha$ である。1 の $C$ から 2 で作る受容域は $\{x\mid x\in A(\theta_0)\}=A(\theta_0)$、2 の $A$ から 1 で作る信頼集合は $\{\theta_0\mid\theta_0\in C(x)\}=C(x)$ に戻る。$\square$
仮説検定(高校数学) の定理「両側検定と信頼区間の対応」は、cor-ci-normal の 1 の区間と、$\lvert\bar x-\mu_0\rvert/(\sigma/\sqrt n)\le1.96$ を受容域とする検定についての、この定理の具体的な形である(PN14 §8.4.3 も同じ書き換えを示している)。thm-ci-duality の 1 を使うと、ピボットが見つからない場合でも、各 $\theta_0$ での検定から信頼集合を作れる。次の節はその例である。
母比率 $p$ の区間として高校で使う $\hat p\pm1.96\sqrt{\hat p(1-\hat p)/n}$ は、中心極限定理による近似なので、標本が小さいときや $p$ が $0$ や $1$ に近いときには信頼係数が大きく崩れる(反例の表の 2 行目)。分布関数についての次の補題を使うと、近似なしに信頼係数を保証する区間が作れる。
$Y$ を実数値の確率変数とし、$F(y):=P(Y\le y)$、$G(y):=P(Y\ge y)$ とおく。すべての $0\le u\le1$ について
$$
P\bigl(F(Y)\le u\bigr)\le u,\qquad P\bigl(G(Y)\le u\bigr)\le u
$$
である。
要点:$F(y)\le u$ となる $y$ の全体は左に無限に伸びる半直線なので、その確率は $F$ の値か左極限で、$u$ 以下になる。
$D:=\{y\mid F(y)\le u\}$ とおく。$F$ は非減少なので、$D$ は空集合、$\mathbb{R}$、$(-\infty,y^*)$、$(-\infty,y^*]$($y^*:=\sup D$)のどれかである。空集合なら確率は $0$ である。$D=\mathbb{R}$ なら $1=\lim_{y\to\infty}F(y)\le u$ なので $u=1$ で、主張は明らかである。$D=(-\infty,y^*]$ なら $P(F(Y)\le u)=P(Y\le y^*)=F(y^*)\le u$ である。$D=(-\infty,y^*)$ なら、$P(Y< y^*)=\lim_{k\to\infty}F(y^*-\frac1k)\le u$ である(確率空間 の命題「確率の連続性」)。
2 つめの不等式は、1 つめを $-Y$ に使えばよい。$-Y$ の分布関数を $F_-$ とすると $G(y)=P(-Y\le-y)=F_-(-y)$ なので、$G(Y)=F_-(-Y)$ である。$\square$
$Y$ が連続な分布関数をもてば $F(Y)$ は $(0,1)$ 上の一様分布に従い、補題は等号になる。離散分布では一般に不等号であり、そのぶん区間が安全側に広くなる。
$n\ge1$、$0< \alpha< 1$ とし、$X$ が二項分布 $B(n,p)$($0\le p\le1$ は未知)に従うとする。$x\in\{0,1,\dots,n\}$ について
$$
C(x):=\Bigl\{p\in[0,1]\Bigm|P_p(X\le x)>\frac\alpha2\ \text{かつ}\ P_p(X\ge x)>\frac\alpha2\Bigr\}
$$
とおく。
1。 $p$ を固定し、$P_p$ のもとでの $X$ について $F(y):=P_p(X\le y)$、$G(y):=P_p(X\ge y)$ とおく。$p\notin C(X)$ は「$F(X)\le\frac\alpha2$ または $G(X)\le\frac\alpha2$」と同値なので、lem-ci-cdf により
$$
P_p\bigl(p\notin C(X)\bigr)\le P_p\Bigl(F(X)\le\frac\alpha2\Bigr)+P_p\Bigl(G(X)\le\frac\alpha2\Bigr)\le\frac\alpha2+\frac\alpha2=\alpha
$$
である。
2。 まず $p\mapsto P_p(X\le x)$ は非増加、$p\mapsto P_p(X\ge x)$ は非減少であることを示す。$U_1,\dots,U_n$ を独立で $(0,1)$ 上の一様分布に従う確率変数とし、$N_p:=\#\{i\mid U_i\le p\}$ とおく。事象 $\{U_i\le p\}$ は独立で確率 $p$ をもつので、$N_p\sim B(n,p)$ である。$p\le p'$ なら $N_p\le N_{p'}$ がつねに成り立つので、$\{N_{p'}\le x\}\subset\{N_p\le x\}$、$\{N_p\ge x\}\subset\{N_{p'}\ge x\}$ であり、主張を得る。
よって $\{p\mid P_p(X\le x)>\frac\alpha2\}$ は、$p$ がその元なら $p$ より小さい $[0,1]$ の元もすべて元になる集合、$\{p\mid P_p(X\ge x)>\frac\alpha2\}$ は、より大きい元もすべて元になる集合で、どちらも区間である。2 つの区間の共通部分 $C(x)$ も区間である。$x=0$ なら $P_0(X\le0)=1$、$P_0(X\ge0)=1$ なので $0\in C(0)$、$x=n$ でも同様に $1\in C(n)$ である。$\square$
$P_p(X\le x)$ と $P_p(X\ge x)$ は $p$ の多項式で連続なので、区間 $C(x)$ の端点は方程式 $P_p(X\ge x)=\frac\alpha2$(下端、$x\ge1$)と $P_p(X\le x)=\frac\alpha2$(上端、$x\le n-1$)の解として数値的に求まる。不等号が狭義なので、$C(x)$ はこの方程式の解である端点を含まない。$C(x)$ にその端点を加えた閉区間($x=0$ なら $[0,\,1-(\frac\alpha2)^{1/n}]$)は Clopper–Pearson の区間と呼ばれる。これは $C(x)$ を含むので、その被覆確率も 1 により $1-\alpha$ 以上である。$X$ は離散分布に従うので、どちらの区間も被覆確率は一般に $1-\alpha$ より大きく、定義の意味の正確な信頼区間ではない(たとえば $p=0$ では確率 $1$ で $X=0$ となり、$0\in C(0)$ なので、どちらの区間も被覆確率は $1>1-\alpha$ である)。thm-ci-duality の言葉では、各 $p_0$ で「両側それぞれ確率 $\frac\alpha2$ 以下の裾に入れば棄却する」検定の、棄却されない $p_0$ の全体である。
$n=10$、$\alpha=0.05$ とする。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $a,b$ を $Q(X,\theta)$ の分布で選ぶ(thm-ci-pivot) | 正規母集団、$n=5$、$\sigma$ は未知、$Q=\frac{\bar X-\mu}{S/\sqrt5}$ に $[a,b]=[-1.96,1.96]$ | 被覆確率が $0.95$ 以上 |
| $Q$ の分布が $\theta$ によらない(thm-ci-pivot) | $B(10,p)$、$p=0.01$、区間 $\hat p\pm1.96\sqrt{\hat p(1-\hat p)/10}$ | 被覆確率が $0.95$ 以上 |
| $X_1,\dots,X_n$ が独立(cor-ci-normal の 1) | $n=4$、$X_1=\cdots=X_4=X\sim N(\mu,\sigma^2)$、$\sigma$ は既知 | 被覆確率が $0.95$ |
| 母集団が正規分布(cor-ci-normal の 3) | $n=2$、$X_1,X_2$ は独立で $P(X_i=0)=P(X_i=1)=\frac12$ | 被覆確率が $0.95$ |
1 行目:$Q$ は自由度 $4$ の $t$ 分布に従うピボットだが、$P(\lvert Q\rvert\le1.96)=0.878\ldots$(数値計算)で $0.95$ に届かない。正しくは $t$ 分布の値 $2.776$ を使う(t分布 の例「母分散が分からないときの信頼区間」)。
2 行目:$\hat p=X/10$ とする。$X=0$ では区間は $\{0\}$ で $p=0.01$ を含まない。$X\ge3$ では下端が $\hat p-1.96\sqrt{\hat p(1-\hat p)/10}\ge0.3-0.285>0.01$ となり($\hat p\ge0.3$ の範囲でこの下端は増加する)、やはり含まない。含むのは $X=1,2$ のときだけで、被覆確率は $P(X=1)+P(X=2)=0.0955\ldots$ にすぎない。$(\hat p-p)/\sqrt{\hat p(1-\hat p)/n}$ の分布は $p$ と $n$ によって大きく変わり、$p$ が $0$ に近いと $n=10$ では標準正規分布とまったく違う。標準正規分布で置き換えるのは、ピボットでない量をピボットとみなすことにあたる。
3 行目:$\bar X=X$ なので、$\bar X\pm1.96\frac{\sigma}{\sqrt4}$ が $\mu$ を含む確率は $P(\lvert X-\mu\rvert\le0.98\sigma)=P(\lvert Z\rvert\le0.98)=0.673\ldots$ である。各 $X_i$ は $N(\mu,\sigma^2)$ に従い、壊れたのは独立性だけである。
4 行目:$\sigma^2=\frac14$ であり、$S^2=\frac12(X_1-X_2)^2$ は確率 $\frac12$ ずつで $0$ と $\frac12$ をとる。自由度 $1$ のカイ二乗分布の値 $c_1=0.000982\ldots$、$c_2=5.024\ldots$ を使うと、$S^2=0$ のとき区間は $\{0\}$ で $\frac14$ を含まず、$S^2=\frac12$ のとき区間 $[0.0995\ldots,\ 509.1\ldots]$ は $\frac14$ を含む。被覆確率は $\frac12$ である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する