正規分布

同義語:normal distributionGauss分布ガウス分布Gaussian distribution

概要

正規分布(normal distribution)とは、密度 $\frac{1}{\sqrt{2\pi}\,\sigma}e^{-(x-\mu)^2/(2\sigma^2)}$ をもつ確率分布で、平均 $\mu$ と分散 $\sigma^2$ の 2 つの数で決まり $N(\mu,\sigma^2)$ と書かれる。1 次変換で保たれるので確率の計算は標準正規分布の分布関数 $\Phi$ に帰着し、積率母関数は $e^{\mu t+\sigma^2t^2/2}$ であり、独立な正規分布に従う確率変数の 1 次結合はまた正規分布に従う。平均から離れる確率は $1-\Phi(x)\le\varphi(x)/x$ のように $e^{-x^2/2}$ の速さで小さくなり、中心極限定理により独立な和の分布の近似として現れるので、統計や誤差の解析の基礎になる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率変数, 期待値, 分散, 広義積分, 独立性(確率論)

正規分布(normal distribution)は、密度が釣鐘形の関数
$$ \varphi_{\mu,\sigma^2}(x)=\frac1{\sqrt{2\pi}\,\sigma}\exp\Bigl(-\frac{(x-\mu)^2}{2\sigma^2}\Bigr) $$
で与えられる確率分布である。Gauss 分布とも呼ばれる。測定の誤差や多数の小さな独立な要因の和の分布がこれで近似され、その理由の一つが 中心極限定理 である。
正規分布は、1 次変換で保たれ(thm-nd-affine)、独立な和についても閉じている(thm-nd-sum)。積率母関数・特性関数は $\exp$ の 2 次式になり(thm-nd-mgf)、平均から離れる確率は $e^{-x^2/2}$ の速さで小さくなる(prop-nd-tail)。正規分布表の使い方や 68–95–99.7 の規則は 正規分布(高校数学) にある。この記事では、一般の確率空間の上の確率変数として正規分布を扱い、これらを証明する。

定義

$(\Omega,\mathcal F,P)$ を確率空間(確率空間 の定義「確率空間」)、$X$ をその上の確率変数とする。$X$ が密度 $f$ をもつ(確率変数 の定義「離散型の確率変数と密度」)とき、$P(a< X\le b)=\int_a^bf(x)\,dx$ であり、$g\ge0$ であるか $\int\lvert g(x)\rvert f(x)\,dx<\infty$ である関数 $g$ について
$$ E[g(X)]=\int_{-\infty}^{\infty}g(x)f(x)\,dx $$
が成り立つ(Dur19 Theorem 1.6.9(p. 32)と Exercise 1.6.8(p. 36)。この記事では証明しない)。分散は $V[X]=E[(X-E[X])^2]$ である(分散 の注意「一般の確率空間での分散」)。

正規分布

$\mu\in\mathbb R$、$\sigma>0$ とする。確率変数 $X$ が密度
$$ \varphi_{\mu,\sigma^2}(x)=\frac1{\sqrt{2\pi}\,\sigma}\exp\Bigl(-\frac{(x-\mu)^2}{2\sigma^2}\Bigr)\qquad(x\in\mathbb R) $$
をもつとき、$X$ は 平均 $\mu$、分散 $\sigma^2$ の正規分布 に従うといい、$X\sim N(\mu,\sigma^2)$ と書く。$N(0,1)$ を 標準正規分布 といい、その密度と分布関数を
$$ \varphi(x):=\varphi_{0,1}(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2},\qquad\Phi(x):=\int_{-\infty}^x\varphi(t)\,dt $$
と書く。また、$P(X=\mu)=1$ となる $X$ を、分散 $0$ の正規分布 $N(\mu,0)$ に従うとみなす(退化した正規分布)。

この定義は GrS06 §5.2(p. 212)にある。$E[X]=\mu$、$V[X]=\sigma^2$ であることは cor-nd-moments で示す。退化した正規分布は、1 次結合についての結果を例外なく述べるために含めておく。

密度の全積分

$\mu\in\mathbb R$、$\sigma>0$ について、広義積分 $\int_{-\infty}^\infty\varphi_{\mu,\sigma^2}(x)\,dx$ は収束し、値は $1$ である。したがって $\varphi_{\mu,\sigma^2}$ は確率密度である。

置換して Gauss 積分に帰着する

$x=\mu+\sqrt2\,\sigma t$ と置換すると $dx=\sqrt2\,\sigma\,dt$、$\frac{(x-\mu)^2}{2\sigma^2}=t^2$ なので
$$ \int_{-\infty}^\infty\varphi_{\mu,\sigma^2}(x)\,dx=\frac{\sqrt2\,\sigma}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^\infty e^{-t^2}\,dt=\frac1{\sqrt\pi}\cdot\sqrt\pi=1 $$
である。ここで 極座標 の定理「Gauss積分」($\int_{-\infty}^\infty e^{-t^2}dt$ は収束して $\sqrt\pi$)を使った。置換は 1 次式なので、有限区間で置換してから端を無限に飛ばせば、収束も同時に移る。$\blacksquare$

1 次変換と標準化

1 次変換で正規分布は保たれる

$X\sim N(\mu,\sigma^2)$($\sigma\ge0$)、$a,b\in\mathbb R$ とすると、$aX+b\sim N(a\mu+b,\,a^2\sigma^2)$ である。とくに $\sigma>0$ なら
$$ X\sim N(\mu,\sigma^2)\iff Z:=\frac{X-\mu}{\sigma}\sim N(0,1) $$
であり、$P(X\le x)=\Phi\bigl(\frac{x-\mu}\sigma\bigr)$ である。

分布関数を置換積分で書き直す

$a=0$ または $\sigma=0$ なら $aX+b$ は確率 $1$ で定数 $a\mu+b$ に等しく、退化した正規分布 $N(a\mu+b,a^2\sigma^2)$ に従う。以下 $a\ne0$、$\sigma>0$ とし、$\tau:=\lvert a\rvert\sigma$、$m:=a\mu+b$ とおく。
$a>0$ のとき、$y\in\mathbb R$ について $x=\frac{t-b}a$ と置換すると
$$ P(aX+b\le y)=P\Bigl(X\le\frac{y-b}a\Bigr)=\int_{-\infty}^{(y-b)/a}\varphi_{\mu,\sigma^2}(x)\,dx=\int_{-\infty}^{y}\frac1a\varphi_{\mu,\sigma^2}\Bigl(\frac{t-b}a\Bigr)dt $$
である。$\frac{t-b}a-\mu=\frac{t-m}a$ なので、被積分関数は
$$ \frac1{a\sqrt{2\pi}\,\sigma}\exp\Bigl(-\frac{(t-m)^2}{2a^2\sigma^2}\Bigr)=\varphi_{m,\tau^2}(t) $$
である。$a<0$ のとき、$X$ は密度をもつので $P(X=c)=0$(確率変数 の注意「密度をもつ確率変数の 1 点の確率」)であり、
$$ P(aX+b\le y)=P\Bigl(X\ge\frac{y-b}a\Bigr)=\int_{(y-b)/a}^{\infty}\varphi_{\mu,\sigma^2}(x)\,dx=\int_{-\infty}^{y}\frac1{\lvert a\rvert}\varphi_{\mu,\sigma^2}\Bigl(\frac{t-b}a\Bigr)dt $$
となり、被積分関数は同じ計算で $\varphi_{m,\tau^2}(t)$ に等しい。どちらの場合も $aX+b\sim N(m,\tau^2)$ である。
後半:$a=\frac1\sigma$、$b=-\frac\mu\sigma$ とすれば $X\sim N(\mu,\sigma^2)$ から $Z\sim N(0,1)$ を得る。逆に $Z\sim N(0,1)$ なら $X=\sigma Z+\mu\sim N(\mu,\sigma^2)$ である。$P(X\le x)=P\bigl(Z\le\frac{x-\mu}\sigma\bigr)=\Phi\bigl(\frac{x-\mu}\sigma\bigr)$ である。$\blacksquare$

正規分布の確率の計算は、こうして $\Phi$ の値に帰着する。$\varphi$ は偶関数なので $\Phi(-x)=1-\Phi(x)$ であり、
$$ P(\lvert X-\mu\rvert\ge k\sigma)=P(\lvert Z\rvert\ge k)=2\bigl(1-\Phi(k)\bigr) $$
である。$k=1,2,3$ でそれぞれ $0.3173\ldots$、$0.0455\ldots$、$0.0027\ldots$ となる。

積率と積率母関数

Stein の等式と積率

標準正規分布の密度は微分方程式 $\varphi'(x)=-x\varphi(x)$ を満たす。部分積分でこれを確率変数の言葉に直したものが次の等式で、積率の計算の基礎になる。

Stein の等式

$Z\sim N(0,1)$ とし、$f\colon\mathbb R\to\mathbb R$ を $C^1$ 級で、ある $C>0$ と整数 $k\ge0$ について $\lvert f(x)\rvert+\lvert f'(x)\rvert\le C(1+\lvert x\rvert^k)$ を満たす関数とする。このとき $E[\lvert Zf(Z)\rvert]<\infty$、$E[\lvert f'(Z)\rvert]<\infty$ であり、
$$ E[Zf(Z)]=E[f'(Z)] $$
が成り立つ。

部分積分で密度の微分を移す

可積分性:$\lvert x\rvert^j e^{-x^2/4}$ は $\mathbb R$ 上で有界($\lvert x\rvert\to\infty$ で $0$ に近づく連続関数)なので、各 $j\ge0$ について定数 $C_j$ があって $\lvert x\rvert^j\varphi(x)\le C_je^{-x^2/4}$ であり、右辺は $\mathbb R$ 上で可積分である。仮定から $\lvert xf(x)\rvert\le C(\lvert x\rvert+\lvert x\rvert^{k+1})$、$\lvert f'(x)\rvert\le C(1+\lvert x\rvert^k)$ なので、$\lvert xf(x)\rvert\varphi(x)$ と $\lvert f'(x)\rvert\varphi(x)$ は可積分で、どちらの期待値も有限である。
等式:$R>0$ について、$\varphi'=-x\varphi$ と部分積分により
$$ \int_{-R}^Rf'(x)\varphi(x)\,dx=\bigl[f(x)\varphi(x)\bigr]_{-R}^{R}-\int_{-R}^Rf(x)\varphi'(x)\,dx=f(R)\varphi(R)-f(-R)\varphi(-R)+\int_{-R}^Rxf(x)\varphi(x)\,dx $$
である。$\lvert f(\pm R)\rvert\varphi(R)\le C(1+R^k)\varphi(R)\to0$($R\to\infty$)であり、上で示した可積分性から両辺の積分は $R\to\infty$ で全区間の積分に収束する。よって $\int f'\varphi=\int xf\varphi$、すなわち $E[f'(Z)]=E[Zf(Z)]$ である。$\blacksquare$

正規分布の積率

$Z\sim N(0,1)$ のとき、整数 $k\ge0$ について
$$ E[Z^{2k+1}]=0,\qquad E[Z^{2k}]=(2k-1)!!=\frac{(2k)!}{2^kk!} $$
である($(-1)!!=1$、$(2k-1)!!=1\cdot3\cdots(2k-1)$)。とくに $E[Z^2]=1$、$E[Z^4]=3$、$E[Z^6]=15$ である。$X\sim N(\mu,\sigma^2)$ なら $E[X]=\mu$、$V[X]=\sigma^2$ である。

Stein の等式を冪に使う

$m_n:=E[Z^n]$ とおく(prop-nd-stein の可積分性の議論により有限)。$m_0=1$ である。$f(x)=1$ に prop-nd-stein を使うと $m_1=E[0]=0$ であり、$n\ge2$ について $f(x)=x^{n-1}$ に使うと
$$ m_n=E[Z\cdot Z^{n-1}]=(n-1)E[Z^{n-2}]=(n-1)m_{n-2} $$
である。$m_1=0$ から奇数次はすべて $0$ であり、$m_0=1$ から $m_{2k}=(2k-1)(2k-3)\cdots1$ である。$(2k)!=(2k-1)!!\cdot(2\cdot4\cdots2k)=(2k-1)!!\cdot2^kk!$ から 2 つ目の表示を得る。
$X\sim N(\mu,\sigma^2)$ は、thm-nd-affine により $X=\mu+\sigma Z$($Z:=\frac{X-\mu}\sigma\sim N(0,1)$)と書ける。期待値の線形性から $E[X]=\mu+\sigma m_1=\mu$、$V[X]=E[(\sigma Z)^2]=\sigma^2m_2=\sigma^2$ である。$\blacksquare$

積率母関数と特性関数

積率母関数と特性関数

$X\sim N(\mu,\sigma^2)$($\sigma\ge0$)のとき、すべての実数 $t$ について
$$ E\bigl[e^{tX}\bigr]=\exp\Bigl(\mu t+\frac{\sigma^2t^2}2\Bigr),\qquad E\bigl[e^{itX}\bigr]=E[\cos tX]+iE[\sin tX]=\exp\Bigl(i\mu t-\frac{\sigma^2t^2}2\Bigr) $$
である。前者を積率母関数、後者を特性関数という。

平方完成と冪級数

$\sigma=0$ なら $X=\mu$(確率 $1$)で、両式は明らかである。$\sigma>0$ とし、$X=\mu+\sigma Z$($Z\sim N(0,1)$)と書く(thm-nd-affine)。$e^{tX}=e^{\mu t}e^{(\sigma t)Z}$、$e^{itX}=e^{i\mu t}e^{i(\sigma t)Z}$ なので、$s\in\mathbb R$ について $E[e^{sZ}]=e^{s^2/2}$ と $E[e^{isZ}]=e^{-s^2/2}$ を示せばよい。
積率母関数:$sx-\frac{x^2}2=\frac{s^2}2-\frac{(x-s)^2}2$ と平方完成すると
$$ E[e^{sZ}]=\int_{-\infty}^\infty e^{sx}\varphi(x)\,dx=e^{s^2/2}\int_{-\infty}^\infty\varphi_{s,1}(x)\,dx=e^{s^2/2} $$
である(prop-nd-total。被積分関数は正なので、この計算は $E[e^{sZ}]$ が有限であることも示している)。
特性関数:$\sin$ は奇関数、$\varphi$ は偶関数で $\lvert\sin(sx)\varphi(x)\rvert\le\varphi(x)$ は可積分なので $E[\sin sZ]=0$ である。$\cos$ については、冪級数 $\cos y=\sum_{k\ge0}\frac{(-1)^ky^{2k}}{(2k)!}$ の部分和 $c_N(y)$ が $\lvert c_N(y)\rvert\le\sum_{k}\frac{\lvert y\rvert^{2k}}{(2k)!}\le e^{\lvert y\rvert}$ を満たし、$E[e^{\lvert sZ\rvert}]\le E[e^{sZ}]+E[e^{-sZ}]=2e^{s^2/2}<\infty$ である。よって Lebesgue積分 の定理「優収束定理」により期待値と和を交換でき、cor-nd-moments を使うと
$$ E[\cos sZ]=\sum_{k=0}^\infty\frac{(-1)^ks^{2k}}{(2k)!}E[Z^{2k}]=\sum_{k=0}^\infty\frac{(-1)^ks^{2k}}{(2k)!}\cdot\frac{(2k)!}{2^kk!}=\sum_{k=0}^\infty\frac1{k!}\Bigl(-\frac{s^2}2\Bigr)^k=e^{-s^2/2} $$
である。$\blacksquare$

特性関数は分布を決める(Dur19 Theorem 3.3.11(反転公式、p. 128)。この記事では証明しない)。この事実を使うと、独立な確率変数の和の特性関数が積になることから、次節の thm-nd-sum の別証明が得られる(同書 Corollary 3.3.13、p. 130)。積率母関数の式で $t=1$ とすると $E[e^X]=e^{\mu+\sigma^2/2}$ である。

独立な正規分布の和

正規分布の最も重要な性質は、独立な和について閉じていることである。証明には、独立な確率変数の和の密度が畳み込みで与えられるという次の事実を使う:$X$ が密度 $f$、$Y$ が密度 $g$ をもち、$X$ と $Y$ が独立なら、$X+Y$ は密度
$$ h(z)=\int_{-\infty}^\infty f(z-y)g(y)\,dy $$
をもつ(Dur19 Theorem 2.1.16(p. 50)。この記事では証明しない。$h$ は 畳み込み $f*g$ である)。

独立な正規分布の和

$X_1,\dots,X_n$ が独立で $X_j\sim N(\mu_j,\sigma_j^2)$($\sigma_j\ge0$)とする。実数 $a_1,\dots,a_n,b$ について
$$ a_1X_1+\cdots+a_nX_n+b\sim N\Bigl(\sum_{j=1}^na_j\mu_j+b,\ \sum_{j=1}^na_j^2\sigma_j^2\Bigr) $$
である。とくに $X\sim N(\mu_1,\sigma_1^2)$ と $Y\sim N(\mu_2,\sigma_2^2)$ が独立なら $X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ である。

畳み込みを平方完成で計算する

2 つの場合。 $X\sim N(\mu_1,\sigma_1^2)$、$Y\sim N(\mu_2,\sigma_2^2)$ が独立とする。どちらかが退化していれば、たとえば $Y=\mu_2$(確率 $1$)なら $X+Y=X+\mu_2$ で、thm-nd-affine から結論が従う。以下 $\alpha:=\sigma_1^2>0$、$\beta:=\sigma_2^2>0$ とする。$X':=X-\mu_1$、$Y':=Y-\mu_2$ は thm-nd-affine によりそれぞれ $N(0,\alpha)$、$N(0,\beta)$ に従い、独立である($X'$ は $X$ の関数、$Y'$ は $Y$ の関数。Dur19 Theorem 2.1.10、p. 47)。$X+Y=X'+Y'+(\mu_1+\mu_2)$ なので、thm-nd-affine により $X'+Y'\sim N(0,\alpha+\beta)$ を示せばよい。
$X'+Y'$ の密度は $h(z)=\int\varphi_{0,\alpha}(z-y)\varphi_{0,\beta}(y)\,dy$ である。$\gamma:=\frac{\alpha+\beta}{\alpha\beta}$ とおくと、指数の部分は $y$ について平方完成して
$$ \frac{(z-y)^2}{\alpha}+\frac{y^2}{\beta}=\gamma\Bigl(y-\frac{\beta z}{\alpha+\beta}\Bigr)^2+\frac{z^2}{\alpha+\beta} $$
となる(右辺を展開すると $y^2$ の係数 $\gamma=\frac1\alpha+\frac1\beta$、$y$ の係数 $-\frac{2z}\alpha$、定数項 $\frac{\beta z^2}{\alpha(\alpha+\beta)}+\frac{z^2}{\alpha+\beta}=\frac{z^2}\alpha$ が左辺と一致する)。$c:=\frac{\beta z}{\alpha+\beta}$ とおくと、prop-nd-total により $\int e^{-\gamma(y-c)^2/2}dy=\sqrt{2\pi/\gamma}$ なので
$$ h(z)=\frac1{2\pi\sqrt{\alpha\beta}}e^{-z^2/(2(\alpha+\beta))}\int_{-\infty}^\infty e^{-\gamma(y-c)^2/2}\,dy=\frac1{2\pi\sqrt{\alpha\beta}}\sqrt{\frac{2\pi\alpha\beta}{\alpha+\beta}}\,e^{-z^2/(2(\alpha+\beta))}=\varphi_{0,\alpha+\beta}(z) $$
である。よって $X'+Y'\sim N(0,\alpha+\beta)$ である。
一般の場合。 thm-nd-affine により $a_jX_j\sim N(a_j\mu_j,a_j^2\sigma_j^2)$ であり、$a_1X_1,\dots,a_nX_n$ は独立である(Dur19 Theorem 2.1.10)。$n$ についての帰納法で示す。$S_{n-1}:=\sum_{j< n}a_jX_j$ は帰納法の仮定により $N\bigl(\sum_{j< n}a_j\mu_j,\sum_{j< n}a_j^2\sigma_j^2\bigr)$ に従い、$X_1,\dots,X_{n-1}$ の関数なので $a_nX_n$ と独立である(同 Theorem 2.1.10)。2 つの場合を $S_{n-1}$ と $a_nX_n$ に使い、最後に $b$ を足して thm-nd-affine を使えば結論を得る。$\blacksquare$

2 つの場合の同じ計算は Dur19 Theorem 2.1.20(p. 52)と GrS06 Example 7.5(p. 294)にある。この定理の内容は、和が 正規分布のまま であることにある。

標本平均の分布

$X_1,\dots,X_n$ が独立で、どれも $N(\mu,\sigma^2)$ に従うとき、$\bar X:=\frac1n\sum_{j=1}^nX_j\sim N\bigl(\mu,\frac{\sigma^2}n\bigr)$ であり、$\varepsilon>0$ について
$$ P\bigl(\lvert\bar X-\mu\rvert\ge\varepsilon\bigr)=2\Bigl(1-\Phi\Bigl(\frac{\sqrt n\,\varepsilon}{\sigma}\Bigr)\Bigr) $$
である。

thm-nd-sum で $a_j=\frac1n$、$b=0$ とすると $\bar X\sim N\bigl(\mu,n\cdot\frac{\sigma^2}{n^2}\bigr)$ である。後半は thm-nd-affine で標準化し、$\Phi(-x)=1-\Phi(x)$ を使えばよい。$\blacksquare$

和と標本平均の確率
  1. $X\sim N(1,4)$ と $Y\sim N(2,9)$ が独立なら、$X+Y\sim N(3,13)$ なので
    $$ P(X+Y>6)=1-\Phi\Bigl(\frac{3}{\sqrt{13}}\Bigr)=1-\Phi(0.83205\ldots)\approx0.20269 $$
    である。$X-Y\sim N(-1,13)$ であり、差の分散も $4+9$ になる(thm-nd-sum で $a_2=-1$)。
  2. 身長が $N(170,6^2)$(単位 cm)に従う集団から独立に $9$ 人を選ぶと、平均身長 $\bar X$ は $N(170,4)$ に従い、$P(\lvert\bar X-170\rvert\ge3)=2(1-\Phi(1.5))\approx0.13361$ である(cor-nd-mean)。1 人だけなら同じ確率は $2(1-\Phi(0.5))\approx0.61708$ である。

裾の確率

$\Phi$ は初等関数で書けないが、裾の確率 $1-\Phi(x)$ は次のように上下から評価できる。

裾の確率の評価

$x>0$ について
$$ \frac{x}{1+x^2}\varphi(x)\le1-\Phi(x)\le\frac{\varphi(x)}{x},\qquad1-\Phi(x)\le e^{-x^2/2} $$
が成り立つ。とくに $x\to\infty$ のとき $\dfrac{1-\Phi(x)}{\varphi(x)/x}\to1$ である。

密度の微分の式を積分する

$1-\Phi(x)=\int_x^\infty\varphi(t)\,dt$ である(prop-nd-total)。
上からの評価:$t\ge x>0$ では $1\le\frac tx$ なので、$(-\varphi)'(t)=t\varphi(t)$ を使って
$$ \int_x^\infty\varphi(t)\,dt\le\frac1x\int_x^\infty t\varphi(t)\,dt=\frac1x\Bigl[-\varphi(t)\Bigr]_x^\infty=\frac{\varphi(x)}x $$
である。
下からの評価:$t>0$ で $\bigl(\frac{\varphi(t)}t\bigr)'=\frac{\varphi'(t)}t-\frac{\varphi(t)}{t^2}=-\bigl(1+\frac1{t^2}\bigr)\varphi(t)$ であり、$\frac{\varphi(t)}t\to0$($t\to\infty$)なので
$$ \frac{\varphi(x)}x=\int_x^\infty\Bigl(1+\frac1{t^2}\Bigr)\varphi(t)\,dt\le\Bigl(1+\frac1{x^2}\Bigr)\int_x^\infty\varphi(t)\,dt $$
である。両辺に $\frac{x^2}{1+x^2}$ を掛けて $\frac{x}{1+x^2}\varphi(x)\le1-\Phi(x)$ を得る。上下の評価の比は $\frac{x^2}{1+x^2}\to1$ なので、最後の主張が従う。
$e^{-x^2/2}$ による評価:$s>0$ について、$\{Z\ge x\}$ の上で $e^{s(Z-x)}\ge1$ だから $1-\Phi(x)=P(Z\ge x)\le E[e^{s(Z-x)}]=e^{-sx+s^2/2}$ である(thm-nd-mgf)。$s=x$ とすると $e^{-x^2/2}$ を得る。$\blacksquare$

$x$下からの評価 $\frac{x}{1+x^2}\varphi(x)$$1-\Phi(x)$上からの評価 $\frac{\varphi(x)}x$$e^{-x^2/2}$
$1$$0.12099$$0.15866$$0.24197$$0.60653$
$2$$0.021596$$0.022750$$0.026995$$0.13534$
$3$$0.0013296$$0.0013499$$0.0014773$$0.011109$
$4$$3.1489\times10^{-5}$$3.1671\times10^{-5}$$3.3458\times10^{-5}$$3.3546\times10^{-4}$
$5$$2.8591\times10^{-7}$$2.8665\times10^{-7}$$2.9734\times10^{-7}$$3.7267\times10^{-6}$

$x=5$ では上下の評価の比は $1.04$ ほどである。
どんな分布でも成り立つ Chebyshevの不等式 の評価 $P(\lvert X-\mu\rvert\ge k\sigma)\le\frac1{k^2}$ と比べると、正規分布の実際の確率は $k=2$ で $0.0455\ldots$(評価は $0.25$)、$k=3$ で $0.0027\ldots$(評価は $0.111\ldots$)と、ずっと小さい。

同時に正規分布に従う確率変数

確率変数の組 $(X_1,\dots,X_d)$ について、すべての実数 $c_1,\dots,c_d$ で $c_1X_1+\cdots+c_dX_d$ が(退化したものも含めて)正規分布に従うとき、$(X_1,\dots,X_d)$ は 同時に正規分布に従う という。thm-nd-sum により、独立な正規分布に従う確率変数の組は同時に正規分布に従う。その分布は平均の組と共分散の行列で決まる。$\sum_it_iX_i$ が平均 $\sum_it_i\mu_i$、分散 $\sum_{i,j}t_it_j\operatorname{Cov}(X_i,X_j)$ の正規分布に従うので、組の特性関数 $E[e^{i\sum_it_iX_i}]$ が thm-nd-mgf によりこれらだけで書け、特性関数は組の分布を決めるからである(Dur19 Theorem 3.10.4(反転公式、p. 199)、§3.10(pp. 201–202)、多変量正規分布)。
各成分が正規分布に従っても、組が同時に正規分布に従うとは限らない。

反例:各成分は正規分布だが和は正規分布でない

$X\sim N(0,1)$ と、$P(S=1)=P(S=-1)=\frac12$ の $S$ を独立にとり、$Y:=SX$ とおく。$X$ と $Y$ はどちらも $N(0,1)$ に従い無相関だが、$X+Y$ は正規分布に従わず、$X$ と $Y$ は独立でない。

確かめを開く

$Y\sim N(0,1)$ である。実際、$S$ と $X$ が独立で $-X\sim N(0,1)$(thm-nd-affine)なので、$P(Y\le y)=\frac12P(X\le y)+\frac12P(-X\le y)=\Phi(y)$ である。

$X+Y=(1+S)X$ は $S=-1$ のとき $0$ なので $P(X+Y=0)\ge\frac12$ である。正規分布は密度をもつか定数かのどちらかで、前者なら 1 点の確率は $0$、後者なら $X+Y$ は確率 $1$ で $0$ でなければならないが、$P(X+Y\ne0)=P(S=1,X\ne0)=\frac12$ である。よって $X+Y$ は正規分布に従わず、$(X,Y)$ は同時に正規分布に従わない。

$E[XY]=E[S]E[X^2]=0$ なので $X$ と $Y$ は無相関である。しかし $\lvert X\rvert=\lvert Y\rvert$ なので独立でない:$P(\lvert X\rvert\le1,\lvert Y\rvert>1)=0$ だが、$P(\lvert X\rvert\le1)P(\lvert Y\rvert>1)=0.6827\ldots\times0.3173\ldots>0$ である。

条件を外したときの反例

外す条件反例成り立たなくなること
thm-nd-sum で $X_1,\dots,X_n$ が独立$X\sim N(0,1)$、$Y=SX$(ex-nd-sign-flip)$X+Y$ は正規分布に従わない
thm-nd-affine で変換が 1 次式$X\sim N(0,1)$、$X^2$$X^2$ は正規分布に従わない
表の反例の確かめ
2 つの反例の確かめを開く

1 行目:ex-nd-sign-flip で確かめた。$X$ と $Y$ はどちらも $N(0,1)$ に従い、外れているのは独立性だけである。

2 行目:$X^2\ge0$ なので $P(X^2<0)=0$ である。$X^2$ が正規分布 $N(m,\tau^2)$ に従うとすると、$\tau>0$ なら $P(X^2<0)=\Phi(-m/\tau)>0$ となり矛盾する。$\tau=0$ なら $X^2$ は定数だが、$P(X^2\le1)=0.6827\ldots$ は $0$ でも $1$ でもないので矛盾する。$X^2$ の分布は自由度 $1$ のカイ二乗分布と呼ばれる。

補足

分散が有限でないと正規分布に近づかない例

密度 $\frac1{\pi(1+x^2)}$ の Cauchy 分布は期待値も分散ももたず、中心極限定理 の仮定のうち「分散が有限」だけを欠き、独立な和 $S_n$ を $\sqrt n$ で割ったものの分布は収束しない。

確かめを開く

独立に同じ Cauchy 分布に従う $X_1,X_2,\dots$ の平均 $\frac{S_n}n$ は $X_1$ と同じ分布に従う(Dur19 Example 3.3.16 と Exercise 3.3.6、pp. 131–132。この記事では証明しない)。したがって $M>0$ について $P\bigl(\lvert S_n/\sqrt n\rvert\le M\bigr)=P\bigl(\lvert X_1\rvert\le M/\sqrt n\bigr)\to0$ であり、$\frac{S_n}{\sqrt n}$ の確率はどの有界区間からも逃げていくので、分布は収束しない(とくに正規分布に近づかない)。

記法の規約。 分散の代わりに標準偏差を 2 番目の引数に書く流儀($N(\mu,\sigma)$)もあるので、文献ではどちらの規約かを確かめる。この記事では Dur19 と同じく分散を書く。
極限に現れる理由。 期待値 $0$・分散 $1$ の確率変数の特性関数は $t=0$ の近くで $1-\frac{t^2}2+o(t^2)$ と展開でき、独立に同じ分布に従う $n$ 個の和を $\sqrt n$ で割ったものの特性関数は $\bigl(1-\frac{t^2}{2n}+o(\frac1n)\bigr)^n$ になる。これが $e^{-t^2/2}$ に近づくことが、一般の 中心極限定理 の証明の骨格である(Dur19 Theorem 3.4.1、p. 144)。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する