確率分布の一覧

同義語:確率分布一覧list of probability distributionstable of probability distributions

概要

確率分布の一覧(list of probability distributions)とは、離散・連続の主要な確率分布の確率・密度・平均・分散・母関数と、和・変換・極限による分布どうしの関係を 1 か所にまとめた公式の表である。パラメータの流儀を固定し、平均と分散を母関数や指数型分布族の対数分配関数から求める方法、再生性の証明、使える条件と反例を添える。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 確率分布, 確率密度関数, 積率母関数, 確率母関数

機械の部品を 4 個用意し、壊れるたびに次の 1 個に交換する。部品の寿命は独立に平均 2 年の指数分布に従うとする。全部を使い切るまでの年数の平均と分散はいくつか。10 年もつ確率はいくつか。答えは、和の分布がガンマ分布 $\mathrm{Gamma}(4,\tfrac12)$ であること、その平均が $8$、分散が $16$ であること、裾の確率が Poisson 分布の和で書けることを知っていれば数行で出る(ex-lpd-parts)。
統計や工学の計算の多くは、このように「手元の量がどの分布に従うか」を決め、その分布の平均・分散・母関数を表から読むことから始まる。この記事は、よく使う離散分布と連続分布の確率・密度・平均・分散・母関数を 1 か所に集めた公式の表と、分布どうしの関係(和・変換・極限)の表である。各分布の定義と性質の証明はそれぞれの記事が持つので、ここでは表の読み方、使える条件、パラメータの流儀の違いを扱う。また、表の平均と分散を 1 つの公式で導く 2 つの定理(thm-lpd-mean-var、thm-lpd-expfam)と、和の表を 1 つの論法で導く命題(prop-lpd-sum)を証明する。

定義と使える条件

確率分布、確率変数、密度の定義は 確率分布 と 確率密度関数 による。この記事では $q:=1-p$ と書く。$X\sim\mu$ は $X$ の分布が $\mu$ であることを表す。

表に載せる量

$X$ を実数値の確率変数とする。

  1. 平均 $E[X]$ と 分散 $\mathrm{Var}(X):=E[(X-E[X])^2]$。
  2. 積率母関数 $M_X(t):=E[e^{tX}]$($t$ は実数、値は $\infty$ でもよい)と、キュムラント母関数 $K_X(t):=\log M_X(t)$($M_X(t)$ が有限のところで)。
  3. 特性関数 $\varphi_X(t):=E[e^{itX}]$($t$ は実数)。
  4. $X$ が $0$ 以上の整数の値をとるとき、確率母関数 $G_X(s):=E[s^X]=\sum_{k\ge0}P(X=k)s^k$。

これらがいつ定まるかは分布によって違う。表の各量を使う前に、次の条件を確かめる。

  1. 平均が定まるのは $E[\lvert X\rvert]< \infty$ のときである。
  2. 分散が有限なのは $E[X^2]< \infty$ のときである。
  3. 積率母関数が平均や分散を与えるのは、$0$ を含む開区間の上で $M_X$ が有限のときである(thm-lpd-mean-var)。
  4. 特性関数はどの分布にも定まる。
  5. 確率母関数は $0$ 以上の整数の値をとる確率変数にだけ定める。$\lvert s\rvert\le1$ で必ず収束する。
    Cauchy 分布は 1 を満たさず、対数正規分布は 1・2 を満たすが 3 を満たさない。表の「有限の範囲」の列は、この条件を読むためのものである。

パラメータの流儀

同じ名前の分布でも、文献やソフトウェアによってパラメータの意味が違う。この記事の流儀と、ほかの流儀からの換算を並べる。

分布この記事の流儀ほかの流儀換算
指数分布率 $\lambda$(密度 $\lambda e^{-\lambda x}$、平均 $1/\lambda$)尺度 $\theta$(密度 $\theta^{-1}e^{-x/\theta}$、平均 $\theta$)$\theta=1/\lambda$
ガンマ分布形 $\alpha$、率 $\lambda$形 $\alpha$、尺度 $\theta$$\theta=1/\lambda$
正規分布平均 $\mu$、分散 $\sigma^2$平均 $\mu$、標準偏差 $\sigma$$N(0,4)$ の $4$ は分散で、標準偏差は $2$
幾何分布$\mathrm{Geo}(p)$:成功までの回数($1,2,\dots$)$\mathrm{Geo}_0(p)$:成功までの失敗の回数($0,1,\dots$)$\mathrm{Geo}_0=\mathrm{Geo}-1$
負の二項分布$\mathrm{NB}(r,p)$:$r$ 回目の成功までの回数$\mathrm{NB}_0(r,p)$:$r$ 回目の成功までの失敗の回数$\mathrm{NB}_0=\mathrm{NB}-r$
Weibull 分布形 $k$、尺度 $\theta$($P(X>x)=e^{-(x/\theta)^k}$)形 $k$、$\beta=\theta^{-k}$($P(X>x)=e^{-\beta x^k}$)$\beta=\theta^{-k}$
Pareto 分布形 $\alpha$、下限 $c$($X\ge c$)形 $\alpha$、$X\ge0$ に平行移動した形$X-c$ を考える

公式の表

表の「根拠」の列は、その行の値が証明されている場所である。記事名はその記事の定理を、ex-lpd-rows はこの記事の導出を指す。主な分布の同様の一覧は ER10 Appendix C(pp. 705–708)にもある。ただしパラメータの流儀が一部違う($\mathrm{Geometric}$ は失敗の回数で数える)。

離散分布

分布確率 $P(X=k)$ と値の範囲平均分散確率母関数 $G(s)$ と有限の範囲根拠
Bernoulli分布 $B(1,p)$$p^kq^{1-k}$($k=0,1$)$p$$pq$$q+ps$(すべての $s$)二項分布
離散一様分布($n\ge1$)$\dfrac1n$($k=1,\dots,n$)$\dfrac{n+1}2$$\dfrac{n^2-1}{12}$$\dfrac1n\sum_{k=1}^ns^k$(すべての $s$)一様分布
二項分布 $B(n,p)$$\binom nkp^kq^{n-k}$($k=0,\dots,n$)$np$$npq$$(q+ps)^n$(すべての $s$)二項分布
Poisson 分布 $\mathrm{Po}(\lambda)$、$\lambda>0$$e^{-\lambda}\dfrac{\lambda^k}{k!}$($k\ge0$)$\lambda$$\lambda$$e^{\lambda(s-1)}$(すべての $s$)Poisson分布
幾何分布 $\mathrm{Geo}(p)$、$0< p\le1$$q^{k-1}p$($k\ge1$)$\dfrac1p$$\dfrac q{p^2}$$\dfrac{ps}{1-qs}$($\lvert s\rvert< 1/q$)幾何分布
幾何分布 $\mathrm{Geo}_0(p)$$q^kp$($k\ge0$)$\dfrac qp$$\dfrac q{p^2}$$\dfrac p{1-qs}$($\lvert s\rvert< 1/q$)幾何分布
負の二項分布 $\mathrm{NB}(r,p)$、$r\ge1$ は整数$\binom{k-1}{r-1}p^rq^{k-r}$($k\ge r$)$\dfrac rp$$\dfrac{rq}{p^2}$$\Bigl(\dfrac{ps}{1-qs}\Bigr)^r$($\lvert s\rvert< 1/q$)負の二項分布
負の二項分布 $\mathrm{NB}_0(r,p)$、$r>0$ は実数$\binom{r+k-1}kp^rq^k$($k\ge0$)$\dfrac{rq}p$$\dfrac{rq}{p^2}$$\Bigl(\dfrac p{1-qs}\Bigr)^r$($\lvert s\rvert< 1/q$)負の二項分布
超幾何分布 $\mathrm{HG}(N,K,n)$$\dfrac{\binom Kk\binom{N-K}{n-k}}{\binom Nn}$$n\dfrac KN$$n\dfrac KN\Bigl(1-\dfrac KN\Bigr)\dfrac{N-n}{N-1}$多項式 $\sum_kP(X=k)s^k$(すべての $s$)超幾何分布

幾何分布と負の二項分布の表の範囲は $p< 1$ のときで、$p=1$ なら $G$ はすべての $s$ で有限である。超幾何分布の $k$ の範囲は $\max\{0,n-N+K\}\le k\le\min\{n,K\}$ である。積率母関数は $M_X(t)=G(e^t)$ で得られ、特性関数は $\varphi_X(t)=G(e^{it})$ で得られる。

連続分布の基本

分布密度 $f(x)$ と台平均分散積率母関数 $M(t)$ と有限の範囲根拠
一様分布 $\mathrm{Unif}(a,b)$$\dfrac1{b-a}$($a< x< b$)$\dfrac{a+b}2$$\dfrac{(b-a)^2}{12}$$\dfrac{e^{bt}-e^{at}}{(b-a)t}$(すべての $t$、$M(0)=1$)一様分布
指数分布 $\mathrm{Exp}(\lambda)$$\lambda e^{-\lambda x}$($x>0$)$\dfrac1\lambda$$\dfrac1{\lambda^2}$$\dfrac\lambda{\lambda-t}$($t< \lambda$)指数分布
ガンマ分布 $\mathrm{Gamma}(\alpha,\lambda)$$\dfrac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$($x>0$)$\dfrac\alpha\lambda$$\dfrac\alpha{\lambda^2}$$\Bigl(\dfrac\lambda{\lambda-t}\Bigr)^\alpha$($t< \lambda$)ガンマ分布
ベータ分布 $\mathrm{Beta}(p,q)$$\dfrac{x^{p-1}(1-x)^{q-1}}{B(p,q)}$($0< x< 1$)$\dfrac p{p+q}$$\dfrac{pq}{(p+q)^2(p+q+1)}$すべての $t$ で有限(積率は ベータ分布)ベータ分布
正規分布 $N(\mu,\sigma^2)$$\dfrac1{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)}$(実数全体)$\mu$$\sigma^2$$e^{\mu t+\sigma^2t^2/2}$(すべての $t$)正規分布

この表のパラメータはすべて正である($\mu$ は実数、$a< b$)。ベータ分布の行に限り、$q$ は $1-p$ ではなく 2 つめのパラメータである。

正規分布から作る分布

分布密度 $f(x)$ と台平均分散積率母関数 $M(t)$ と有限の範囲根拠
カイ二乗分布 $\chi^2_\nu$$\dfrac{x^{\nu/2-1}e^{-x/2}}{2^{\nu/2}\Gamma(\nu/2)}$($x>0$)$\nu$$2\nu$$(1-2t)^{-\nu/2}$($t< \tfrac12$)カイ二乗分布
$t$ 分布 $t_\nu$$\dfrac{\Gamma(\frac{\nu+1}2)}{\sqrt{\nu\pi}\Gamma(\frac\nu2)}\Bigl(1+\dfrac{x^2}\nu\Bigr)^{-\frac{\nu+1}2}$(実数全体)$0$($\nu>1$)$\dfrac\nu{\nu-2}$($\nu>2$)$t\ne0$ で $\infty$t分布
F分布 $F(a,b)$$\dfrac{(a/b)^{a/2}x^{a/2-1}}{B(\frac a2,\frac b2)}\Bigl(1+\dfrac{ax}b\Bigr)^{-\frac{a+b}2}$($x>0$)$\dfrac b{b-2}$($b>2$)$\dfrac{2b^2(a+b-2)}{a(b-2)^2(b-4)}$($b>4$)$t>0$ で $\infty$ex-lpd-rows
対数正規分布 $\mathrm{LogN}(\mu,\sigma^2)$$\dfrac1{\sqrt{2\pi}\sigma x}e^{-(\log x-\mu)^2/(2\sigma^2)}$($x>0$)$e^{\mu+\sigma^2/2}$$(e^{\sigma^2}-1)e^{2\mu+\sigma^2}$$t>0$ で $\infty$ex-lpd-rows

裾の重い分布と寿命の分布

この表と上の表のパラメータも、$\mu$ が実数であるほかはすべて正である。

分布密度 $f(x)$ と台平均分散母関数または積率根拠
Cauchy 分布 $C(\mu,\gamma)$$\dfrac{\gamma}{\pi(\gamma^2+(x-\mu)^2)}$(実数全体)定まらない定まらない$\varphi(t)=e^{i\mu t-\gamma\lvert t\rvert}$、$t\ne0$ で $M(t)=\infty$Cauchy分布
Laplace 分布 $\mathrm{Lap}(\mu,b)$$\dfrac1{2b}e^{-\lvert x-\mu\rvert/b}$(実数全体)$\mu$$2b^2$$M(t)=\dfrac{e^{\mu t}}{1-b^2t^2}$($\lvert t\rvert< 1/b$)ex-lpd-rows
ロジスティック分布 $\mathrm{Logis}(\mu,s)$$\dfrac{e^{-(x-\mu)/s}}{s(1+e^{-(x-\mu)/s})^2}$(実数全体)$\mu$$\dfrac{\pi^2s^2}3$$M(t)=e^{\mu t}\dfrac{\pi st}{\sin\pi st}$($\lvert t\rvert< 1/s$、$M(0)=1$)ex-lpd-rows
Weibull 分布 $\mathrm{Weib}(k,\theta)$$\dfrac k\theta\Bigl(\dfrac x\theta\Bigr)^{k-1}e^{-(x/\theta)^k}$($x>0$)$\theta\Gamma(1+\tfrac1k)$$\theta^2\bigl(\Gamma(1+\tfrac2k)-\Gamma(1+\tfrac1k)^2\bigr)$$E[X^r]=\theta^r\Gamma(1+\tfrac rk)$($r>-k$)ex-lpd-rows
Rayleigh 分布 $\mathrm{Ray}(\sigma)$$\dfrac x{\sigma^2}e^{-x^2/(2\sigma^2)}$($x>0$)$\sigma\sqrt{\dfrac\pi2}$$\dfrac{4-\pi}2\sigma^2$$\mathrm{Weib}(2,\sqrt2\sigma)$ と同じex-lpd-rows
Pareto 分布 $\mathrm{Par}(\alpha,c)$$\dfrac{\alpha c^\alpha}{x^{\alpha+1}}$($x>c$)$\dfrac{\alpha c}{\alpha-1}$($\alpha>1$)$\dfrac{\alpha c^2}{(\alpha-1)^2(\alpha-2)}$($\alpha>2$)$E[X^r]=\dfrac{\alpha c^r}{\alpha-r}$($r< \alpha$)、$t>0$ で $M(t)=\infty$ex-lpd-rows
表の行の導出

使う公式:定義の和・積分、thm-lpd-mean-var。この記事で導く行は、F・対数正規・Laplace・ロジスティック・Weibull・Rayleigh・Pareto の 7 行である。F 分布の密度は 確率変数の変換 の例「F 分布の密度」で導く。

導出を開く

対数正規分布。 $X=e^Y$、$Y\sim N(\mu,\sigma^2)$ と書ける(密度の導出は 確率変数の変換 の表「分布の作り方」)。実数 $r$ について $E[X^r]=M_Y(r)=e^{r\mu+r^2\sigma^2/2}$ である。$r=1,2$ から平均と分散を得る。$t>0$ なら、整数 $m\ge1$ について $e^{tX}\ge\frac{(tX)^m}{m!}$ なので $M_X(t)\ge\frac{t^m}{m!}e^{m\mu+m^2\sigma^2/2}$ である。$m!\le m^m=e^{m\log m}$ で、$m^2\sigma^2/2$ は $m\log m$ より速く増えるので、右辺は $m\to\infty$ で $\infty$ に近づく。よって $M_X(t)=\infty$ である。

F 分布。 $X=\frac{U/a}{V/b}$($U\sim\chi^2_a$、$V\sim\chi^2_b$ は独立)である。カイ二乗分布の密度から、$r>-b/2$ について $E[V^r]=2^r\Gamma(\frac b2+r)/\Gamma(\frac b2)$ なので、$E[V^{-1}]=\frac1{b-2}$($b>2$)、$E[V^{-2}]=\frac1{(b-2)(b-4)}$($b>4$)である。独立性と $E[U]=a$、$E[U^2]=a(a+2)$ から $E[X]=\frac b{b-2}$、$E[X^2]=\frac{b^2(a+2)}{a(b-2)(b-4)}$ であり、$\mathrm{Var}(X)=\frac{b^2}{(b-2)^2(b-4)a}\bigl((a+2)(b-2)-a(b-4)\bigr)=\frac{2b^2(a+b-2)}{a(b-2)^2(b-4)}$ である。

Laplace 分布。 $\lvert t\rvert< 1/b$ について、$0$ の左右に分けて積分すると $\int\frac1{2b}e^{-\lvert u\rvert/b}e^{tu}\,du=\frac1{2b}\bigl(\frac1{1/b-t}+\frac1{1/b+t}\bigr)=\frac1{1-b^2t^2}$ である。平行移動で $e^{\mu t}$ が掛かる。$K(t)=\mu t-\log(1-b^2t^2)$ より $K'(0)=\mu$、$K''(0)=2b^2$ である。

ロジスティック分布。 分布関数は $F(x)=(1+e^{-(x-\mu)/s})^{-1}$ で、$U:=F(X)$ は $(0,1)$ 上の一様分布に従い、$X=\mu+s\log\frac U{1-U}$ である。$\lvert u\rvert< 1$ について $E[(\frac U{1-U})^u]=B(1+u,1-u)=\Gamma(1+u)\Gamma(1-u)=\frac{\pi u}{\sin\pi u}$ である(最後は Γ関数 の定理「相反公式・Beta関数・Legendreの倍数公式」の 1)。$u=st$ として $M$ の式を得る。$\log\frac{\pi u}{\sin\pi u}=\frac{\pi^2u^2}6+O(u^4)$ より $K''(0)=\frac{\pi^2s^2}3$ である。

Weibull 分布と Rayleigh 分布。 $u=(x/\theta)^k$ と置換すると $E[X^r]=\theta^r\int_0^\infty u^{r/k}e^{-u}\,du=\theta^r\Gamma(1+\frac rk)$($r/k>-1$)である。Rayleigh 分布は密度の比較により $\mathrm{Weib}(2,\sqrt2\sigma)$ で、$\Gamma(\frac32)=\frac{\sqrt\pi}2$ から平均は $\sqrt2\sigma\cdot\frac{\sqrt\pi}2=\sigma\sqrt{\frac\pi2}$、分散は $2\sigma^2(1-\frac\pi4)=\frac{4-\pi}2\sigma^2$ である。

Pareto 分布。 $r< \alpha$ なら $E[X^r]=\alpha c^\alpha\int_c^\infty x^{r-\alpha-1}\,dx=\frac{\alpha c^r}{\alpha-r}$ である。分散は $\frac{\alpha c^2}{\alpha-2}-\frac{\alpha^2c^2}{(\alpha-1)^2}=\frac{\alpha c^2}{(\alpha-1)^2(\alpha-2)}$ である。

積率母関数が無限大になる行。 Cauchy・$t$・F・Pareto の密度は $x\to\infty$ で $x$ の負の冪の定数倍に比が $1$ で近づくので、$t>0$ なら $\int e^{tx}f(x)\,dx=\infty$ である。Cauchy と $t$ は対称なので $t< 0$ でも同じである。

連続分布の表の積率母関数は、有限の範囲が $0$ を内部に含むとき、$t$ を $it$ に替えて特性関数を与える。ガンマ分布では $(1-it/\lambda)^{-\alpha}$(偏角の主値)である(ガンマ分布 の定理「特性関数」)。

平均と分散を母関数から求める

表の平均と分散は、分布ごとに和や積分を計算しなくても、母関数を微分すれば得られる。

母関数による平均と分散
  1. ある $\delta>0$ について $M_X$ が $(-\delta,\delta)$ の上で有限なら、$K_X=\log M_X$ は $(-\delta,\delta)$ の上で何回でも微分でき、
    $$ E[X]=K_X'(0),\qquad\mathrm{Var}(X)=K_X''(0) $$
    である。
  2. $X$ が $0$ 以上の整数の値をとり、ある $s_0>1$ で $G_X(s_0)< \infty$ なら、
    $$ E[X]=G_X'(1),\qquad\mathrm{Var}(X)=G_X''(1)+G_X'(1)-G_X'(1)^2 $$
    である。
積率を微分で読み、対数をとる

1:積率母関数 の定理「積率母関数の冪級数展開」により、$M_X$ は $(-\delta,\delta)$ の上で何回でも微分でき、$M_X'(0)=E[X]$、$M_X''(0)=E[X^2]$ である。$M_X(t)>0$ なので $K_X$ も何回でも微分できる。$M_X(0)=1$ と
$$ K_X'=\frac{M_X'}{M_X},\qquad K_X''=\frac{M_X''M_X-(M_X')^2}{M_X^2} $$
を $t=0$ で計算して、$K_X'(0)=E[X]$、$K_X''(0)=E[X^2]-E[X]^2=\mathrm{Var}(X)$ を得る。
2:$\sum_kP(X=k)s_0^k< \infty$ なので、冪級数 $G_X$ の収束半径は $s_0$ 以上であり、$G_X$ は $\lvert s\rvert< s_0$ で何回でも微分できる。よって $\lvert t\rvert< \log s_0$ で $M_X(t)=G_X(e^t)$ は有限である。合成関数の微分により
$$ M_X'(t)=G_X'(e^t)e^t,\qquad M_X''(t)=G_X''(e^t)e^{2t}+G_X'(e^t)e^t $$
である。$t=0$ として $E[X]=G_X'(1)$、$E[X^2]=G_X''(1)+G_X'(1)$ であり、分散の式を得る。$\square$

2 の公式は、$G_X$ が $s=1$ の右側に延びないときも、$E[X^2]< \infty$ なら左極限 $G_X^{(k)}(1-)$ に替えて成り立つ(確率母関数 の定理「階乗積率と微分」)。
$K_X$ は和と 1 次変換の計算に向く。独立な $X,Y$ については $K_{X+Y}=K_X+K_Y$ であり(積率母関数 の定理「独立な和の積率母関数」)、$K_{aX+b}(t)=K_X(at)+bt$ である。thm-lpd-mean-var と合わせると、平均と分散が独立な和で足し算になること、$\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$ であることが同時に読める。
例:ガンマ分布では $K(t)=-\alpha\log(1-t/\lambda)$ で、$K'(t)=\frac\alpha{\lambda-t}$、$K''(t)=\frac\alpha{(\lambda-t)^2}$ なので、$t=0$ で平均 $\alpha/\lambda$、分散 $\alpha/\lambda^2$ である。

指数型分布族

表の分布の多くは、次の共通の形に書ける。この形に書けると、平均と分散は 1 つの関数 $A$ の微分で出る。

1 母数の指数型分布族

$\nu$ を $\mathbb{R}$ 上の Lebesgue 測度または整数の上の数え上げ測度とし、$h\ge0$、$T$ を Borel 可測な関数とする。実数 $\eta$ について
$$ A(\eta):=\log\int h(x)e^{\eta T(x)}\,\nu(dx) $$
とおき、$A(\eta)< \infty$ となる $\eta$ の全体を $\Xi$ とする。$\eta\in\Xi$ に確率密度($\nu$ が数え上げ測度なら確率)
$$ p_\eta(x)=h(x)\exp\bigl(\eta T(x)-A(\eta)\bigr) $$
を対応させた分布の族を 1 母数の指数型分布族 といい、$\eta$ を 自然パラメータ、$T$ を 十分統計量 という。

ここで $h$ は $\nu$ についてほとんど至る所 $0$ である関数ではないとする(これで $A(\eta)>-\infty$ である)。$\Xi$ は区間である。実際、$\eta\mapsto e^{\eta T(x)}$ は凸関数なので、$\eta_1,\eta_2\in\Xi$ の間の点でも積分は有限である。

指数型分布族の平均と分散

$\eta$ が $\Xi$ の内点で、$X\sim p_\eta$ なら、$A$ は $\eta$ の近くで何回でも微分でき、
$$ E[T(X)]=A'(\eta),\qquad\mathrm{Var}(T(X))=A''(\eta) $$
である。さらに $T(X)$ の積率母関数は $u=0$ の近くで $M_{T(X)}(u)=e^{A(\eta+u)-A(\eta)}$ である。

指数の肩をずらす

$\eta$ は $\Xi$ の内点なので、$\delta>0$ を $(\eta-\delta,\eta+\delta)\subset\Xi$ となるようにとる。$\lvert u\rvert< \delta$ について、$A$ の定義から
$$ M_{T(X)}(u)=\int e^{uT(x)}h(x)e^{\eta T(x)-A(\eta)}\,\nu(dx)=e^{-A(\eta)}\int h(x)e^{(\eta+u)T(x)}\,\nu(dx)=e^{A(\eta+u)-A(\eta)} $$
であり、これは有限である。よって $K_{T(X)}(u)=A(\eta+u)-A(\eta)$ である。thm-lpd-mean-var の 1 を $T(X)$ に使うと、$K_{T(X)}$ は $0$ の近くで何回でも微分でき、$E[T(X)]=K_{T(X)}'(0)=A'(\eta)$、$\mathrm{Var}(T(X))=K_{T(X)}''(0)=A''(\eta)$ である。$\square$

$\mathrm{Var}(T(X))\ge0$ なので $A$ は $\Xi$ の内部で凸である。表の分布を指数型分布族に書くと次のようになる。$A'$ と $A''$ が表の平均と分散に一致することは、微分して確かめられる。

分布(固定するパラメータ)$T(x)$$\eta$$\Xi$$A(\eta)$$A'(\eta)$$A''(\eta)$
$B(n,p)$($n$)$x$$\log\frac pq$$\mathbb{R}$$n\log(1+e^\eta)$$np$$npq$
$\mathrm{Po}(\lambda)$$x$$\log\lambda$$\mathbb{R}$$e^\eta$$\lambda$$\lambda$
$\mathrm{NB}_0(r,p)$($r$)$x$$\log q$$\eta< 0$$-r\log(1-e^\eta)$$\frac{rq}p$$\frac{rq}{p^2}$
$\mathrm{Gamma}(\alpha,\lambda)$($\alpha$)$x$$-\lambda$$\eta< 0$$-\alpha\log(-\eta)$$\frac\alpha\lambda$$\frac\alpha{\lambda^2}$
$N(\mu,\sigma^2)$($\sigma^2$)$x$$\frac\mu{\sigma^2}$$\mathbb{R}$$\frac{\sigma^2\eta^2}2$$\mu$$\sigma^2$
$N(\mu,\sigma^2)$($\mu$)$(x-\mu)^2$$-\frac1{2\sigma^2}$$\eta< 0$$\frac12\log\pi-\frac12\log(-\eta)$$\sigma^2$$2\sigma^4$
$\mathrm{Weib}(k,\theta)$($k$)$x^k$$-\theta^{-k}$$\eta< 0$$-\log(-\eta)$$\theta^k$$\theta^{2k}$

各行の $h$ は、順に $\binom nx$、$\frac1{x!}$、$\binom{r+x-1}x$、$\frac{x^{\alpha-1}}{\Gamma(\alpha)}\mathbf{1}_{x>0}$、$\frac{e^{-x^2/(2\sigma^2)}}{\sqrt{2\pi}\sigma}$、$1$、$kx^{k-1}\mathbf{1}_{x>0}$ である(離散の 3 行の $h$ は表の値の範囲の外で $0$ とする)。$\mathrm{Geo}_0(p)$ と $\mathrm{Exp}(\lambda)$ は $r=1$、$\alpha=1$ の場合である。$\Xi$ の端の点では定理が使えない(ex-lpd-counterexamples)。

和の表:再生性

同じ族の独立な確率変数の和が同じ族に戻る性質を 再生性 という。

族特性関数 $\varphi(t)$$X$$Y$$X+Y$根拠
二項分布($p$ が共通)$(q+pe^{it})^n$$B(m,p)$$B(n,p)$$B(m+n,p)$二項分布
Poisson 分布$e^{\lambda(e^{it}-1)}$$\mathrm{Po}(\lambda)$$\mathrm{Po}(\mu)$$\mathrm{Po}(\lambda+\mu)$Poisson分布
負の二項分布($p$ が共通)$\bigl(\frac p{1-qe^{it}}\bigr)^r$$\mathrm{NB}_0(r,p)$$\mathrm{NB}_0(r',p)$$\mathrm{NB}_0(r+r',p)$負の二項分布
ガンマ分布($\lambda$ が共通)$(1-it/\lambda)^{-\alpha}$$\mathrm{Gamma}(\alpha,\lambda)$$\mathrm{Gamma}(\beta,\lambda)$$\mathrm{Gamma}(\alpha+\beta,\lambda)$ガンマ分布
正規分布$e^{i\mu t-\sigma^2t^2/2}$$N(\mu,\sigma^2)$$N(\mu',\sigma'^2)$$N(\mu+\mu',\sigma^2+\sigma'^2)$正規分布
Cauchy 分布$e^{i\mu t-\gamma\lvert t\rvert}$$C(\mu,\gamma)$$C(\mu',\gamma')$$C(\mu+\mu',\gamma+\gamma')$Cauchy分布

カイ二乗分布は $\mathrm{Gamma}(\nu/2,1/2)$ なので、$\chi^2_\nu$ と $\chi^2_{\nu'}$ の独立な和は $\chi^2_{\nu+\nu'}$ である。

再生性の表

上の表の各行で、$X$ と $Y$ が独立なら、$X+Y$ は右の列の分布に従う。

特性関数の掛け算

$X,Y$ が独立なら $\varphi_{X+Y}=\varphi_X\varphi_Y$ である(特性関数(確率論) の命題「特性関数の基本性質」)。表の特性関数は、二項・Poisson・負の二項では確率母関数の冪級数に $s=e^{it}$ を代入して得られる($\lvert e^{it}\rvert=1$ は収束の範囲の内側にある)。ガンマ分布は ガンマ分布 の定理「特性関数」、正規分布は 正規分布 の定理「積率母関数と特性関数」、Cauchy 分布は 特性関数(確率論) の例「Cauchy 分布の特性関数」と平行移動・尺度の変換による。
各行で 2 つの特性関数の積を作ると、$\varphi_X(t)\varphi_Y(t)$ は右の列の分布の特性関数に等しい。二項・Poisson・正規・Cauchy では指数法則そのものである。負の二項では $w=\frac{1-qe^{it}}p$、ガンマでは $w=1-it/\lambda$ とおくと $\operatorname{Re}w>0$ であり、偏角の主値による冪について $w^{-a}w^{-b}=w^{-(a+b)}$ が成り立つことを使う。特性関数は分布を決める(特性関数(確率論) の系「特性関数は分布を決める」)ので、$X+Y$ の分布は右の列の分布である。$\square$

「Bernoulli 分布の和が二項分布」「$\mathrm{Geo}_0$ の和が $\mathrm{NB}_0$」「指数分布の和がガンマ分布」は、この表の特別な場合である。prop-lpd-sum は和の分布を与える十分条件で、等式 $\varphi_{X+Y}=\varphi_X\varphi_Y$ から独立性は出ない(ex-lpd-counterexamples)。

分布の関係

分布は和・変換・極限で互いに結びつく。実線は独立な和と変換、破線は極限である。極限の矢印は、必要な規格化をしたあとの主張である(下の表)。
図: 分布の関係図。独立な和、変換と特別な場合、極限の矢印で主な分布を結ぶ 図: 分布の関係図。独立な和、変換と特別な場合、極限の矢印で主な分布を結ぶ

元の分布操作結果条件根拠
$U\sim\mathrm{Unif}(0,1)$$-\frac1\lambda\log U$$\mathrm{Exp}(\lambda)$$\lambda>0$確率変数の変換
$E\sim\mathrm{Exp}(1)$$\theta E^{1/k}$$\mathrm{Weib}(k,\theta)$$k,\theta>0$確率変数の変換
$E\sim\mathrm{Exp}(1)$$ce^{E/\alpha}$$\mathrm{Par}(\alpha,c)$$\alpha,c>0$確率変数の変換
独立な $E,E'\sim\mathrm{Exp}(1)$$\mu+b(E-E')$$\mathrm{Lap}(\mu,b)$$b>0$確率変数の変換
$Z\sim N(0,1)$$e^{\mu+\sigma Z}$$\mathrm{LogN}(\mu,\sigma^2)$$\sigma>0$確率変数の変換
独立な $Z_1,\dots,Z_\nu\sim N(0,1)$$Z_1^2+\cdots+Z_\nu^2$$\chi^2_\nu$$\nu\ge1$ は整数t分布
独立な $Z\sim N(0,1)$、$V\sim\chi^2_\nu$$Z/\sqrt{V/\nu}$$t_\nu$$\nu>0$t分布
独立な $U\sim\chi^2_a$、$V\sim\chi^2_b$$\dfrac{U/a}{V/b}$$F(a,b)$$a,b>0$確率変数の変換
$T\sim t_\nu$$T^2$$F(1,\nu)$$\nu>0$確率変数の変換
独立な $Z,Z'\sim N(0,1)$$Z/Z'$$C(0,1)$Cauchy分布
独立な $G\sim\mathrm{Gamma}(p,\lambda)$、$G'\sim\mathrm{Gamma}(q,\lambda)$$\dfrac G{G+G'}$$\mathrm{Beta}(p,q)$$p,q,\lambda>0$ベータ分布

極限の関係は次のとおりである。

元の分布極限の条件極限根拠
$B(n,p_n)$$n\to\infty$、$np_n\to\lambda$$\mathrm{Po}(\lambda)$Poisson分布 の系「少数の法則」
$\mathrm{NB}_0(r,p_r)$$r\to\infty$、$p_r=\frac r{r+\lambda}$$\mathrm{Po}(\lambda)$負の二項分布 の定理「Poisson 分布への収束」
$\mathrm{HG}(N,K,n)$$N\to\infty$、$K/N\to p$、$n$ は固定$B(n,p)$超幾何分布 の定理「二項分布への収束」
$p\,\mathrm{Geo}(p)$$p\to+0$$\mathrm{Exp}(1)$幾何分布 の定理「指数分布の切り上げと幾何分布の極限」
$t_\nu$$\nu\to\infty$$N(0,1)$t分布 の定理「正規分布への収束」
平均 $m$、分散 $v$ の独立同分布の和 $S_n$ を標準化した $\dfrac{S_n-nm}{\sqrt{nv}}$$n\to\infty$、$0< v< \infty$$N(0,1)$中心極限定理

最後の行により、$B(n,p)$($0< p< 1$)、自然数 $\lambda=n$ の $\mathrm{Po}(n)$、$\chi^2_n$、$\mathrm{Gamma}(n,\lambda)$ を標準化したものは $n\to\infty$ で $N(0,1)$ に近づく。どれも同じ分布の $n$ 個の独立な和だからである(カイ二乗分布の場合は カイ二乗分布 の命題「正規分布による近似」)。

計算の手順

手元の量の分布を表から選び、値を読む手順を次に示す。

  1. 値の範囲を見る。 回数なら離散分布、時間・長さなら連続分布である。$0$ から $1$ の割合ならベータ分布、正の値なら指数・ガンマ・対数正規・Weibull などが候補になる。
  2. 生成の仕組みを見る(次の表)。
  3. パラメータの流儀を確かめる(節「パラメータの流儀」)。文献の式やソフトウェアの引数が率か尺度か、分散か標準偏差か、回数を成功の回を含めて数えるかを確かめる。
  4. 使う量の有限の範囲を確かめる。 平均・分散・母関数の列の条件を見る。裾の重い分布では平均や分散が有限でないことがある。
  5. 和があれば prop-lpd-sum を使う。パラメータの共通の条件と独立性を確かめる。表にない和は 確率変数の変換 の和の公式で計算する。
  6. 近似するなら 極限の表の条件を満たすかを確かめ、近似の誤差を見積もる(ex-lpd-approx)。
    生成の仕組み分布
    独立な $n$ 回の試行の成功の回数$B(n,p)$
    $N$ 個の中から戻さずに $n$ 個選ぶときの赤の個数$\mathrm{HG}(N,K,n)$
    まれに起こる事象の、一定時間の回数$\mathrm{Po}(\lambda)$
    独立な試行で $r$ 回目の成功までの回数$\mathrm{Geo}(p)$($r=1$)、$\mathrm{NB}(r,p)$
    無記憶な待ち時間$\mathrm{Exp}(\lambda)$
    無記憶な待ち時間 $n$ 個の和$\mathrm{Gamma}(n,\lambda)$
    多数の小さな独立な量の和$N(\mu,\sigma^2)$(中心極限定理による近似)
    多数の小さな正の独立な量の積$\mathrm{LogN}(\mu,\sigma^2)$($\log$ をとると和)
    故障の率が時間の冪で変わる寿命$\mathrm{Weib}(k,\theta)$($P(X>x)=e^{-(x/\theta)^k}$ の故障率は $\frac k\theta(\frac x\theta)^{k-1}$)
    正規標本の分散・比$\chi^2_\nu$、$t_\nu$、$F(a,b)$
    手順が止まるのは、生成の仕組みが表のどれにも当たらないときである。その場合は表に合わせず、確率変数の変換 の公式で分布を直接求めるか、データから分布を当てはめる(最尤推定)。

例題

部品の交換:ガンマ分布

寿命が独立に $\mathrm{Exp}(\tfrac12)$(平均 2 年)に従う部品を 4 個、順に使う。全部を使い切る時刻 $T$ の平均・分散と、$P(T>10)$ を求める。
使う公式:prop-lpd-sum、連続分布の表のガンマ分布の行、ガンマ分布 の定理「Erlang 分布の分布関数」。
答え:$T\sim\mathrm{Gamma}(4,\tfrac12)$、平均 $8$、分散 $16$、$P(T>10)=\dfrac{118}{3}e^{-5}\approx0.26503$。

途中の計算を開く

$\mathrm{Exp}(\frac12)=\mathrm{Gamma}(1,\frac12)$ の和なので $T\sim\mathrm{Gamma}(4,\frac12)$ である。平均は $\alpha/\lambda=8$、分散は $\alpha/\lambda^2=16$ である。時刻 $10$ までの故障の回数は $\mathrm{Po}(\lambda t)=\mathrm{Po}(5)$ に従い、$T>10$ は回数が $3$ 以下であることと同じなので、$P(T>10)=e^{-5}(1+5+\frac{25}2+\frac{125}6)=\frac{118}3e^{-5}$ である。

二項分布の近似の比較

$X\sim B(100,0.03)$ について $P(X\le3)$ を、厳密な値、Poisson 近似、正規近似で比べる。
使う公式:極限の表の 1 行目と最後の行。
答え:厳密な値 $\approx0.64725$、Poisson 近似 $13e^{-3}\approx0.64723$、半整数補正つきの正規近似 $\approx0.61528$。

途中の計算を開く

Poisson 近似は $\lambda=np=3$ として $e^{-3}(1+3+\frac92+\frac{27}6)=13e^{-3}$ である。正規近似は平均 $3$、分散 $npq=2.91$ として、標準正規分布の分布関数 $\Phi$ により $\Phi((3.5-3)/\sqrt{2.91})$ である。$p$ が小さいので分布の非対称性が残り、$np=3$ の程度では正規近似より Poisson 近似のほうが近い。

戻さない抽出と戻す抽出

50 個のうち 10 個が不良品の箱から 10 個を選ぶ。戻さないときと戻すときで、不良品の個数の平均・分散と、不良品が 0 個の確率を比べる。
使う公式:離散分布の表の超幾何分布と二項分布の行。
答え:平均はどちらも $2$。分散は $\frac{64}{49}\approx1.30612$ と $1.6$。不良品が 0 個の確率は $\binom{40}{10}/\binom{50}{10}\approx0.08252$ と $0.8^{10}\approx0.10737$。

途中の計算を開く

$N=50$、$K=10$、$n=10$ で $K/N=\frac15$ である。分散の比は $\frac{N-n}{N-1}=\frac{40}{49}$ で、これが超幾何分布の分散を二項分布の分散 $npq=1.6$ から減らす因子である。

正規分布の 4 次の積率

$X\sim N(\mu,4)$ について、$E[(X-\mu)^2]$、$\mathrm{Var}((X-\mu)^2)$、$E[(X-\mu)^4]$ を $A$ の微分で求める。
使う公式:thm-lpd-expfam、指数型分布族の表の $N(\mu,\sigma^2)$($\mu$ を固定)の行。
答え:順に $4$、$32$、$48$。

途中の計算を開く

$\eta=-\frac1{2\sigma^2}=-\frac18$、$A(\eta)=\frac12\log\pi-\frac12\log(-\eta)$ である。$A'(\eta)=-\frac1{2\eta}=4$、$A''(\eta)=\frac1{2\eta^2}=32$ である。$E[(X-\mu)^4]=\mathrm{Var}((X-\mu)^2)+E[(X-\mu)^2]^2=32+16=48$ で、$3\sigma^4$ に等しい。

対数正規分布の平均・中央値・最頻値

$X\sim\mathrm{LogN}(0,1)$ の平均、分散、中央値、最頻値、$P(X>5)$ を求める。
使う公式:正規分布から作る分布の表の対数正規分布の行。
答え:平均 $e^{1/2}\approx1.64872$、分散 $(e-1)e\approx4.67077$、中央値 $1$、最頻値 $e^{-1}\approx0.36788$、$P(X>5)=1-\Phi(\log5)\approx0.05376$。

途中の計算を開く

$\log X\sim N(0,1)$ なので、$P(X\le1)=P(\log X\le0)=\frac12$ より中央値は $1$ である。密度の対数 $-\log x-\frac12(\log x)^2$ の微分は $-\frac1x(1+\log x)$ で、$x=e^{-1}$ で $0$ になる。右に裾が長いので、最頻値 $<$ 中央値 $<$ 平均の順に並ぶ。

Weibull 分布の寿命

$X\sim\mathrm{Weib}(1.5,2)$ の平均、分散、$P(X>3)$ を求める。
使う公式:裾の重い分布と寿命の分布の表の Weibull 分布の行。
答え:平均 $2\Gamma(\tfrac53)\approx1.80549$、分散 $4(\Gamma(\tfrac73)-\Gamma(\tfrac53)^2)\approx1.50276$、$P(X>3)=e^{-1.5^{1.5}}\approx0.15928$。

分散をそろえて裾を比べる

分散が $1$ になるようにパラメータを選んだ正規・ロジスティック・Laplace・$t_5$(尺度を調整)の 4 つの分布で、$P(X>3)$ と $P(X>6)$ を比べる。
使う公式:各行の分散の式。Laplace は $b=\frac1{\sqrt2}$、ロジスティックは $s=\frac{\sqrt3}\pi$、$t_5$ は $\sqrt{3/5}\,T$($T\sim t_5$)とする。
答え:次の表のとおり。$P(X>3)$ では $t_5$ より Laplace のほうが大きいが、$P(X>6)$ では順序が逆になる。$t_5$ の裾は冪で、Laplace の裾は指数で減るからである。

分布$P(X>3)$$P(X>6)$
正規分布$0.00135$$9.87\times10^{-10}$
ロジスティック分布$0.00431$$1.88\times10^{-5}$
Laplace 分布$0.00718$$1.03\times10^{-4}$
$t_5$(尺度を調整)$0.00586$$2.87\times10^{-4}$

図: 分散を 1 にそろえた 4 つの分布の密度(左)と、裾の確率 P(X>x) の対数目盛のグラフ(右) 図: 分散を 1 にそろえた 4 つの分布の密度(左)と、裾の確率 P(X>x) の対数目盛のグラフ(右)
Cauchy 分布は分散をもたないので、同じ比較には入らない。参考に $C(0,1)$ では $P(X>3)\approx0.10242$、$P(X>6)\approx0.05257$ である。

独立な Poisson 分布の和

午前の件数 $X\sim\mathrm{Po}(3)$、午後の件数 $Y\sim\mathrm{Po}(2)$ が独立のとき、$P(X+Y\ge8)$ を求める。
使う公式:prop-lpd-sum、離散分布の表の Poisson 分布の行。
答え:$X+Y\sim\mathrm{Po}(5)$ で、$P(X+Y\ge8)=1-e^{-5}\sum_{k=0}^7\dfrac{5^k}{k!}\approx0.13337$。

使える条件と反例

外す条件反例成り立たなくなること
独立(prop-lpd-sum)$X\sim\mathrm{Po}(1)$、$Y=X$$X+Y=2X$ は偶数の値しかとらず、$\mathrm{Po}(2)$ でない
$p$ が共通(prop-lpd-sum)独立な $X\sim B(1,\frac12)$、$Y\sim B(1,\frac14)$$X+Y$ はどの $B(2,r)$ でもない
表の族であること独立な $U,U'\sim\mathrm{Unif}(0,1)$$U+U'$ は三角形の密度をもち、一様分布でない
$M_X$ が $0$ の近くで有限(thm-lpd-mean-var)$X\sim C(0,1)$$E[\lvert X\rvert]=\infty$ で、平均の公式の左辺が定まらない。$\varphi(t)=e^{-\lvert t\rvert}$ は $t=0$ で微分できない
分散の表の条件 $\nu>2$$X\sim t_2$平均 $0$ は定まるが $E[X^2]=\infty$ で、$\frac\nu{\nu-2}$ は意味をもたない
$\eta$ が $\Xi$ の内点(thm-lpd-expfam)$h(x)=2(1+x)^{-3}\mathbf{1}_{x>0}$、$T(x)=x$、$\eta=0$$\Xi=(-\infty,0]$ で $\eta=0$ は端の点。$E[T]=1$ だが $\mathrm{Var}(T)=\infty$ で、$A''(0)$ は定まらない
極限の条件 $np_n\to\lambda$$B(n,\frac12)$、$n\to\infty$平均が $\infty$ に発散し、どの Poisson 分布にも近づかない
和の式から独立性を出す向き$X\sim C(0,1)$、$Y=X$$\varphi_{X+Y}=\varphi_X\varphi_Y$ だが $X,Y$ は独立でない
表の反例の確かめ

1 行目:$X+Y=2X$ は確率 $1$ で偶数である。$\mathrm{Po}(2)$ は $1$ に正の確率をおくので、分布が違う。$X$ と $Y$ の分布は表のとおりで、満たされていないのは独立性だけである。
2 行目:$X+Y$ の分布は $P(0)=\frac38$、$P(1)=\frac12$、$P(2)=\frac18$ である。$B(2,r)$ なら $P(1)^2=4P(0)P(2)$ だが、左辺は $\frac14$、右辺は $\frac3{16}$ である。率の違うガンマ分布の例は ガンマ分布 の節「反例:条件を外すと成り立たないこと」にある。
3 行目:$U+U'$ の密度は $(0,2)$ の上で $1-\lvert z-1\rvert$ である(一様分布 の例「独立な一様分布の最大値と和」の 2)。再生性は分布の族ごとの性質であり、どの分布にもあるわけではない。
4 行目:$t\ne0$ で $M_X(t)=\infty$ である。$\varphi(t)=e^{-\lvert t\rvert}$ の $t=0$ での右微分係数は $-1$、左微分係数は $1$ である。平均が定まらないことは Cauchy分布 の命題「積率」による。
5 行目:t分布 の命題「$t$ 分布の積率」により、$E[\lvert T\rvert^r]< \infty$ は $r< \nu$ と同値である。$\nu=2$ で $r=1$ は有限、$r=2$ は無限大である。
6 行目:$\eta>0$ では $\int_0^\infty2(1+x)^{-3}e^{\eta x}\,dx=\infty$ で、$\eta\le0$ では有限なので $\Xi=(-\infty,0]$ である。$\eta=0$ の分布は $\mathrm{Par}(2,1)$ を $1$ だけ左に平行移動したものなので、$\int_0^\infty2x(1+x)^{-3}\,dx=1$ で、$\int_0^\infty2x^2(1+x)^{-3}\,dx=\infty$ である。$\eta=0$ の左側では $A$ は微分できるが、$\eta\uparrow0$ のとき $A''(\eta)=\mathrm{Var}_\eta(T)$ は有限の極限をもたない(単調収束定理により $E_\eta[T^2]\to E_0[T^2]=\infty$ で、$E_\eta[T]\to1$ だから)。
7 行目:$E[X]=n/2\to\infty$ で、$P(X\le m)\to0$ がすべての $m$ で成り立つ(中心極限定理)。$n/2$ を固定するには $p$ を小さくする必要がある。
8 行目:$X+X=2X$ の特性関数は $\varphi(2t)=e^{-2\lvert t\rvert}=\varphi(t)^2$ である。$X$ が定数でないので $X$ は自分自身と独立でない。

よくある誤り

誤り正しくはなぜ
$N(0,4)$ の標準偏差を $4$ とするこの記事の流儀では $4$ は分散で、標準偏差は $2$節「パラメータの流儀」
指数分布の $\lambda$ を平均とする率 $\lambda$ の平均は $1/\lambda$率と尺度の取り違え
$\mathrm{Geo}(p)$ と $\mathrm{Geo}_0(p)$ の平均を混同する$1/p$ と $q/p$ で、差は $1$成功の回を数えるかどうかの違い。分散は同じ
対数正規分布の平均を $e^\mu$ とする$e^\mu$ は中央値で、平均は $e^{\mu+\sigma^2/2}$ex-lpd-lognormal
$M(t)$ の式を有限の範囲の外で使う$\mathrm{Exp}(\lambda)$ の $\frac\lambda{\lambda-t}$ は $t< \lambda$ だけ$t\ge\lambda$ では $M(t)=\infty$
$t_\nu$ の分散を常に $\frac\nu{\nu-2}$ とする$\nu>2$ のときだけex-lpd-counterexamples
パラメータの違う二項分布やガンマ分布にも再生性を使う$p$ や $\lambda$ が共通のときだけprop-lpd-sum

演習

幾何分布の分散

$\mathrm{Geo}_0(p)$($0< p< 1$)の分散を、thm-lpd-mean-var の 2 を使って求めよ。

解答を開く

$G(s)=\frac p{1-qs}$ は $s< 1/q$ で有限で、$1/q>1$ である。$G'(s)=\frac{pq}{(1-qs)^2}$、$G''(s)=\frac{2pq^2}{(1-qs)^3}$ なので $G'(1)=\frac qp$、$G''(1)=\frac{2q^2}{p^2}$ である。分散は $\frac{2q^2}{p^2}+\frac qp-\frac{q^2}{p^2}=\frac{q^2+pq}{p^2}=\frac q{p^2}$ である。

指数型分布族の書き直し

$\mathrm{Beta}(p,1)$($p>0$)を $T(x)=\log x$ の指数型分布族に書き、$E[\log X]$ と $\mathrm{Var}(\log X)$ を求めよ。

解答を開く

密度は $px^{p-1}$($0< x< 1$)である。$h(x)=x^{-1}\mathbf{1}_{0< x< 1}$、$\eta=p$ とおくと $\int h(x)e^{\eta\log x}\,dx=\int_0^1x^{\eta-1}\,dx=\frac1\eta$($\eta>0$)なので、$A(\eta)=-\log\eta$、$\Xi=(0,\infty)$ である。よって $E[\log X]=A'(p)=-\frac1p$、$\mathrm{Var}(\log X)=A''(p)=\frac1{p^2}$ である。$-\log X\sim\mathrm{Exp}(p)$ であることとも一致する。

和の裾

$X\sim\chi^2_4$ について $P(X>6)$ を閉じた形で求めよ。

解答を開く

$\chi^2_4=\mathrm{Gamma}(2,\frac12)$ である。ガンマ分布 の定理「Erlang 分布の分布関数」により、$\lambda x=3$ の Poisson 分布で回数が $1$ 以下の確率に等しいので、$P(X>6)=e^{-3}(1+3)=4e^{-3}\approx0.19915$ である。

補足

  • 多次元の分布。 多項分布は 多項分布、多変量正規分布は 多変量正規分布 が持つ。各成分の周辺分布は、それぞれ二項分布と正規分布である。
  • 混合。 パラメータ自体を確率変数にすると別の分布が得られる。Poisson 分布の平均をガンマ分布で混ぜると負の二項分布になる(負の二項分布 の定理「Poisson 分布のガンマ混合」)。
  • 多母数の指数型分布族。 $\eta$ と $T$ をベクトルにすると、$\nabla A(\eta)$ が $T$ の平均、Hessian が $T$ の 共分散行列 になる。thm-lpd-expfam の証明は、$u$ をベクトルにして同じように進む。多母数の場合の定義、キュムラント関数の凸性、最尤推定量の存在と一意性は 指数型分布族 で証明する。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する