幾何分布(geometric distribution)とは、$0< p\le1$ について正の整数 $k$ に確率 $(1-p)^{k-1}p$ をおく確率分布で、成功の確率 $p$ の試行を独立にくり返したときに初めて成功するまでの回数の分布である。初めて成功するまでの失敗の回数 $k=0,1,2,\dots$ に確率 $(1-p)^kp$ をおく流儀もあり、前者の平均は $1/p$、後者の平均は $(1-p)/p$、分散はどちらも $(1-p)/p^2$ である。正の整数に値をとる確率変数のうち、すべての整数 $m,n\ge0$ で $P(X>m+n)=P(X>m)P(X>n)$ を満たす(無記憶な)ものは幾何分布に限る。正の整数に値をとり平均が $\mu>1$ の分布のうち、エントロピーが最大なのは平均 $\mu$ の幾何分布である。
前提知識: Bernoulli試行, 確率分布, 条件付き確率, 等比級数
成功の確率が $p$ の試行を、互いに独立にくり返す。はじめて成功するのが何回目かを $T$ とすると、$T=k$ となるのは $k-1$ 回続けて失敗したあと $k$ 回目に成功するときなので、その確率は $(1-p)^{k-1}p$ である。この分布を 幾何分布(geometric distribution)という。確率が公比 $1-p$ の等比数列をなすことが名前の由来である。
幾何分布は「待ち時間」のもっとも基本的なモデルであり、整数の時刻で測った待ち時間のうち、それまでどれだけ待ったかを覚えていない(無記憶な)ものはこれに限る。この記事では、2 つの流儀の定義を並べたあと、裾の確率による特徴づけ、確率母関数と階乗積率、無記憶性による特徴づけ、独立な幾何分布の最小値、指数分布との関係(切り上げと極限)、平均を固定したときにエントロピーを最大にする分布であることを証明する。最後に、独立性・成功の確率が共通であること・時刻が整数であることを外すと結論が崩れる例を挙げる。
以下、確率空間 $(\Omega,\mathcal F,P)$ の上で考え、$0< p\le1$、$q:=1-p$ とする。$0^0=1$ と約束する。
$0\le q< 1$ なので、等比級数 の定理「等比級数の収束と剰余」により $\sum_{k\ge1}q^{k-1}p=\frac p{1-q}=1$ であり、$\mathrm{Geo}(p)$ は確率分布である。$p=1$ のときは $1$ に確率 $1$ をおく分布である。$p=0$ は除く。成功の確率が $0$ なら成功は起こらず、正の整数の上の確率分布にならないからである。
1 の $T$ は「はじめて成功するまでの試行の回数(成功した回を含む)」、2 の $Y$ は「はじめて成功するまでの失敗の回数」である。文献によってどちらを幾何分布とよぶかが違い、平均が $1$ ずれるので、引用するときは値の範囲を確かめる必要がある。この記事では、断らない限り 1 の流儀を使う(Dur19 Example 1.6.14 と同じ)。
Bernoulli試行 の命題「はじめての成功までの回数は幾何分布に従う」により、成功の確率 $p$ の無限の Bernoulli 試行 $X_1,X_2,\dots$ について、$T:=\min\{k\ge1: X_k=1\}$ は $\mathrm{Geo}(p)$ に従う。逆に、どの幾何分布もこの形で現れる。
| 試行の回数の流儀 $T$ | 失敗の回数の流儀 $Y=T-1$ | |
|---|---|---|
| 値 | $1,2,3,\dots$ | $0,1,2,\dots$ |
| 確率 | $P(T=k)=q^{k-1}p$ | $P(Y=k)=q^kp$ |
| 裾 | $P(T>k)=q^k$($k\ge0$) | $P(Y\ge k)=q^k$($k\ge0$) |
| 確率母関数 | $\dfrac{ps}{1-qs}$ | $\dfrac p{1-qs}$ |
| 期待値 | $\dfrac1p$ | $\dfrac qp$ |
| 分散 | $\dfrac q{p^2}$ | $\dfrac q{p^2}$ |
表の各行は prop-geod-tail と thm-geod-moments で示す($Y$ の行は $Y=T-1$ から従う。定数を引いても分散は変わらない)。
幾何分布の確率は $k$ について単調に減少し、最も起こりやすい値はつねに $1$ である。それでも期待値は $1/p$ で、$p$ が小さいと大きい。待ち時間は「たいていは短いが、ときどき非常に長い」分布をもつ。また、何回失敗したあとでも、そこから先に必要な回数の分布ははじめと同じである。硬貨は過去の結果を覚えていないので、「ずっと裏が続いたから次は表が出やすい」ということはない。この性質が無記憶性であり、幾何分布はそれで特徴づけられる。
$X$ を確率 $1$ で正の整数の値をとる確率変数とし、$0< p\le1$ とする。$X\sim\mathrm{Geo}(p)$ であるための必要十分条件は、すべての整数 $k\ge0$ について $P(X>k)=q^k$ が成り立つことである。
$X\sim\mathrm{Geo}(p)$ とする。$k\ge0$ について、等比級数の和により
$$
P(X>k)=\sum_{j\ge k+1}q^{j-1}p=q^k\sum_{i\ge0}q^ip=q^k
$$
である。逆に、すべての $k\ge0$ で $P(X>k)=q^k$ とする。$k\ge1$ について $\{X=k\}=\{X>k-1\}\setminus\{X>k\}$ で、$\{X>k\}\subset\{X>k-1\}$ なので $P(X=k)=q^{k-1}-q^k=q^{k-1}p$ である。$\square$
確率母関数は $G_T(s):=E[s^T]=\sum_kP(T=k)s^k$ である(確率母関数)。$k$ 次の 階乗積率 を $E[T(T-1)\cdots(T-k+1)]$ と書く。
$T\sim\mathrm{Geo}(p)$ とする。
1:$\lvert qs\rvert< 1$ なので、等比級数により $\sum_{k\ge1}q^{k-1}ps^k=ps\sum_{i\ge0}(qs)^i=\frac{ps}{1-qs}$ である。
2:$k< r$ では $k(k-1)\cdots(k-r+1)=0$、$k\ge r$ では $k(k-1)\cdots(k-r+1)=r!\binom kr$ である。項はすべて $0$ 以上なので、$n:=k-r$ とおいて
$$
E[T(T-1)\cdots(T-r+1)]=\sum_{k\ge r}r!\binom kr q^{k-1}p=r!\,p\,q^{r-1}\sum_{n\ge0}\binom{n+r}{r}q^n
$$
である。等比級数 の定理「等比級数の冪の展開」を $z=q$($0\le q< 1$)、冪 $r$ で使うと、最後の和は $\frac1{(1-q)^{r+1}}=\frac1{p^{r+1}}$ なので、値は $\frac{r!\,q^{r-1}}{p^r}$ である。
3:$r=1$ で $E[T]=\frac1p$、$r=2$ で $E[T(T-1)]=\frac{2q}{p^2}$ である。$E[T^2]=E[T(T-1)]+E[T]$ なので
$$
\mathrm{Var}(T)=E[T^2]-E[T]^2=\frac{2q}{p^2}+\frac1p-\frac1{p^2}=\frac{2q+p-1}{p^2}=\frac q{p^2}
$$
である。$\square$
期待値は裾の確率の和としても求まる。正の整数の値をとる $X$ について、$k=\sum_{j=0}^{k-1}1$ と書いて項が $0$ 以上の二重級数の和の順序を入れ替えると $E[X]=\sum_{k\ge0}P(X>k)$ なので、$E[T]=\sum_{k\ge0}q^k=\frac1p$ である(等比級数 の例「幾何分布の期待値」は、定理「等比級数の冪の展開」で同じ値を求めている)。$\mathrm{Var}(T)/E[T]^2=q$ は $p\to0$ で $1$ に近づき、標準偏差は平均と同じ程度の大きさになる。待ち時間は平均のまわりに集中しない。
公平なさいころを 6 の目が出るまで振る回数 $T$ は $\mathrm{Geo}(\frac16)$ に従う。$E[T]=6$、$\mathrm{Var}(T)=\frac{5/6}{1/36}=30$ で、標準偏差は約 $5.48$ である。$P(T>6)=(\frac56)^6\approx0.335$ なので、平均の 6 回を振っても 3 回に 1 回は 6 が出ていない。$P(T>12)=(\frac56)^{12}\approx0.112$ であり、平均の 2 倍を超えて待つことも 1 割を超える確率で起こる。
$X$ を確率 $1$ で正の整数の値をとる確率変数とする。次の 3 条件は同値である。
1 ⇒ 2:prop-geod-tail により $P(X>m+n)=q^{m+n}=q^m\cdot q^n=P(X>m)P(X>n)$ である。
2 ⇒ 3:$P(X>m)>0$ とする。$\{X>m+n\}\subset\{X>m\}$ なので、条件付き確率 の定義と 2 から $P(X>m+n\mid X>m)=\frac{P(X>m+n)}{P(X>m)}=P(X>n)$ である。
3 ⇒ 2:$P(X>m)>0$ なら、3 の式の両辺に $P(X>m)$ を掛ければ 2 の式になる。$P(X>m)=0$ なら、$P(X>m+n)\le P(X>m)=0$ なので 2 の式の両辺はともに $0$ である。
2 ⇒ 1:$g(n):=P(X>n)$ とおく。$X\ge1$ が確率 $1$ で成り立つので $g(0)=1$ である。2 を $m=n'$、$n=1$ で使うと $g(n'+1)=g(n')g(1)$ なので、$n$ についての帰納法により $g(n)=g(1)^n$ がすべての $n\ge0$ で成り立つ。$c:=g(1)\in[0,1]$ とおく。$c=1$ と仮定すると、すべての $n$ で $P(X>n)=1$ である。一方、事象 $\{X>n\}$ は $n$ について単調に減少し、$X$ は確率 $1$ で有限の値をとるので、確率の連続性により $P(X>n)\to P\bigl(\bigcap_n\{X>n\}\bigr)=0$ となって矛盾する。よって $c< 1$ であり、$p:=1-c$ とおくと $0< p\le1$、$P(X>n)=(1-p)^n$ がすべての $n\ge0$ で成り立つ。prop-geod-tail により $X\sim\mathrm{Geo}(p)$ である。
最後の主張は $P(X=1)=q^0p=p$ による。$\square$
3 の条件は、「$m$ 回待っても成功しなかった」という情報のもとで、残りの待ち時間 $X-m$ の分布がはじめの $X$ の分布と同じであることを表す。実際、3 から $n\ge1$ について $P(X-m=n\mid X>m)=P(X>m+n-1\mid X>m)-P(X>m+n\mid X>m)=P(X=n)$ が従う。
証明で「$X$ が有限の値をとる」ことを使ったのは $c=1$ を除くためである。値 $\infty$ を許すと、確率 $1$ で $X=\infty$ となる確率変数も 2 を満たす。
$Y\sim\mathrm{Geo}_0(p)$ では $P(Y\ge k)=q^k$ なので、無記憶性は $P(Y\ge m+n\mid Y\ge m)=P(Y\ge n)$ の形で成り立つ。$>$ のままの式 $P(Y>m+n)=P(Y>m)P(Y>n)$ は $0< p< 1$ では成り立たない(反例の節)。thm-geod-memoryless の 2 の形は、値が正の整数であることに合わせた書き方である。
thm-geod-memoryless の $m,n$ は整数である。$0< p< 1$ のとき、$s=t=\frac12$ では $P(T>1)=q< 1$ だが $P(T>\frac12)^2=P(T\ge1)^2=1$ なので、$P(T>s+t)=P(T>s)P(T>t)$ は実数の時刻 $s,t$ では成り立たない。時刻を連続にして、すべての実数 $s,t\ge0$ で無記憶性を要求すると、待ち時間の分布は指数分布になる。次の節で、幾何分布と指数分布が切り上げと極限で結びつくことを示す。
$n\ge1$ とし、$T_1,\dots,T_n$ を独立な確率変数で $T_i\sim\mathrm{Geo}(p_i)$($0< p_i\le1$)とする。$q_i:=1-p_i$ とおくと
$$
\min\{T_1,\dots,T_n\}\sim\mathrm{Geo}\bigl(1-q_1q_2\cdots q_n\bigr)
$$
である。
$M:=\min_iT_i$ は確率 $1$ で正の整数の値をとる。整数 $k\ge0$ について $\{M>k\}=\bigcap_i\{T_i>k\}$ であり、$T_1,\dots,T_n$ の独立性(独立性(確率論))と prop-geod-tail により
$$
P(M>k)=\prod_{i=1}^nP(T_i>k)=\prod_{i=1}^nq_i^k=(q_1\cdots q_n)^k
$$
である。$0\le q_1\cdots q_n< 1$ なので $1-q_1\cdots q_n\in(0,1]$ であり、prop-geod-tail により主張を得る。$\square$
$n$ 人が同時に試行を行い、誰かが成功した時点で止めると考えればよい。各回で全員が失敗する確率が $q_1\cdots q_n$ である。たとえば 2 人が同時にさいころを振り、どちらかが 6 を出すまでの回数は $\mathrm{Geo}(1-\frac{25}{36})=\mathrm{Geo}(\frac{11}{36})$ に従い、平均は $\frac{36}{11}\approx3.27$ である。
1:$P(E\le0)=1-P(E>0)=0$ なので、$\lceil E\rceil$ は確率 $1$ で正の整数の値をとる。整数 $k\ge0$ について $\lceil E\rceil>k$ と $E>k$ は同値なので($k$ は整数)、$P(\lceil E\rceil>k)=P(E>k)=(e^{-\lambda})^k$ である。$0< e^{-\lambda}< 1$ なので、prop-geod-tail により主張を得る。
2:$t=0$ では両辺とも $1$ である。$t>0$ とし、$k_n:=\lfloor t/p_n\rfloor$ とおく。$T_n$ は整数の値をとるので $\{p_nT_n>t\}=\{T_n>t/p_n\}=\{T_n>k_n\}$ であり、prop-geod-tail により $P(p_nT_n>t)=(1-p_n)^{k_n}$ である。十分大きい $n$ では $p_n< 1$ なので対数をとって
$$
\log P(p_nT_n>t)=k_n\log(1-p_n)=\bigl(p_nk_n\bigr)\cdot\frac{\log(1-p_n)}{p_n}
$$
と書ける。$t/p_n-1< k_n\le t/p_n$ から $t-p_n< p_nk_n\le t$ なので $p_nk_n\to t$ であり、$\frac{\log(1-x)}x\to-1$($x\to+0$)から第 2 因子は $-1$ に近づく。よって $\log P(p_nT_n>t)\to-t$ であり、指数関数の連続性から主張を得る。$\square$
1 は「連続な時間で無記憶に待つ時刻を、整数の時刻で切り上げて見る」と幾何分布になることを表す。2 は逆に、成功の確率が小さい試行を細かい時間間隔でくり返すとき、時間の単位を $1/p_n$ 倍に縮めた待ち時間が指数分布に近づくことを表す。この極限は、二項分布 から Poisson 分布への極限(少数の法則)と組になって、Poisson過程 の離散近似を与える。
正の整数の値をとる確率変数 $X$ のエントロピーを $H(X):=-\sum_kP(X=k)\log P(X=k)\in[0,\infty]$ とする($\log$ は自然対数、$0\log0:=0$)。
$1< \mu< \infty$ とし、$X$ を確率 $1$ で正の整数の値をとり $E[X]=\mu$ を満たす確率変数とする。$p:=1/\mu$、$q:=1-p$ とおくと
$$
H(X)\le-\log p-(\mu-1)\log q
$$
であり、右辺は $\mathrm{Geo}(p)$ のエントロピーに等しい。等号は $X\sim\mathrm{Geo}(p)$ のときに限る。
$\pi_k:=P(X=k)$、$g_k:=q^{k-1}p$($k\ge1$)とおく。$0< p< 1$ なのですべての $g_k$ は正であり、$c_k:=-\log g_k=-\log p-(k-1)\log q$ は $g_k\le1$ から $0$ 以上である。項が $0$ 以上の級数として
$$
\sum_k\pi_kc_k=-\log p-\Bigl(\sum_k(k-1)\pi_k\Bigr)\log q=-\log p-(\mu-1)\log q=:C< \infty
$$
である。エントロピー の定義「Kullback–Leibler 情報量」により $D(\pi\|g)=\sum_{k:\,\pi_k>0}\pi_k\log\frac{\pi_k}{g_k}=\sum_{k:\,\pi_k>0}\bigl(\pi_k\log\pi_k+\pi_kc_k\bigr)$ である。部分和は $\sum_{k\le N,\,\pi_k>0}\pi_k\log\pi_k$($0$ 以下で単調に減少し、$-H(X)$ に近づく)と $\sum_{k\le N}\pi_kc_k$($C$ に収束する)の和なので、$D(\pi\|g)=-H(X)+C$ が $[-\infty,\infty)$ の値として成り立つ。エントロピー の定理「Gibbs の不等式」により $D(\pi\|g)\ge0$ なので、$H(X)\le C$ であり、とくに $H(X)$ は有限である。等号 $H(X)=C$ は $D(\pi\|g)=0$ と同値で、Gibbs の不等式の等号条件により $\pi=g$、すなわち $X\sim\mathrm{Geo}(p)$ と同値である。$X\sim\mathrm{Geo}(p)$ のときは $\pi=g$ なので $H(X)=\sum_kg_kc_k=C$ であり、右辺は $\mathrm{Geo}(p)$ のエントロピーに等しい。$\square$
$h(p):=-p\log p-q\log q$ とおくと、$\mu=1/p$ なので右辺は $-\log p-\frac qp\log q=\frac{h(p)}p$ であり、エントロピー の例「幾何分布のエントロピー」の値と一致する。$\mu=1$ なら $X=1$ が確率 $1$ で成り立ち、$H(X)=0$ である。値が正の整数で平均だけが分かっていて他に何の情報もないとき、それと矛盾しない分布のうち最も「不確か」なものが幾何分布である。時刻を連続にした同じ問題では、指数分布が微分エントロピーを最大にする。
$n$ 種類の景品が、引くたびに独立に等しい確率 $\frac1n$ で出るとする。$i$ 種類($0\le i\le n-1$)がそろった時点から、新しい種類が出るまでに引く回数を $W_i$ とする。そろった時刻とそろった種類の集合 $S$($\lvert S\rvert=i$)で場合を分けると、その後の各回は過去と独立で、$S$ に入らない種類が出る確率は $\frac{n-i}n$ なので、$W_i\sim\mathrm{Geo}(\frac{n-i}n)$ である。全種類がそろうまでの回数 $W_0+W_1+\cdots+W_{n-1}$ の期待値は、期待値の線形性と thm-geod-moments により $\sum_{i=0}^{n-1}\frac n{n-i}=n\bigl(1+\frac12+\cdots+\frac1n\bigr)$ である(調和数 の例「くじ集めの問題」)。$n=6$ なら $14.7$ 回である。
成功の確率 $\frac14$ の試行で、はじめて成功するまでの回数 $T$ の平均は $4$、その前の失敗の回数 $Y=T-1$ の平均は $3$ である。どちらも分散は $\frac{3/4}{1/16}=12$ である。「幾何分布の平均は $\frac{1-p}p$」と書かれた文献は失敗の回数の流儀を使っている。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 試行の独立性(各回の成功の確率は共通) | 赤玉 1 個・白玉 2 個の袋から戻さずに引き、赤が出るまでの回数 $T$ | $T$ は $\{1,2,3\}$ 上の一様分布で、幾何分布ではない |
| 成功の確率が回によらないこと(独立性は保つ) | $k$ 回目の成功の確率を $\frac1{k+1}$ にする | $P(T>k)=\frac1{k+1}$ で幾何分布ではなく、$E[T]=\infty$ |
| 値が正の整数であること(thm-geod-memoryless の 2) | $Y\sim\mathrm{Geo}_0(p)$、$0< p< 1$ | $P(Y>m+n)\ne P(Y>m)P(Y>n)$ |
| 時刻が整数であること(thm-geod-memoryless の 2) | $T\sim\mathrm{Geo}(p)$、$0< p< 1$、$s=t=\frac12$ | $P(T>s+t)\ne P(T>s)P(T>t)$ |
1 行目:3 個とも順に引くとすると、赤玉の位置(1・2・3 番目)は等しく起こりやすいので、$P(T=1)=P(T=2)=P(T=3)=\frac13$ である。$k$ 回目に赤が出る確率はどの $k$ でも $\frac13$ で共通だが(同じ対称性による)、回どうしは独立でない(1 回目が赤なら 2 回目は赤にならない)。$T$ は $3$ 以下の値しかとらないので幾何分布ではなく、$P(T>2\mid T>1)=\frac{1/3}{2/3}=\frac12\ne\frac23=P(T>1)$ なので無記憶性も成り立たない。
2 行目:各回は独立なので $P(T>k)=\prod_{j=1}^k\bigl(1-\frac1{j+1}\bigr)=\prod_{j=1}^k\frac j{j+1}=\frac1{k+1}$ である。$P(T>k)\to0$ なので $T$ は確率 $1$ で有限だが、裾の確率は等比数列ではないので、prop-geod-tail により $T$ はどの幾何分布にも従わない。$E[T]=\sum_{k\ge0}P(T>k)=\sum_{k\ge0}\frac1{k+1}=\infty$ である。
3 行目:$P(Y>k)=P(T>k+1)=q^{k+1}$ なので、$P(Y>m+n)=q^{m+n+1}$、$P(Y>m)P(Y>n)=q^{m+n+2}$ であり、$0< q< 1$ では等しくない。
4 行目:rem-geod-continuous-time の計算である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する