超幾何分布

同義語:hypergeometric distribution

概要

超幾何分布(hypergeometric distribution)とは、赤が $K$ 個含まれる $N$ 個の集団から $n$ 個を戻さずに無作為に(どの $n$ 個の組も同じ確率で)取り出したときの赤の個数の分布で、$P(X=k)=\binom Kk\binom{N-K}{n-k}/\binom Nn$ で与えられる。期待値は復元抽出の二項分布と同じ $nK/N$ だが、分散は($N\ge2$ のとき)二項分布の分散に有限母集団修正 $(N-n)/(N-1)$ を掛けたもので、$n\ge2$、$0<K<N$ なら各回の結果が負の相関をもつため小さくなる。$n$ を固定して $N\to\infty$、$K/N\to p$ とすると二項分布 $B(n,p)$ に近づき、抜き取り検査・くじ・標本調査・Fisher の正確検定に現れる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 二項係数, 二項分布, 確率変数, 期待値

$N$ 個の玉のうち $K$ 個が赤で、残りが白の袋から、$n$ 個を戻さずに無作為に(どの $n$ 個の組も同じ確率で)取り出す。取り出した中の赤玉の個数 $X$ の分布が 超幾何分布(hypergeometric distribution)で、
$$ P(X=k)=\frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn} $$
である。1 個ずつ戻しながら取り出す(復元抽出)なら各回は独立で、赤玉の個数は二項分布に従う。超幾何分布は、戻さない(非復元抽出)ために各回が独立でなくなった場合の分布であり、抜き取り検査、くじ、標本調査、分割表の検定(Fisherの正確検定)など、有限の集団から一部を選ぶ場面で現れる。
この記事では、超幾何分布を定義して非復元抽出のモデルで確かめ(prop-hgd-model)、標本の大きさと赤玉の数を入れ替える対称性(prop-hgd-symmetry)、階乗積率と期待値・分散(thm-hgd-moments)、最も起こりやすい値(prop-hgd-mode)、標本の大きさを固定して集団を大きくすると二項分布に近づくこと(thm-hgd-binomial-limit)を証明する。分散は、$N\ge2$ のとき二項分布の分散に有限母集団修正 $\frac{N-n}{N-1}$ を掛けたものになる。

定義

以下、$N\ge1$、$0\le K\le N$、$0\le n\le N$ は整数とし、
$$ L:=\max\{0,\,n-(N-K)\},\qquad U:=\min\{n,K\} $$
とおく。整数 $a,b$ について、$\binom ab$ は $0\le b\le a$ のとき二項係数、それ以外のとき $0$ と約束する(二項係数)。

超幾何分布

$\{L,L+1,\dots,U\}$ 上の確率分布
$$ h(k)=h_{N,K,n}(k):=\frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn}\qquad(L\le k\le U) $$
を、母集団の大きさ $N$、赤の個数 $K$、標本の大きさ $n$ の 超幾何分布 といい、$\mathrm{HG}(N,K,n)$ と書く。確率変数 $X$ が $P(X=k)=h(k)$($L\le k\le U$)を満たすとき、$X$ は $\mathrm{HG}(N,K,n)$ に従うという。

$h(k)>0$ となるのはちょうど $L\le k\le U$ のときで、これは「赤を $K$ 個より多く、白を $N-K$ 個より多くは取り出せない」ことを表す。$h$ の和が $1$ になることは、次のモデルから従う(二項係数の等式としては 二項係数 の系「二変数の Vandermonde の公式」)。

非復元抽出のモデル

$N$ 個の元からなる集合 $M$ と、その $K$ 個の元からなる部分集合 $R$(赤)をとる。$M$ の $n$ 個の元からなる部分集合の全体 $\Omega$($\binom Nn$ 個)に一様な確率を与え、$\omega\in\Omega$ について $X(\omega):=\lvert\omega\cap R\rvert$ とおく。

  1. $X$ は $\mathrm{HG}(N,K,n)$ に従う。とくに $\sum_{k=L}^Uh(k)=1$ である。
  2. $M$ の元を一様にランダムな順に並べ($N!$ 通りの並べ方が等しい確率)、最初の $n$ 個の集合を $\omega$ とすると、$\omega$ は $\Omega$ 上で一様に分布する。したがって、1 個ずつ戻さずに取り出した最初の $n$ 個の中の赤の個数も $\mathrm{HG}(N,K,n)$ に従う。
選び方を数える

1:$X(\omega)=k$ となる $\omega$ は、$R$ から $k$ 個、$M\setminus R$ から $n-k$ 個を選ぶことで過不足なく得られるので、その個数は $\binom Kk\binom{N-K}{n-k}$ である(二項係数 の命題「部分集合による特徴づけ」)。一様な確率なので $P(X=k)=h(k)$ であり、$\Omega$ の元はどれかの $k$ に属するので確率の和は $1$ である。
2:$n$ 元集合 $\omega$ を 1 つ固定する。最初の $n$ 個の集合が $\omega$ になる並べ方は、最初の $n$ 個の位置に $\omega$ の元を並べ、残りの位置に残りの元を並べる方法の数 $n!\,(N-n)!$ だけあり、$\omega$ によらない。よって各 $\omega$ の確率は $\frac{n!(N-n)!}{N!}=\binom Nn^{-1}$ である。$\blacksquare$

Fisherの正確検定 の記法 $H_{m,n,s}$(群 1 が $m$ 人、群 2 が $n$ 人、成功の合計 $s$ のとき群 1 の成功数の分布)は、この記事の $\mathrm{HG}(m+n,\,m,\,s)$ にあたる(同記事の定義「超幾何分布と Fisher の非心超幾何分布」)。

直感

非復元抽出では、1 回目に赤を引くと袋の中の赤が 1 個減るので、2 回目に赤を引きにくくなる。各回の結果は負の相関をもち、赤の個数は「赤ばかり」「白ばかり」に偏りにくい。このため、期待値は復元抽出(二項分布 $B(n,K/N)$)と同じ $n\frac KN$ だが、分散は小さくなる。極端な場合 $n=N$ では全部を取り出すので $X=K$ と確定し、分散は $0$ である。逆に $N$ が $n$ よりずっと大きければ、1 個取り出しても袋の中の割合はほとんど変わらず、二項分布との差は小さい。

性質

対称性

超幾何分布の対称性
  1. $h_{N,K,n}(k)=h_{N,n,K}(k)$ である。すなわち $\mathrm{HG}(N,K,n)$ と $\mathrm{HG}(N,n,K)$ は同じ分布である。
  2. $X$ が $\mathrm{HG}(N,K,n)$ に従うなら、$n-X$ は $\mathrm{HG}(N,N-K,n)$ に、$K-X$ は $\mathrm{HG}(N,K,N-n)$ に従う。
階乗で書き直す

1:$L\le k\le U$ のとき、階乗で書くと
$$ h_{N,K,n}(k)=\frac{K!\,(N-K)!\,n!\,(N-n)!}{N!\,k!\,(K-k)!\,(n-k)!\,(N-K-n+k)!} $$
であり、この式は $K$ と $n$ の入れ替えで変わらない。$L,U$ も $K$ と $n$ について対称なので、範囲の外でも両辺は $0$ で等しい。
2:$n-X$ は取り出した白の個数である。prop-hgd-model で赤と白の役割を入れ替えれば、それは $\mathrm{HG}(N,N-K,n)$ に従う。$K-X$ は取り出されずに残った赤の個数であり、残った $N-n$ 個の集合 $M\setminus\omega$ は $(N-n)$ 元部分集合の全体の上で一様に分布する($\omega\mapsto M\setminus\omega$ は全単射)ので、$\mathrm{HG}(N,K,N-n)$ に従う。$\blacksquare$

1 は、「$n$ 個を選んで赤を数える」ことと「赤 $K$ 個のうち選ばれたものを数える」ことが、$\lvert\omega\cap R\rvert$ という同じ量を 2 通りに見たものであることを表している。

期待値と分散

階乗積率と期待値・分散

$X$ が $\mathrm{HG}(N,K,n)$ に従うとする。

  1. 整数 $r\ge0$ について、$r\le\min\{n,K\}$ なら
    $$ E\Bigl[\binom Xr\Bigr]=\frac{\binom nr\binom Kr}{\binom Nr} $$
    であり、$r>\min\{n,K\}$ なら左辺は $0$ である。
  2. $E[X]=n\dfrac KN$ である。
  3. $N\ge2$ なら
    $$ V[X]=n\,\frac KN\Bigl(1-\frac KN\Bigr)\frac{N-n}{N-1} $$
    である($N=1$ なら $X$ は定数で $V[X]=0$)。
選ばれた赤の r 個組を数える

1:prop-hgd-model のモデルで考える。$\binom{X(\omega)}r$ は、$R$ の $r$ 元部分集合 $T$ のうち $T\subset\omega$ となるものの個数なので、$E\bigl[\binom Xr\bigr]=\sum_TP(T\subset\omega)$ である(期待値の線形性)。$T$ を含む $n$ 元部分集合は $\omega\setminus T$ を $M\setminus T$ から選ぶ方法の数 $\binom{N-r}{n-r}$ だけあるので
$$ E\Bigl[\binom Xr\Bigr]=\binom Kr\frac{\binom{N-r}{n-r}}{\binom Nn}=\binom Kr\frac{n!\,(N-r)!}{N!\,(n-r)!}=\frac{\binom Kr\binom nr}{\binom Nr} $$
である。$r>K$ なら $T$ がなく、$r>n$ なら $\binom Xr=0$ なので、左辺は $0$ である。
2:1 で $r=1$ とすれば $E[X]=\frac{nK}N$ である。
3:1 で $r=2$ とすると $E[X(X-1)]=2E\bigl[\binom X2\bigr]=\frac{n(n-1)K(K-1)}{N(N-1)}$ である($n< 2$ または $K< 2$ のときは両辺とも $0$ で、式はそのまま成り立つ)。よって
$$ V[X]=E[X(X-1)]+E[X]-E[X]^2=\frac{n(n-1)K(K-1)}{N(N-1)}+\frac{nK}N-\frac{n^2K^2}{N^2} $$
である。右辺に $\frac{N^2(N-1)}{nK}$ を掛けると $(n-1)(K-1)N+N(N-1)-nK(N-1)=N^2-nN-KN+nK=(N-n)(N-K)$ となるので($nK=0$ のときは $X=0$ で両辺とも $0$)、$V[X]=\frac{nK(N-K)(N-n)}{N^2(N-1)}$ を得る。$\blacksquare$

$p:=\frac KN$ とおくと、$V[X]=np(1-p)\frac{N-n}{N-1}$ は二項分布 $B(n,p)$ の分散 $np(1-p)$ に 有限母集団修正 $\frac{N-n}{N-1}$ を掛けたものである。$n\ge2$ かつ $0< p< 1$ なら修正は $1$ より小さく、非復元抽出の方が散らばりが小さい。同じ分散は、取り出した各回が赤であることの指示関数 $\mathbf 1_1,\dots,\mathbf 1_n$ について $V[\mathbf 1_i]=p(1-p)$、$i\ne j$ なら共分散が $-\frac{p(1-p)}{N-1}$ であることからも、和の分散の公式(共分散 の定理「和の分散と共分散行列の半正定値性」)で求められる。

最も起こりやすい値

隣り合う確率の比は $k$ の有理式になる。

隣り合う確率の比と最頻値

$L\le k< U$ について
$$ \frac{h(k+1)}{h(k)}=\frac{(K-k)(n-k)}{(k+1)(N-K-n+k+1)} $$
である。$c:=\dfrac{(n+1)(K+1)}{N+2}$ とおくと、$h(k+1)>h(k)$、$h(k+1)=h(k)$、$h(k+1)< h(k)$ はそれぞれ $k+1< c$、$k+1=c$、$k+1>c$ と同値である。したがって $h$ は $k=\lfloor c\rfloor$ で最大値をとり、$c$ が整数のときは $k=c-1$ でも同じ最大値をとる。

比と 1 を比べる

比の式は prf-hgd-symmetry の階乗の式で $k$ と $k+1$ を比べれば得られる($L\le k< U$ では分子・分母とも正)。$h(k+1)\ge h(k)$ は $(K-k)(n-k)\ge(k+1)(N-K-n+k+1)$ と同値で、展開して整理すると
$$ (K-k)(n-k)-(k+1)(N-K-n+k+1)=(n+1)(K+1)-(k+1)(N+2) $$
なので、比較は $k+1$ と $c$ の大小で決まる(等号・不等号の向きもそのまま対応する)。よって $h$ は $k+1\le c$ の範囲で増加し、その先で減少する。最大値をとる $\lfloor c\rfloor$ が $L$ 以上 $U$ 以下であることは、$N-n=:\alpha\ge0$、$N-K=:\beta\ge0$ とおくと $(n+1)(K+1)-(n+K-N)(N+2)=1+\alpha+\beta+\alpha\beta>0$ から $c>n+K-N$、$n+1\le N+1< N+2$ から $c< K+1$、同様に $c< n+1$ となることによる。$\blacksquare$

二項分布 $B(n,p)$ の最頻値が $\lfloor(n+1)p\rfloor$ であること(二項分布 の命題「隣り合う確率の比と最頻値」)の非復元版であり、$K=pN$ で $N\to\infty$ とすると $c\to(n+1)p$ である。隣り合う項の比が添字の有理式になる級数が超幾何級数であり、実際 $n\le N-K$ なら $\sum_kh(k)z^k$ は Gauss の超幾何級数 ${}_2F_1(-n,-K;N-K-n+1;z)$ の定数倍になる(超幾何級数)。これが「超幾何」の名の由来である。

二項分布への近似

二項分布への収束

$n\ge1$ を固定し、$N\to\infty$ のとき $K=K_N$ が $\frac{K_N}N\to p\in[0,1]$ を満たすとする。$X_N$ が $\mathrm{HG}(N,K_N,n)$ に従うなら、各 $k=0,1,\dots,n$ について
$$ P(X_N=k)\to\binom nkp^k(1-p)^{n-k} $$
である。すなわち $X_N$ の分布は二項分布 $B(n,p)$ に近づく。

下降階乗で書く

$(x)_j:=x(x-1)\cdots(x-j+1)$($(x)_0:=1$)とおく。$0\le k\le n\le N$ について
$$ h_{N,K,n}(k)=\binom nk\frac{(K)_k\,(N-K)_{n-k}}{(N)_n} $$
が成り立つ。実際、$L\le k\le U$ では両辺を階乗で書くと一致し($\binom Kk=\frac{(K)_k}{k!}$、$\binom{N-K}{n-k}=\frac{(N-K)_{n-k}}{(n-k)!}$、$\binom Nn=\frac{(N)_n}{n!}$)、範囲の外では $k>K$ なら $(K)_k=0$、$n-k>N-K$ なら $(N-K)_{n-k}=0$ なので両辺とも $0$ である。分子と分母を $N^n=N^kN^{n-k}$ で割ると、$k,n$ を固定して $N\to\infty$ のとき
$$ \frac{(K_N)_k}{N^k}=\prod_{i=0}^{k-1}\Bigl(\frac{K_N}N-\frac iN\Bigr)\to p^k,\qquad\frac{(N-K_N)_{n-k}}{N^{n-k}}\to(1-p)^{n-k},\qquad\frac{(N)_n}{N^n}\to1 $$
である。よって $h_{N,K_N,n}(k)\to\binom nkp^k(1-p)^{n-k}$ である。$\blacksquare$

この近似は GrS06 §5.1(p. 193)に述べられている。$n$ が $N$ に比べて小さいとき、非復元抽出を復元抽出とみなして二項分布で計算してよい根拠になる。$n$ を $N$ と同じ程度に大きくすると近似は成り立たない(下の反例の表の 2 行目)。

例

抜き取り検査

$100$ 個の製品のうち $5$ 個が不良品のロットから、$10$ 個を抜き取って検査する。不良品の個数 $X$ は $\mathrm{HG}(100,5,10)$ に従い、$E[X]=\frac{10\cdot5}{100}=\frac12$、$V[X]=10\cdot\frac1{20}\cdot\frac{19}{20}\cdot\frac{90}{99}=\frac{19}{44}=0.4318\ldots$ である。不良品を 1 つも見つけられない確率は
$$ P(X=0)=\frac{\binom{95}{10}}{\binom{100}{10}}=\frac{95\cdot94\cdots86}{100\cdot99\cdots91}=0.5837\ldots $$
で、二項分布による近似 $0.95^{10}=0.5987\ldots$ よりやや小さい。$P(X=1)=0.3393\ldots$(近似 $0.3151\ldots$)である。不良率が $5\%$ でも、$10$ 個の検査では半分以上の確率で見逃す。

数を選ぶくじ

$1$ から $43$ までの数から $6$ 個を選ぶくじで、当選番号 $6$ 個と自分が選んだ $6$ 個の一致する個数 $X$ は $\mathrm{HG}(43,6,6)$ に従う(当選番号の $6$ 個を赤とみる)。組の総数は $\binom{43}6=6096454$ で、
$$ P(X=6)=\frac1{6096454},\qquad P(X=3)=\frac{\binom63\binom{37}3}{\binom{43}6}=\frac{11100}{435461}=0.0254\ldots $$
である。最頻値は prop-hgd-mode の $c=\frac{7\cdot7}{45}=1.08\ldots$ から $1$ で、$P(X=1)=0.4290\ldots$ である。

捕獲・再捕獲法

池の魚の総数 $N$ を推定するため、$K$ 匹を捕まえて印をつけて放し、よく混ざった後に $n$ 匹を捕まえる。印のついた魚の数 $X$ は $\mathrm{HG}(N,K,n)$ に従うとみなせる。$E[X]=\frac{nK}N$ から、観測した $X>0$ について $\frac{nK}X$ を $N$ の推定値に使う。$K=50$、$n=40$、$X=8$ なら推定値は $250$ 匹である。

色が 3 種類以上の場合

袋の玉が $m$ 色に分かれ、色 $i$ の玉が $K_i$ 個($K_1+\cdots+K_m=N$)あるとき、$n$ 個を戻さずに取り出したときの色ごとの個数 $(X_1,\dots,X_m)$ は、$k_1+\cdots+k_m=n$ を満たす $0$ 以上の整数の組について
$$ P(X_1=k_1,\dots,X_m=k_m)=\frac{\binom{K_1}{k_1}\cdots\binom{K_m}{k_m}}{\binom Nn} $$
をとる。これを 多変量超幾何分布 という(prop-hgd-model と同じ数え方で確かめられる)。色を「$i$」と「それ以外」に分ければ、各 $X_i$ は $\mathrm{HG}(N,K_i,n)$ に従う。

多変量超幾何分布の共分散

$N\ge2$、$i\ne j$ なら
$$ \mathrm{Cov}[X_i,X_j]=-n\frac{K_iK_j}{N^2}\cdot\frac{N-n}{N-1} $$
である。

2 色をまとめる

色 $i$ と色 $j$ をまとめて 1 色とみると、$X_i+X_j$ は $\mathrm{HG}(N,K_i+K_j,n)$ に従う。$d:=\frac{n(N-n)}{N^2(N-1)}$ とおくと、thm-hgd-moments の 3 は $V[\mathrm{HG}(N,K,n)]=dK(N-K)$ と書けるので、和の分散の公式 $V[X_i+X_j]=V[X_i]+V[X_j]+2\,\mathrm{Cov}[X_i,X_j]$ により
$$ 2\,\mathrm{Cov}[X_i,X_j]=d\bigl[(K_i+K_j)(N-K_i-K_j)-K_i(N-K_i)-K_j(N-K_j)\bigr]=-2dK_iK_j $$
である。$\blacksquare$

復元抽出の場合の 多項分布 の共分散 $-np_ip_j$($p_i=\frac{K_i}N$)に、ここでも有限母集団修正 $\frac{N-n}{N-1}$ が掛かっている。

条件を外したときの反例

外す条件・誤った推論反例成り立たなくなること
各回の赤の確率が $\frac KN$ なら二項分布$N=4$、$K=2$、$n=2$ の非復元抽出各回は確率 $\frac12$ で赤だが、$P(X=2)=\frac16\ne\frac14$
thm-hgd-binomial-limit で $n$ を固定する$N=2m$、$K=m$、$n=m$ で $m\to\infty$$V[X]$ と $B(n,\frac12)$ の分散の比は $\frac m{2m-1}\to\frac12$
標本の選び方が一様$1,2,3,4$ のうち赤が $1,2$。$\{1,2\}$ か $\{3,4\}$ を確率 $\frac12$ ずつ選ぶどの元も確率 $\frac12$ で選ばれるが、$P(X=1)=0\ne\frac23=h_{4,2,2}(1)$
表の反例の確かめ
3 つの反例の確かめを開く

1 行目:prop-hgd-model の 2 により、1 回目・2 回目の玉はそれぞれ 4 個のどれも確率 $\frac14$ なので、各回が赤である確率は $\frac12$ である。しかし 2 回とも赤である確率は $\frac24\cdot\frac13=\frac16$ で、$B(2,\frac12)$ の $\frac14$ と異なる。各回の結果が独立でないことだけが崩れている(二項分布の側から見た同じ現象が 二項分布 の例「反例:非復元抽出の赤玉の個数」)。

2 行目:thm-hgd-moments の 3 により $V[X]=m\cdot\frac12\cdot\frac12\cdot\frac m{2m-1}$、$B(m,\frac12)$ の分散は $\frac m4$ なので、比は $\frac m{2m-1}$ である。$n$ が $N$ に比例して大きくなると、有限母集団修正は $1$ に近づかず、二項分布で近似すると散らばりを約 2 倍に見積もる。

3 行目:$X$ は $\{1,2\}$ を選ぶと $2$、$\{3,4\}$ を選ぶと $0$ で、$1$ にはならない。$h_{4,2,2}(1)=\frac{\binom21\binom21}{\binom42}=\frac46$ である。$E[X]=1=\frac{2\cdot2}4$ は崩れないが、分布と分散($V[X]=1$ に対し thm-hgd-moments の値は $\frac13$)が崩れる。どの元も同じ確率で選ばれることでは足りず、$n$ 元部分集合のすべてが同じ確率で選ばれることが要る。

補足

Fisher の正確検定。 2 つの群の成功確率が等しいという仮定のもとで、2×2 分割表の周辺度数を固定した条件付き分布が超幾何分布になる(Fisherの正確検定 の定理「周辺度数で条件付けた分布」)。超幾何分布が、未知の成功確率によらない分布として検定に使われる。
標本調査。 母集団から無作為に非復元抽出した標本の平均の分散にも同じ修正 $\frac{N-n}{N-1}$ が現れる(母集団と標本)。超幾何分布は、値が $0$ と $1$ だけの母集団の場合にあたる。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する