多項分布(multinomial distribution)とは、$m$ 通りの結果が確率 $p_1,\dots,p_m$ で起こる試行を独立に $n$ 回行ったときの、結果ごとの回数を並べた確率ベクトルの分布であり、確率は多項係数と $p_1^{k_1}\cdots p_m^{k_m}$ の積で与えられる。結果をまとめても一部の回数を固定しても多項分布が現れ、各成分は二項分布に従う。回数どうしの共分散は $-np_ip_j$ で、共分散行列の階数は正の確率をもつ結果の数より $1$ 小さい。度数から確率を推定するとき尤度を最大にするのは相対度数であり、適合度のカイ二乗検定の土台になる分布である。
前提知識: 多項係数, 二項分布, 独立性(確率論), 確率変数の期待値と分散
多項分布(multinomial distribution)は、$m$ 通りの結果のどれかが起こる試行を独立に $n$ 回くり返したとき、各結果が何回出たかを並べた確率ベクトルの分布である。さいころを $60$ 回振ったときの目ごとの度数、選挙の出口調査で候補者ごとに数えた票数、遺伝子型ごとの個体数が典型的な例である。結果が「成功」と「失敗」の $2$ 通りのときが 二項分布 であり、多項分布はその $m$ 色版にあたる。
確率関数そのものは、多項係数 の節「確率での意味」の命題「結果の回数の分布」で、試行の列を写像 $[n]\to[m]$ と見て数え上げることで導かれている。この記事はその式を出発点にして、分布としての性質を調べる。中心になるのは次の 3 つである。
以下、$m\ge1$、$n\ge0$ は整数で、$[m]:=\{1,\dots,m\}$ と書く。確率の組 $p=(p_1,\dots,p_m)$ は $p_i\ge0$、$p_1+\cdots+p_m=1$ を満たすとする。和が $n$ の $0$ 以上の整数の組全体を
$$
K_{n,m}:=\{k=(k_1,\dots,k_m)\in\mathbb{Z}_{\ge0}^m: k_1+\cdots+k_m=n\}
$$
とおく。
$m$ 次元の確率ベクトル $N=(N_1,\dots,N_m)$ が、すべての $k\in K_{n,m}$ について
$$
P(N=k)=\binom{n}{k_1,\dots,k_m}p_1^{k_1}p_2^{k_2}\cdots p_m^{k_m}\qquad(0^0=1)
$$
を満たすとき、$N$ は 試行回数 $n$、確率 $p$ の多項分布 に従うといい、$N\sim\mathrm{Mult}(n;p)$ と書く。
多項係数 の系「多項定理」により右辺の $k\in K_{n,m}$ にわたる和は $(p_1+\cdots+p_m)^n=1$ なので、$N$ は確率 $1$ で $K_{n,m}$ に値をとる。とくに $N_1+\cdots+N_m=n$ がつねに成り立つ。
どの確率空間の上でこの分布が実現するかは、多項係数 の命題「結果の回数の分布」が示している。結果 $i$ が確率 $p_i$ で起こる試行を独立に $n$ 回行い、結果 $i$ が出た回数を $N_i$ とすると $N\sim\mathrm{Mult}(n;p)$ である。以下ではこれを 試行による表示 と呼ぶ。分布だけが問題になる主張では、この表示を使ってよい。
$m=2$ のとき、$N_1$ は $B(n,p_1)$(二項分布 の定義「二項分布」)に従い、$N_2=n-N_1$ である。$n=1$ のとき、$N$ は $m$ 個の単位ベクトルのどれかで、$N=e_i$ となる確率が $p_i$ である。これを カテゴリ分布 と呼ぶことがある。
多項分布の形を決めているのは「総数が $n$ に固定されている」ことである。ある結果がたくさん出れば、ほかの結果の出る余地は減る。だから 2 つの成分は負の相関をもち、成分の和はばらつかない。一方で、結果をいくつかの組にまとめても、試行による表示で「どの組に入ったか」を数えれば、それは組を結果とみた試行の度数にすぎない。したがって多項分布は、まとめる操作と条件をつける操作で閉じている。証明では、この直観を確率母関数の計算と、直接の割り算に置き換える。
$N\sim\mathrm{Mult}(n;p)$ とすると、すべての実数 $t_1,\dots,t_m$ について
$$
E\bigl[t_1^{N_1}t_2^{N_2}\cdots t_m^{N_m}\bigr]=(p_1t_1+p_2t_2+\cdots+p_mt_m)^n
$$
である。逆に、$K_{n,m}$ に値をとる確率ベクトル $N$ についてこの等式がすべての実数 $t_1,\dots,t_m$ で成り立てば、$N\sim\mathrm{Mult}(n;p)$ である。
左辺は有限和 $\sum_{k\in K_{n,m}}P(N=k)\,t_1^{k_1}\cdots t_m^{k_m}$ である。def-mnd の確率を代入し、多項係数 の系「多項定理」を可換な実数 $x_i:=p_it_i$ に使えば右辺になる。
逆について。$K_{n,m}$ に値をとる確率ベクトルの左辺は、$t_1,\dots,t_m$ の多項式で、単項式 $t_1^{k_1}\cdots t_m^{k_m}$($k\in K_{n,m}$)の係数が $P(N=k)$ である。実係数の多項式がすべての実数の組で同じ値をとれば係数はすべて等しいので、$P(N=k)$ は多項分布の確率と一致する。$\square$
確率母関数は、独立な和を積に変える。$N\sim\mathrm{Mult}(n;p)$ と $N'\sim\mathrm{Mult}(n';p)$ が独立なら、$t_1^{N_1}\cdots t_m^{N_m}$ と $t_1^{N'_1}\cdots t_m^{N'_m}$ は独立な有界確率変数なので期待値が積に分かれ、$E[\prod_it_i^{N_i+N'_i}]=(\sum_ip_it_i)^{n+n'}$ となる。prop-mnd-pgf の逆により $N+N'\sim\mathrm{Mult}(n+n';p)$ である。確率 $p$ が共通であることが要る点は、二項分布 の命題「独立な二項分布の和」と同じである。
$N\sim\mathrm{Mult}(n;p)$ とし、$[m]$ を互いに素な空でない部分集合 $B_1,\dots,B_r$ の和に分ける。
$$
M_j:=\sum_{i\in B_j}N_i,\qquad q_j:=\sum_{i\in B_j}p_i\qquad(j=1,\dots,r)
$$
とおくと、$M=(M_1,\dots,M_r)\sim\mathrm{Mult}(n;q)$ である。
$M$ は $K_{n,r}$ に値をとる。実数 $s_1,\dots,s_r$ を任意にとり、$i\in B_j$ のとき $t_i:=s_j$ とおく。$B_1,\dots,B_r$ は $[m]$ を重なりなく覆うので、各 $i$ に対して $j$ はただ一つに決まり
$$
s_1^{M_1}\cdots s_r^{M_r}=\prod_{j=1}^r\prod_{i\in B_j}s_j^{N_i}=t_1^{N_1}\cdots t_m^{N_m}
$$
である。prop-mnd-pgf により
$$
E\bigl[s_1^{M_1}\cdots s_r^{M_r}\bigr]=\Bigl(\sum_{i=1}^mp_it_i\Bigr)^n=\Bigl(\sum_{j=1}^r\Bigl(\sum_{i\in B_j}p_i\Bigr)s_j\Bigr)^n=(q_1s_1+\cdots+q_rs_r)^n
$$
となり、prop-mnd-pgf の逆から $M\sim\mathrm{Mult}(n;q)$ を得る。$\square$
$N\sim\mathrm{Mult}(n;p)$ ならば、各 $i$ について $N_i\sim B(n,p_i)$ である。また $i\ne j$ について $(N_i,N_j,n-N_i-N_j)\sim\mathrm{Mult}(n;(p_i,p_j,1-p_i-p_j))$ である。
$m\ge2$ のとき、$B_1=\{i\}$、$B_2=[m]\setminus\{i\}$ として thm-mnd-lumping を使うと $(N_i,n-N_i)\sim\mathrm{Mult}(n;(p_i,1-p_i))$ であり、定義の $m=2$ の場合から $N_i\sim B(n,p_i)$ である($m=1$ なら $N_1=n$、$p_1=1$ で明らか)。後半は $B_1=\{i\}$、$B_2=\{j\}$、$B_3=[m]\setminus\{i,j\}$(空なら $B_1,B_2$ だけ)とすればよい。$\square$
$m\ge2$、$N\sim\mathrm{Mult}(n;p)$ とし、$p_m<1$ とする。$0\le r\le n$ で $P(N_m=r)>0$ ならば、条件 $N_m=r$ のもとで $(N_1,\dots,N_{m-1})$ は
$$
\mathrm{Mult}\Bigl(n-r;\ \Bigl(\frac{p_1}{1-p_m},\dots,\frac{p_{m-1}}{1-p_m}\Bigr)\Bigr)
$$
に従う。すなわち、和が $n-r$ の $0$ 以上の整数 $k_1,\dots,k_{m-1}$ について
$$
P(N_1=k_1,\dots,N_{m-1}=k_{m-1}\mid N_m=r)=\binom{n-r}{k_1,\dots,k_{m-1}}\prod_{i=1}^{m-1}\Bigl(\frac{p_i}{1-p_m}\Bigr)^{k_i}
$$
である。
$k_1+\cdots+k_{m-1}=n-r$ なら $(k_1,\dots,k_{m-1},r)\in K_{n,m}$ であり、事象 $\{N_1=k_1,\dots,N_{m-1}=k_{m-1}\}$ は $\{N_m=r\}$ に含まれる。cor-mnd-marginal により $P(N_m=r)=\binom nrp_m^r(1-p_m)^{n-r}$ なので、条件付き確率は
$$
\frac{\dfrac{n!}{k_1!\cdots k_{m-1}!\,r!}\,p_1^{k_1}\cdots p_{m-1}^{k_{m-1}}p_m^r}{\dfrac{n!}{r!\,(n-r)!}\,p_m^r(1-p_m)^{n-r}}
=\frac{(n-r)!}{k_1!\cdots k_{m-1}!}\cdot\frac{p_1^{k_1}\cdots p_{m-1}^{k_{m-1}}}{(1-p_m)^{k_1+\cdots+k_{m-1}}}
$$
である。$P(N_m=r)>0$ から分母の $p_m^r$ は $0$ でなく、約分できる。最後に $(1-p_m)^{n-r}=\prod_i(1-p_m)^{k_i}$ と書けば主張の式になる。和が $n-r$ でない組の条件付き確率は $0$ である。$\square$
試行による表示で言えば、「結果 $m$ でなかった $n-r$ 回の試行」だけを見ると、各回の結果は確率 $p_i/(1-p_m)$ で $i$ になる、ということである。何個かの成分を同時に固定しても、この定理を 1 成分ずつくり返し使えば(1 回使うたびに、残りの成分はまた多項分布に従う)、残りの成分は、固定しなかった結果の確率をその和で割った確率の多項分布に従う。
$N\sim\mathrm{Mult}(n;p)$ とする。
段 1(指示関数に分ける)。 試行による表示を使う。$t$ 回目の結果が $i$ なら $1$、そうでなければ $0$ をとる確率変数を $I_{t,i}$ とすると $N_i=\sum_{t=1}^nI_{t,i}$ である。$E[I_{t,i}]=p_i$ であり、同じ回 $t$ の $I_{t,i}I_{t,j}$ は $i=j$ なら $I_{t,i}$、$i\ne j$ なら $0$(一度に 2 つの結果は出ない)なので
$$
\mathrm{Cov}(I_{t,i},I_{t,j})=p_i\delta_{ij}-p_ip_j
$$
である。$t\ne t'$ なら試行の独立性から $I_{t,i}$ と $I_{t',j}$ は独立で、共分散は $0$ である。
段 2(1 と 2)。 共分散の双線形性により
$$
\mathrm{Cov}(N_i,N_j)=\sum_{t=1}^n\sum_{t'=1}^n\mathrm{Cov}(I_{t,i},I_{t',j})=\sum_{t=1}^n\mathrm{Cov}(I_{t,i},I_{t,j})=n(p_i\delta_{ij}-p_ip_j)
$$
である。$i=j$ とすれば分散、$i\ne j$ とすれば共分散の式になり、行列で書けば 2 である。期待値は $E[N_i]=\sum_tE[I_{t,i}]=np_i$ である。
段 3(2 次形式)。 $x\in\mathbb{R}^m$ について、2 から
$$
x^{\top}\Sigma x=n\Bigl(\sum_{i=1}^mp_ix_i^2-\Bigl(\sum_{i=1}^mp_ix_i\Bigr)^2\Bigr)=n\sum_{i=1}^mp_i(x_i-\bar x)^2,\qquad\bar x:=\sum_{i=1}^mp_ix_i
$$
である(右の等式は、右辺を展開して $\sum_ip_i=1$ を使えば確かめられる)。よって $\Sigma$ は半正定値であり、$x^{\top}\Sigma x=0$ は「$i\in S$ ならば $x_i=\bar x$」と同値である。$\bar x$ は $S$ の上の値だけで決まるので、これは「$x_i$($i\in S$)がすべて等しい」と同値である。
段 4(階数)。 半正定値な実対称行列では $\Sigma x=0$ と $x^{\top}\Sigma x=0$ は同値である($\Sigma=Q\Lambda Q^{\top}$ と直交対角化すると、どちらも「$\Lambda$ の正の固有値に対応する $Q^{\top}x$ の成分がすべて $0$」と同値になる)。段 3 から
$$
\ker\Sigma=\{x\in\mathbb{R}^m: x_i\ (i\in S)\text{ がすべて等しい}\}
$$
であり、これは $S$ の上の共通の値 $1$ 個と、$S$ の外の成分 $m-\lvert S\rvert$ 個を自由に選べる部分空間なので、次元は $1+(m-\lvert S\rvert)$ である($n\ge1$ なら $S$ は空でない)。次元定理から $\operatorname{rank}\Sigma=m-1-(m-\lvert S\rvert)=\lvert S\rvert-1$ である。$\square$
$\mathbf 1=(1,\dots,1)^{\top}$ はつねに $\ker\Sigma$ に入る。これは $\mathbf 1^{\top}N=N_1+\cdots+N_m=n$ が定数で、分散が $0$ であることの言い換えである。共分散を標準偏差で割ると、$0< p_i,p_j< 1$ のとき
$$
\mathrm{Corr}(N_i,N_j)=-\sqrt{\frac{p_ip_j}{(1-p_i)(1-p_j)}}
$$
となり、$n$ によらない。$m=2$ では $N_2=n-N_1$ なので相関は $-1$ である。
度数 $k=(k_1,\dots,k_m)\in K_{n,m}$($n\ge1$)を観測したとき、確率 $p$ を推定したい。$p$ を動かしたときの観測の確率 $P(N=k)$ を $p$ の関数とみたものを 尤度 という。多項係数は $p$ によらないので、尤度を最大にすることは
$$
L_k(p):=p_1^{k_1}p_2^{k_2}\cdots p_m^{k_m}\qquad(0^0=1)
$$
を確率の組全体の集合 $\Delta_m:=\{p\in\mathbb{R}^m: p_i\ge0,\ \sum_ip_i=1\}$ の上で最大にすることと同じである。
$n\ge1$、$k\in K_{n,m}$ とする。$L_k$ は $\Delta_m$ の上で、点 $\hat p:=(k_1/n,\dots,k_m/n)$ でだけ最大値をとる。
$T:=\{i: k_i>0\}$ とおく($n\ge1$ なので空でない)。$L_k(\hat p)=\prod_{i\in T}(k_i/n)^{k_i}>0$ である。
$p\in\Delta_m$ とする。ある $i\in T$ で $p_i=0$ なら $L_k(p)=0< L_k(\hat p)$ である。そうでなければ、すべての $i\in T$ で $p_i>0$ なので対数をとれて、$k_i=n\hat p_i$ から
$$
\log L_k(p)-\log L_k(\hat p)=\sum_{i\in T}k_i\log\frac{p_i}{\hat p_i}=n\sum_{i\in T}\hat p_i\log\frac{p_i}{\hat p_i}
$$
である。正の実数 $x$ について $\log x\le x-1$ であり、等号は $x=1$ のときだけ成り立つ($x-1-\log x$ の導関数 $1-1/x$ は $x<1$ で負、$x>1$ で正)。$x=p_i/\hat p_i$ に使うと
$$
n\sum_{i\in T}\hat p_i\log\frac{p_i}{\hat p_i}\le n\sum_{i\in T}\hat p_i\Bigl(\frac{p_i}{\hat p_i}-1\Bigr)=n\Bigl(\sum_{i\in T}p_i-1\Bigr)\le0
$$
となる($\sum_{i\in T}\hat p_i=1$ を使った)。よって $L_k(p)\le L_k(\hat p)$ である。
等号が成り立つとすると、最初の不等号の等号から $i\in T$ で $p_i=\hat p_i$、二つ目の不等号の等号から $\sum_{i\in T}p_i=1$、すなわち $i\notin T$ で $p_i=0=\hat p_i$ である。したがって $p=\hat p$ である。$\square$
確率ベクトル $N\sim\mathrm{Mult}(n;p)$ について、推定量 $\hat p:=N/n$ を 相対度数 という。thm-mnd-covariance から $E[\hat p]=p$(不偏)、$\mathrm{Cov}(\hat p)=\frac1n(D_p-pp^{\top})$ であり、各成分の分散 $p_i(1-p_i)/n$ は $n\to\infty$ で $0$ に近づく。Chebyshev の不等式(Chebyshevの不等式)により、各 $\varepsilon>0$ で $P(\lvert\hat p_i-p_i\rvert\ge\varepsilon)\le p_i(1-p_i)/(n\varepsilon^2)\to0$ である。
Poisson 分布との関係。 試行回数そのものが Poisson 分布に従うとき、度数の振る舞いは変わる。Poisson分布 の定理「Poisson 分布の色分け」の 1 は、回数 $N\sim\mathrm{Po}(\lambda)$ を独立に $m$ 色に塗り分けると、色ごとの個数が 独立な Poisson 分布 $\mathrm{Po}(\lambda p_i)$ に従うことを示している。同じ定理の 2 は逆向きで、独立な $Y_i\sim\mathrm{Po}(\mu_i)$ を和 $Y_1+\cdots+Y_m=n$ の条件のもとで見ると $\mathrm{Mult}(n;(\mu_i/\mu)_i)$ になる。総数を固定することが、負の共分散(thm-mnd-covariance)の原因である。
正規近似とカイ二乗統計量。 試行による表示では $N=\sum_{t=1}^n(I_{t,1},\dots,I_{t,m})$ は独立で同じ分布に従うベクトルの和なので、$\mathbb{R}^m$ の中心極限定理(Dur19 Theorem 3.10.7, p. 200。この記事では証明しない)により、$(N-np)/\sqrt n$ は平均 $0$、共分散行列 $D_p-pp^{\top}$ の 多変量正規分布 に分布収束する。Dur19 Example 3.10.9(p. 201)はさいころの度数についてこの共分散を計算し、極限の分布が成分の和が $0$ の超平面に集中することを注意している。これは thm-mnd-covariance の 3 の、階数が $m-1$ であることの現れである。すべての $p_i$ が正のとき、Pearson のカイ二乗統計量
$$
X_n^2=\sum_{i=1}^m\frac{(N_i-np_i)^2}{np_i}
$$
は自由度 $m-1$ のカイ二乗分布に分布収束する。これは カイ二乗分布 の定理「Pearson の定理」であり、そこで証明されている。自由度が $m$ でなく $m-1$ なのは、上の階数のためである。
正しいさいころを $6$ 回振る。度数は $N\sim\mathrm{Mult}(6;(\frac16,\dots,\frac16))$ に従うので、どの目もちょうど $1$ 回ずつ出る確率は
$$
P(N=(1,1,1,1,1,1))=\frac{6!}{1!^6}\Bigl(\frac16\Bigr)^6=\frac{720}{46656}=\frac{5}{324}\approx0.015432
$$
である。偶数の目と奇数の目にまとめると、thm-mnd-lumping により偶数の目の回数は $B(6,\frac12)$ に従い、偶数と奇数が $3$ 回ずつの確率は $\binom63/2^6=\frac{5}{16}=0.3125$ である。
支持率が $p=(0.5,0.3,0.2)$ の 3 人の候補者について、無作為に選んだ $n=10$ 人に聞く(各回の回答は独立で、確率は $p$ のとおりとする)。票数が $(5,3,2)$ になる確率は
$$
\frac{10!}{5!\,3!\,2!}\,(0.5)^5(0.3)^3(0.2)^2=2520\times0.03125\times0.027\times0.04=0.08505
$$
である。thm-mnd-covariance から $\mathrm{Cov}(N_1,N_2)=-10\cdot0.5\cdot0.3=-1.5$、$\mathrm{Var}(N_1)=2.5$、$\mathrm{Var}(N_2)=2.1$ で、相関係数は $-\sqrt{0.15/0.35}\approx-0.65465$ である。
3 人目の票が $2$ 票だったと分かったとき、thm-mnd-conditional により残り $8$ 票は確率 $(0.5/0.8,\,0.3/0.8)=(0.625,0.375)$ の多項分布に従う。したがって 1 人目の票数の条件付き分布は $B(8,0.625)$ で、条件付き期待値は $5$ である。
さいころを $60$ 回振り、目 $1,\dots,6$ の度数が $(8,12,9,11,6,14)$ だったとする。thm-mnd-mle により、尤度を最大にする確率の推定値は相対度数
$$
\hat p=\Bigl(\frac{8}{60},\frac{12}{60},\frac{9}{60},\frac{11}{60},\frac{6}{60},\frac{14}{60}\Bigr)\approx(0.1333,\,0.2,\,0.15,\,0.1833,\,0.1,\,0.2333)
$$
である。各成分の標準偏差の推定値 $\sqrt{\hat p_i(1-\hat p_i)/60}$ は $0.039$ から $0.055$ の間にある。どの目も $\frac16$ という仮説をこの度数で調べる計算は、カイ二乗分布 の例「さいころの適合度」にある。
試行による表示で多項分布が現れるには、試行が独立であること、各回の確率が同じであること、回数 $n$ が定数であることが要る。thm-mnd-lumping では組が互いに素であることが要る。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 試行が互いに独立 | $n=2$、$m=2$。1 回目は確率 $\frac12$ ずつで結果 $1$ か $2$、2 回目は 1 回目と同じ結果 | 度数が $\mathrm{Mult}(2;(\frac12,\frac12))$ に従う($P(N=(1,1))$ が $\frac12$ でなく $0$) |
| 各回の確率が同じ | $n=2$、$m=2$。1 回目は必ず結果 $1$、2 回目は必ず結果 $2$ | 度数がある $p$ について $\mathrm{Mult}(2;p)$ に従う |
| 回数 $n$ が定数 | 回数が $\mathrm{Po}(\lambda)$($\lambda>0$)に従い、各回は確率 $\frac12$ ずつで結果 $1$ か $2$ | $\mathrm{Cov}(N_1,N_2)<0$(実際は $0$) |
| 併合する組が互いに素(thm-mnd-lumping) | $m=3$、$B_1=\{1,2\}$、$B_2=\{2,3\}$、$p=(\frac13,\frac13,\frac13)$、$n=1$ | $(M_1,M_2)$ が多項分布に従う($M_1+M_2$ が定数でない) |
1 行目:度数は確率 $\frac12$ ずつで $(2,0)$ か $(0,2)$ になり、$(1,1)$ にはならない。$\mathrm{Mult}(2;(\frac12,\frac12))$ なら $P(N=(1,1))=2\cdot\frac14=\frac12$ である。各回の結果の確率は $\frac12$ ずつで正しいので、崩れているのは独立性だけである。
2 行目:度数はつねに $(1,1)$ で、$N_1$ の分散は $0$ である。$\mathrm{Mult}(2;p)$ に従うなら $E[N_1]=2p_1=1$ から $p_1=\frac12$、すると $\mathrm{Var}(N_1)=2\cdot\frac12\cdot\frac12=\frac12\ne0$ となり矛盾する。2 回の試行は独立(定数どうしは独立)だが、確率がそろっていない。
3 行目:Poisson分布 の定理「Poisson 分布の色分け」の 1 により $N_1,N_2$ は独立で $\mathrm{Po}(\lambda/2)$ に従い、共分散は $0$ である。thm-mnd-covariance の負の共分散は、回数を固定したときにだけ成り立つ。
4 行目:結果 $2$ が出れば $(M_1,M_2)=(1,1)$、結果 $1$ なら $(1,0)$、結果 $3$ なら $(0,1)$ である。$M_1+M_2$ は $2$ にも $1$ にもなるので、どの $n'$ についても $K_{n',2}$ に値をとらず、多項分布に従わない。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する