確率の最大

同義語:最も起こりやすい回数most likely value

概要

確率の最大(most likely value)とは、確率の列 $P_0,P_1,\dots,P_n$ のうち最も大きいもの、つまり最も起こりやすい値を、隣り合う確率の比 $\frac{P_{k+1}}{P_k}$ と $1$ の大小から求める技法である。すべての項が正で比が $k$ について減るなら、比が $1$ より大きい間は増え、$1$ より小さくなると減るので、その境で最大になる。成功の確率 $p$($0<p<1$)の試行を $n$ 回くり返すとき、成功の回数で最も起こりやすいのは、$(n+1)p$ が整数でなければ $\lfloor(n+1)p\rfloor$ だけ、整数なら $(n+1)p-1$ と $(n+1)p$ の 2 つである。同じ技法で、しるしを付けた魚の再捕獲の結果から、観測の確率を最大にする池の魚の数(最尤推定値)が求まる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 反復試行の確率

高校での出発点:いちばん起こりやすい回数

成功の確率が $p$ の試行を $n$ 回くり返すとき、成功がちょうど $k$ 回である確率は
$$ P_k=\binom nk p^kq^{n-k}\qquad(q=1-p,\ k=0,1,\dots,n) $$
である(反復試行の確率)。では、$P_0,P_1,\dots,P_n$ のうちどれがいちばん大きいか。つまり、成功の回数はいくつになるのが最も起こりやすいか。この記事では、この問いに答える技法と、その答えを扱う。

硬貨を 4 回投げる

硬貨を 4 回投げて表が $k$ 回出る確率は $P_k=\dbinom4k\dfrac1{16}$ で、
$$ P_0=\frac1{16},\quad P_1=\frac4{16},\quad P_2=\frac6{16},\quad P_3=\frac4{16},\quad P_4=\frac1{16} $$
である。最も起こりやすいのは $k=2$ で、表と裏が半分ずつになる回数である。

成功の確率 $0.3$ で 10 回

成功の確率 $0.3$ の試行を 10 回くり返す。$P_k=\dbinom{10}{k}(0.3)^k(0.7)^{10-k}$ を計算すると、小数第 4 位まで
$$ P_0\approx0.0282,\quad P_1\approx0.1211,\quad P_2\approx0.2335,\quad P_3\approx0.2668,\quad P_4\approx0.2001,\quad P_5\approx0.1029 $$
で、$k\ge5$ では減り続ける。最も起こりやすいのは $k=3$ である。ちょうど $10\times0.3=3$ 回である。

ex-mlv-n10 では 11 個の確率を全部計算した。$n$ が大きくなると、これは大変である。そこで、隣り合う 2 つの確率の 比 $\dfrac{P_{k+1}}{P_k}$ を見る。比が $1$ より大きければ確率は増え、$1$ より小さければ減る。比は階乗が約分されて簡単な式になるので、どこで増加から減少に変わるかが一度に分かる。
この記事で答える問いは次の 4 つである。

  1. 比 $\dfrac{P_{k+1}}{P_k}$ を使うと、なぜ最大の場所が分かるのか。→ prop-mlv-ratio
  2. 最も起こりやすい回数は、$n$ と $p$ からどう決まるか。→ thm-mlv-binomial
  3. 最も起こりやすい回数が 2 つになるのはどんなときか。→ thm-mlv-binomial、ex-mlv-n9
  4. 同じ技法で、池の魚の数を推定できるのはなぜか。→ prop-mlv-capture
    高校の計算この記事の言葉大学の言葉
    確率を全部計算して比べる隣どうしの比と $1$ の大小数列の増減、単峰性
    比 $\dfrac{P_{k+1}}{P_k}$ を約分する比が $k$ について減る対数凹数列
    最も起こりやすい回数$\lfloor(n+1)p\rfloor$二項分布の最頻値
    観測の確率を最大にする $N$ を選ぶ比による最大化最尤推定

比で増減を調べる

まず、確率に限らない一般の技法として述べる。

比の判定

$a_0,a_1,\dots,a_n$ はすべて正の数とし($n\ge1$)、$r_k:=\dfrac{a_{k+1}}{a_k}$($k=0,1,\dots,n-1$)とおく。
(1) $a_{k+1}>a_k$ と $r_k>1$ は同値である。$a_{k+1}=a_k$ と $r_k=1$、$a_{k+1}< a_k$ と $r_k<1$ も、それぞれ同値である。
(2) さらに $r_0>r_1>\cdots>r_{n-1}$(比が $k$ について減る)とする。$r_k>1$ となる $k$ の個数を $K$ とすると、$a_k$ は $k=K$ で最大になる。最大になる $k$ は、$r_K=1$ のとき($K\le n-1$ の場合に限る)$K$ と $K+1$ の 2 つで、それ以外のときは $K$ だけである。

比が 1 をまたぐ場所で分ける

要点:(1) は両辺を正の数 $a_k$ で割ればよい。(2) では、比が減るので「比が $1$ より大きい $k$」は小さい方の $0,1,\dots,K-1$ にまとまる。よって $a_k$ は $k=K$ まで増え、そこから先は増えない。$a_K$ と等しくなりうるのは $a_{K+1}$ だけで、それは $r_K=1$ のときである。

詳しい証明を開く

段 1((1) の証明)。$a_k>0$ なので、$a_{k+1}>a_k$ の両辺を $a_k$ で割ると $r_k>1$ になり、逆に $r_k>1$ の両辺に $a_k$ を掛けると $a_{k+1}>a_k$ になる。等号・逆向きの不等号も同じである。

段 2(比が $1$ より大きい $k$ は $0,1,\dots,K-1$)。比が減るので、ある $k$ で $r_k>1$ なら、それより小さい $j< k$ でも $r_j>r_k>1$ である。よって $r_k>1$ となる $k$ は、小さい方から $K$ 個並んだ $0,1,\dots,K-1$ であり、$k\ge K$ では $r_k\le1$ である。

段 3($K$ までは増える)。段 2 と (1) により、$a_0< a_1<\cdots< a_K$ である。

段 4($K$ からは減る)。$K\le n-1$ のとき、$r_K\le1$ なので $a_{K+1}\le a_K$ で、等号は $r_K=1$ のときに限る。$k\ge K+1$ では、比が減ることから $r_k< r_K\le1$ なので、$a_{K+1}>a_{K+2}>\cdots>a_n$ である。

段 5(まとめ)。段 3・段 4 により、$a_K$ は $a_0,\dots,a_K$ の中で最大で、$a_{K+1},\dots,a_n$ はどれも $a_K$ 以下である。$a_K$ と等しくなりうるのは $a_{K+1}$ だけで、それは $r_K=1$ のときである。$K=n$ のときは段 3 だけで $a_n$ が最大である。$\square$

比で 10 回の例を見直す

ex-mlv-n10 の確率で、$k=2$ から $k=3$ への比を計算する。二項係数を階乗で書くと、分子と分母の $10!$ が約分できて
$$ \frac{P_3}{P_2}=\frac{\dfrac{\cancel{10!}}{3!\,7!}(0.3)^3(0.7)^7}{\dfrac{\cancel{10!}}{2!\,8!}(0.3)^2(0.7)^8} =\frac{2!\,8!}{3!\,7!}\cdot\frac{(0.3)^3}{(0.3)^2}\cdot\frac{(0.7)^7}{(0.7)^8} $$
となる。ここで $\dfrac{8!}{7!}=8$、$\dfrac{2!}{3!}=\dfrac13$、$\dfrac{(0.3)^3}{(0.3)^2}=0.3$、$\dfrac{(0.7)^7}{(0.7)^8}=\dfrac1{0.7}$ なので
$$ \frac{P_3}{P_2}=\frac{8}{3}\cdot\frac{0.3}{0.7}=\frac{8}{7}>1 $$
である。同じ計算で、比は順に
$$ \frac{P_1}{P_0}=\frac{30}{7},\quad \frac{P_2}{P_1}=\frac{27}{14},\quad \frac{P_3}{P_2}=\frac87,\quad \frac{P_4}{P_3}=\frac34,\quad \frac{P_5}{P_4}=\frac{18}{35},\ \dots $$
となる(図 1)。比が $1$ より大きいのは $k=0,1,2$ の 3 つなので、prop-mlv-ratio の $K$ は $3$ で、最大は $P_3$ である。$r_3=\dfrac34\ne1$ なので、最大になる $k$ は $3$ だけである。比が $k$ について減っていることは、並べた値から見てとれる(一般に減ることは prf-mlv-binomial の段 3 で示す)。11 個の確率を計算しなくても、分数と $1$ の比較だけで分かる。

成功の確率 0.3 の試行を 10 回くり返すときの比 P(k+1)/P(k)。比は k とともに減り、k = 2 と k = 3 の間で 1 を下回る 成功の確率 0.3 の試行を 10 回くり返すときの比 P(k+1)/P(k)。比は k とともに減り、k = 2 と k = 3 の間で 1 を下回る
図 1 の網をかけた範囲($k=0,1,2$)では比が $1$ より大きく、確率は増える。$k\ge3$ では比が $1$ より小さく、確率は減る。増加から減少に変わる $k=3$ が山の頂上である。

主定理:二項分布で最も起こりやすい回数

最も起こりやすい回数

$n\ge1$、$0< p<1$ とし、$P_k=\dbinom nk p^k(1-p)^{n-k}$($k=0,1,\dots,n$)とする。$a:=(n+1)p$ とおく。
(1) $a$ が整数でないとき、$P_k$ を最大にする $k$ はただ 1 つで、$k=\lfloor a\rfloor$($a$ を超えない最大の整数)である。
(2) $a$ が整数のとき、$P_k$ を最大にする $k$ は $a-1$ と $a$ の 2 つで、$P_{a-1}=P_a$ である。

$\lfloor a\rfloor$ はガウス記号 $[a]$ と同じものである(ガウス記号と整数の個数)。証明の前に、2 つの場合を数値で見る。

$n=10$、$p=0.3$

$a=(10+1)\times0.3=3.3$ は整数でないので、thm-mlv-binomial の (1) により、最も起こりやすい回数は $\lfloor3.3\rfloor=3$ である。ex-mlv-n10、ex-mlv-n10-ratio と一致する。

$n=9$、$p=0.3$

$a=(9+1)\times0.3=3$ は整数なので、(2) により、最も起こりやすい回数は $2$ と $3$ の 2 つである。実際に計算すると
$$ P_2=\binom92(0.3)^2(0.7)^7=36\cdot0.09\cdot(0.7)^7=3.24\cdot(0.7)^7, $$
$$ P_3=\binom93(0.3)^3(0.7)^6=84\cdot0.027\cdot(0.7)^6=2.268\cdot(0.7)^6 $$
で、$3.24\times0.7=2.268$ なので $P_2=P_3$(どちらも約 $0.2668$)である。比で言えば $\dfrac{P_3}{P_2}=\dfrac{7}{3}\cdot\dfrac{0.3}{0.7}=1$ である。

成功の確率 0.3 の試行を 10 回くり返すときの確率。最大は k = 3 の 1 本(赤)で、点線は (n + 1)p = 3.3 成功の確率 0.3 の試行を 10 回くり返すときの確率。最大は k = 3 の 1 本(赤)で、点線は (n + 1)p = 3.3
成功の確率 0.3 の試行を 9 回くり返すときの確率。k = 2 と k = 3 の 2 本(赤)が同じ高さで最大になり、点線は (n + 1)p = 3 成功の確率 0.3 の試行を 9 回くり返すときの確率。k = 2 と k = 3 の 2 本(赤)が同じ高さで最大になり、点線は (n + 1)p = 3

図 2 と図 3 を比べると、$n$ を 1 つ減らしただけで、山の頂上が 1 本から 2 本に変わる。頂上が 2 本になるのは、点線の $(n+1)p$ がちょうど整数になり、その両側の棒が同じ高さになるときである。

比を計算して比の判定を使う

方針:比 $\dfrac{P_{k+1}}{P_k}$ を $k$ の式で表し、それと $1$ の大小を $k$ の 1 次不等式に直す。比が $k$ について減ることを確かめて、prop-mlv-ratio を使う。$q=1-p$ とおく。
段 1(比を計算する)。$0< p<1$ なので、どの $P_k$ も正である。$k=0,1,\dots,n-1$ について、二項係数を階乗で書いて約分すると
$$ \frac{P_{k+1}}{P_k}=\frac{\dfrac{n!}{(k+1)!\,(n-k-1)!}\,p^{k+1}q^{n-k-1}}{\dfrac{n!}{k!\,(n-k)!}\,p^kq^{n-k}} =\frac{k!}{(k+1)!}\cdot\frac{(n-k)!}{(n-k-1)!}\cdot\frac{p^{k+1}}{p^k}\cdot\frac{q^{n-k-1}}{q^{n-k}} $$
である。$\dfrac{k!}{(k+1)!}=\dfrac1{k+1}$、$\dfrac{(n-k)!}{(n-k-1)!}=n-k$、$\dfrac{p^{k+1}}{p^k}=p$、$\dfrac{q^{n-k-1}}{q^{n-k}}=\dfrac1q$ なので
$$ r_k:=\frac{P_{k+1}}{P_k}=\frac{(n-k)\,p}{(k+1)\,q} $$
となる。
段 2(比と $1$ の大小)。分母 $(k+1)q$ は正なので、$r_k>1$ は $(n-k)p>(k+1)q$ と同値である。左辺は $np-kp$、右辺は $kq+q$ なので、これは
$$ np-q>kp+kq=k(p+q)=k $$
と同値である。$np-q=np-(1-p)=(n+1)p-1=a-1$ なので、
$$ r_k>1\iff k< a-1,\qquad r_k=1\iff k=a-1,\qquad r_k<1\iff k>a-1 $$
である(等号・逆向きも同じ計算)。
段 3(比は $k$ について減る)。$k$ が 1 増えると、段 1 の式の分子の $n-k$ は減り、分母の $k+1$ は増える。$p,q$ は $k$ によらない正の数なので、$r_0>r_1>\cdots>r_{n-1}$ である。
段 4($K$ を求める)。prop-mlv-ratio の $K$ は、$0\le k\le n-1$ で $r_k>1$、つまり段 2 により $k< a-1$ となる $k$ の個数である。$0< p<1$ なので $0< a< n+1$ である。
(1) $a$ が整数でないとき。$a<1$ なら $k< a-1<0$ となる $k\ge0$ はないので $K=0=\lfloor a\rfloor$ である。$a>1$ なら、$k< a-1$ となる整数 $k\ge0$ は $0,1,\dots,\lfloor a\rfloor-1$ の $\lfloor a\rfloor$ 個である($a-1$ は整数でないので、$k< a-1$ は $k\le\lfloor a-1\rfloor=\lfloor a\rfloor-1$ と同じ)。$a< n+1$ より $\lfloor a\rfloor\le n$ なので、これらはどれも $n-1$ 以下で、$K=\lfloor a\rfloor$ である。どちらの場合も、$K\le n-1$ なら段 2 により $r_K=1$ は $K=a-1$ を意味するが、$a-1$ は整数でないので $r_K\ne1$ である。prop-mlv-ratio により、最大になる $k$ は $K=\lfloor a\rfloor$ だけである。
(2) $a$ が整数のとき。$0< a< n+1$ なので $1\le a\le n$ である。$k< a-1$ となる整数 $k\ge0$ は $0,1,\dots,a-2$ の $a-1$ 個で、$K=a-1\le n-1$ である。段 2 により $r_{a-1}=1$ なので、prop-mlv-ratio により、最大になる $k$ は $a-1$ と $a$ の 2 つで、$P_{a-1}=P_a$ である。$\square$

さいころを 30 回投げる

さいころを 30 回投げるとき、6 の目が最も出やすい回数を求める。$n=30$、$p=\dfrac16$ で、$a=\dfrac{31}{6}=5.16\cdots$ は整数でないので、答えは $\lfloor a\rfloor=5$ 回である。段 1 の比 $r_k=\dfrac{(30-k)\cdot\frac16}{(k+1)\cdot\frac56}=\dfrac{30-k}{5(k+1)}$ で確かめると、$r_4=\dfrac{26}{25}>1$、$r_5=\dfrac{25}{30}=\dfrac56<1$ なので、$P_4< P_5>P_6$ である。実際、$P_4\approx0.1847$、$P_5\approx0.1921$、$P_6\approx0.1601$ である。

硬貨を奇数回投げる

硬貨を 7 回投げる。$a=8\times\dfrac12=4$ は整数なので、表の回数で最も起こりやすいのは $3$ と $4$ の 2 つで、$P_3=P_4=\dfrac{35}{128}$ である。一般に、硬貨を奇数回 $2m+1$ 回投げると $a=m+1$ となり、$m$ 回と $m+1$ 回が同じ確率で最も起こりやすい。表と裏の役目を入れかえると「表が $m$ 回」と「表が $m+1$ 回(裏が $m$ 回)」が入れかわるので、2 つの確率が等しいことは、この対称性からも分かる。

平均・中央値と比べる

最も起こりやすい値を 最頻値 という。二項分布の平均は $np$ である(証明は 二項分布から正規分布へ、平均の意味は 確率変数の期待値と分散)。最頻値は平均とどのくらい違うか。

最頻値と平均の差

thm-mlv-binomial の最も起こりやすい回数 $M$ は、どれも
$$ np-(1-p)\le M\le np+p $$
をみたす。とくに $\lvert M-np\rvert<1$ である。

$a-1$ と $a$ の間にある

方針:$a=(n+1)p$ を $np$ で書き直し、thm-mlv-binomial の 2 つの場合で $M$ が $a-1$ 以上 $a$ 以下にあることを使う。
段 1(書き直し)。$a=np+p$、$a-1=np+p-1=np-(1-p)$ である。
段 2((1) の場合)。$M=\lfloor a\rfloor$ で、ガウス記号の定義から $a-1<\lfloor a\rfloor\le a$ である。よって $a-1< M\le a$。
段 3((2) の場合)。$M$ は $a-1$ か $a$ なので、$a-1\le M\le a$ である。
段 4(まとめ)。どちらの場合も $np-(1-p)\le M\le np+p$ である。$0< p<1$ なので $1-p<1$、$p<1$ であり、$-1< M-np<1$ となる。$\square$

同じ分布で、平均・最頻値・中央値を並べる。ここで中央値は、$P(X< c)\le\frac12$ かつ $P(X>c)\le\frac12$ をみたす実数 $c$ のことである(確率分布の中央値)。下の 5 つの例では、中央値はどれもただ 1 つに決まる。

分布平均 $np$最頻値中央値
$n=4$、$p=0.5$(ex-mlv-coin4)$2$$2$$2$
$n=10$、$p=0.3$(図 2)$3$$3$$3$
$n=9$、$p=0.3$(図 3)$2.7$$2$ と $3$$3$
$n=30$、$p=\frac16$(ex-mlv-die30)$5$$5$$5$
$n=10$、$p=0.95$(ex-mlv-edge)$9.5$$10$$10$

平均は整数でなくてもよいが、最頻値は起こりうる値(整数)であり、表の例では中央値も整数である。表の例では 3 つとも近い。平均からの距離が 1 未満であることは prop-mlv-mean で示したとおりである。中央値と平均の関係は、この記事では扱わない。平均・中央値がそれぞれ何を最小にする代表値かは 平均値と二乗誤差、中央値と絶対誤差 で扱う。

応用:池の魚の数を推定する

比の技法は、二項分布以外にも使える。代表的な例が、池の魚の数の推定である。
池にいる魚の数 $N$ を知りたい。全部数えるのは難しいので、次のようにする。

  1. 魚を $m$ 匹捕まえ、しるしを付けて池に戻す。
  2. しばらくして魚がよく混ざったあと、$s$ 匹を捕まえる。そのうち $x$ 匹にしるしがあった。
    $N$ 匹のうちしるし付きが $m$ 匹で、2 回目に $s$ 匹を捕まえるとき、どの $s$ 匹の組も同じ確からしさで捕まると仮定する。すると、しるし付きがちょうど $x$ 匹である確率は
    $$ L(N)=\frac{\dbinom mx\dbinom{N-m}{s-x}}{\dbinom Ns} $$
    である(分母は $N$ 匹から $s$ 匹を選ぶ方法の数、分子はしるし付き $m$ 匹から $x$ 匹、しるしなし $N-m$ 匹から $s-x$ 匹を選ぶ方法の数)。これを $N$ の関数とみて、実際に観測した結果が 最も起こりやすくなる $N$ を推定値として選ぶ。これを 最尤推定 という(最尤推定)。
    $N$ は、しるし付き $m$ 匹と、2 回目に捕まえたしるしなし $s-x$ 匹を合わせた $m+s-x$ 匹以上でなければならない。$N< m+s-x$ なら、しるしなしの魚が $s-x$ 匹もいないので $L(N)=0$ である。
捕獲再捕獲の推定値

$m,s\ge1$、$1\le x\le\min(m,s)$ とする。$N\ge m+s-x$ の範囲で、$L(N)$ は $N<\dfrac{ms}{x}$ の間は $N$ とともに増え、$N>\dfrac{ms}{x}$ では減る。よって $L(N)$ を最大にする $N$ は、$\dfrac{ms}{x}$ が整数でないとき $\left\lfloor\dfrac{ms}{x}\right\rfloor$ だけ、整数のとき $\dfrac{ms}{x}-1$ と $\dfrac{ms}{x}$ の 2 つである。ただし $x=m$ または $x=s$ のときは、最大にする $N$ は $\dfrac{ms}{x}$ だけである。

隣り合う $N$ の比

方針:$L(N)$ と $L(N-1)$ の比を計算し、$1$ との大小を $N$ の 1 次不等式に直す。
段 1(比を計算する)。$N-1\ge m+s-x$ とする。このとき $L(N)$ と $L(N-1)$ はどちらも正である。$\dbinom mx$ は共通なので約分でき、
$$ \frac{L(N)}{L(N-1)}=\frac{\dbinom{N-m}{s-x}}{\dbinom{N-1-m}{s-x}}\cdot\frac{\dbinom{N-1}{s}}{\dbinom{N}{s}} $$
である。$t:=s-x$ とおくと、階乗で書いて約分して
$$ \frac{\dbinom{N-m}{t}}{\dbinom{N-1-m}{t}}=\frac{(N-m)!}{(N-1-m)!}\cdot\frac{(N-1-m-t)!}{(N-m-t)!}=\frac{N-m}{N-m-t},\qquad \frac{\dbinom{N-1}{s}}{\dbinom{N}{s}}=\frac{(N-1)!}{N!}\cdot\frac{(N-s)!}{(N-1-s)!}=\frac{N-s}{N} $$
となる($t!$ と $s!$ は約分した)。よって
$$ \frac{L(N)}{L(N-1)}=\frac{(N-m)(N-s)}{N\,(N-m-s+x)} $$
である。
段 2($1$ との大小)。分母は正なので、比 $>1$ は $(N-m)(N-s)>N(N-m-s+x)$ と同値である。左辺を展開すると $N^2-(m+s)N+ms$、右辺は $N^2-(m+s)N+xN$ なので、これは $ms>xN$、つまり $N<\dfrac{ms}{x}$ と同値である。同じように、比 $=1$ は $N=\dfrac{ms}{x}$、比 $<1$ は $N>\dfrac{ms}{x}$ と同値である。
段 3(まとめ)。段 2 により、$L(N-1)< L(N)$ となるのは $N<\dfrac{ms}{x}$ のときで、$N$ がこれを超えると $L(N)$ は減る。$\dfrac{ms}{x}$ が整数でなければ最大は $N=\left\lfloor\dfrac{ms}{x}\right\rfloor$ でだけとられ、整数なら $L\left(\dfrac{ms}{x}-1\right)=L\left(\dfrac{ms}{x}\right)$ が最大である。なお $\dfrac{ms}{x}-(m+s-x)=\dfrac{(m-x)(s-x)}{x}\ge0$ なので、最大の点は $N\ge m+s-x$ の範囲に入っている($\dfrac{ms}{x}$ が整数で $\dfrac{ms}{x}=m+s-x$ のとき、つまり $x=m$ か $x=s$ のときは、$\dfrac{ms}{x}-1< m+s-x$ で $L=0$ となるので、最大は $N=\dfrac{ms}{x}$ だけになる)。$\square$

しるし付き 7 匹

$m=30$ 匹にしるしを付けて戻し、あとで $s=20$ 匹を捕まえたら $x=7$ 匹にしるしがあった。$\dfrac{ms}{x}=\dfrac{600}{7}=85.7\cdots$ なので、推定値は $N=85$ 匹である。$L(84)\approx0.21014$、$L(85)\approx0.21043$、$L(86)\approx0.21032$ で、確かに $N=85$ で最大である(図 4)。
推定値 $\dfrac{ms}{x}$ は、「2 回目に捕まえた魚のうちしるし付きの割合 $\dfrac xs$ が、池全体のしるし付きの割合 $\dfrac mN$ に等しい」とおいた式 $\dfrac xs=\dfrac mN$ を $N$ について解いたものとほぼ同じである。最尤推定は、この割合の考え方に「確率を最大にする」という根拠を与え、整数への丸め方まで決める。

しるし付き 30 匹、2 回目に 20 匹を捕まえてしるし付きが 7 匹だったときの、池の魚の数 N に対する観測の確率 L(N)。N = 85 で最大になる しるし付き 30 匹、2 回目に 20 匹を捕まえてしるし付きが 7 匹だったときの、池の魚の数 N に対する観測の確率 L(N)。N = 85 で最大になる
図 4 では、$N$ が $43$($=m+s-x$)より小さいところでは $L(N)=0$ で、そこから増えて $N=85$ で最大になり、そのあとはゆるやかに減る。

例と反例

比の技法(prop-mlv-ratio)は、「すべての項が正」「比が $k$ について減る」という条件の上に成り立つ。条件を外したときと、見落としやすい場合をまとめる。

外す条件反例成り立たなくなること
比が $k$ について減る2 種類の硬貨を混ぜる(ex-mlv-two-peaks)比が初めて $1$ 以下になる所で最大
比が途中で $1$ をまたぐ$n=10$、$p=0.95$ / しるし付きが $x=0$ 匹(ex-mlv-edge)山の頂上が端でない / 最大がある
すべての項が正$N< m+s-x$ で $L(N)=0$(ex-mlv-zero)比がとれる
比がちょうど $1$ にならない$n=9$、$p=0.3$(ex-mlv-n9)最も起こりやすい値は 1 つ
反例:山が 2 つある

表の出る確率が $0.9$ の硬貨と $0.2$ の硬貨がある。どちらかを確率 $\dfrac12$ ずつで選び、選んだ硬貨を 6 回投げる。表の回数が $k$ である確率は、2 つの硬貨の場合の平均
$$ P_k=\frac12\left\{\binom6k(0.9)^k(0.1)^{6-k}+\binom6k(0.2)^k(0.8)^{6-k}\right\} $$
である。小数第 4 位まで計算すると
$$ P_0\approx0.1311,\ P_1\approx0.1966,\ P_2\approx0.1235,\ P_3\approx0.0483,\ P_4\approx0.0569,\ P_5\approx0.1779,\ P_6\approx0.2658 $$
となる。比 $\dfrac{P_{k+1}}{P_k}$ は $k=0$ で約 $1.50$、$k=1$ で約 $0.63$ で、ここで初めて $1$ を下回る。「初めて $1$ 以下になる所で最大」と考えると $k=1$ を答えてしまうが、実際の最大は $P_6\approx0.2658$ である。$k=3$ で比が約 $1.18$ と再び $1$ を超えており、比が $k$ について減っていない。山が 2 つあるので、prop-mlv-ratio の (2) は使えない。このようなときは、比が $1$ をまたぐ所(山の頂上の候補)を全部求めて、その値を比べる必要がある。

注意と反例:比が $1$ を下回らない
  1. $n=10$、$p=0.95$ のとき、$a=11\times0.95=10.45$ で、thm-mlv-binomial により最も起こりやすい回数は $\lfloor10.45\rfloor=10$、つまり端の $k=n$ である。比 $r_k=\dfrac{(10-k)\cdot0.95}{(k+1)\cdot0.05}=\dfrac{19(10-k)}{k+1}$ は $k=9$ でも $\dfrac{19}{10}>1$ で、比は最後まで $1$ を下回らない。山の頂上が内側にあるとは限らない。$P_{10}=(0.95)^{10}\approx0.5987$ である。
  2. 池の魚の例で、2 回目に捕まえた $s$ 匹にしるし付きが 1 匹もいなかった($x=0$)とする。このとき $L(N)=\dfrac{\binom{N-m}{s}}{\binom Ns}$ で、prf-mlv-capture の段 1 と同じ計算で $\dfrac{L(N)}{L(N-1)}=\dfrac{(N-m)(N-s)}{N(N-m-s)}$ となる。分子から分母を引くと $ms>0$ なので、比はいつも $1$ より大きく、$L(N)$ は $N$ とともに増え続ける。最大にする $N$ はない。「池の魚は多ければ多いほどしるし付きが捕まりにくい」ので、観測だけからは $N$ の上限が決まらない。prop-mlv-capture で $x\ge1$ を仮定したのはこのためである。
反例:確率が $0$ の項で比がとれない

ex-mlv-fish で $N=42$ のとき、しるしなしの魚は $42-30=12$ 匹しかいないのに、2 回目にしるしなしを $13$ 匹捕まえている。このようなことは起こらないので $L(42)=0$ で、比 $\dfrac{L(43)}{L(42)}$ は $0$ で割ることになり意味をもたない。prf-mlv-capture の段 1 で $N-1\ge m+s-x$ と仮定したのはこのためである。比の技法は、確率が正の範囲に限って使い、確率が $0$ の範囲は別に扱う。

大学数学で見る

最尤推定

池の魚の例では、未知の数 $N$ ごとに観測の確率 $L(N)$ が決まり、それを最大にする $N$ を推定値とした。一般に、未知の量 $\theta$ によって確率が決まるとき、観測した結果の確率を $\theta$ の関数とみたもの $L(\theta)$ を 尤度(ゆうど)といい、$L(\theta)$ を最大にする $\theta$ を 最尤推定値 という(最尤推定)。$\theta$ が整数なら、この記事の比の技法がそのまま使える。$\theta$ が実数なら微分を使う(演習 3 は、反復試行の成功の確率 $p$ の最尤推定値が成功の割合 $\dfrac kn$ になることを示す)。

比が減ることと対数凹性

正の数列 $a_k$ で比 $\dfrac{a_{k+1}}{a_k}$ が $k$ について減る(増えない)ことは、$a_k^2\ge a_{k-1}a_{k+1}$ がすべての $k$ で成り立つことと同値であり、このような数列を 対数凹(たいすうおう)という(対数凹数列)。prop-mlv-ratio は、比が真に減る場合について「山が 1 つ(単峰)」であることの証明になっている(比が等しい所があると、頂上が平らに 3 か所以上続くこともある)。

同値であることと二項係数の場合を開く

比が減ることは $\dfrac{a_{k+1}}{a_k}\le\dfrac{a_k}{a_{k-1}}$ で、両辺に正の数 $a_ka_{k-1}$ を掛けると $a_{k+1}a_{k-1}\le a_k^2$ になる。逆も同じである。対数をとると $\log a_k\ge\dfrac12(\log a_{k-1}+\log a_{k+1})$ で、点 $(k,\log a_k)$ が上に凸に並ぶことを意味する。これが「対数凹」の名前の由来である。

二項分布では $\dfrac{P_k^2}{P_{k-1}P_{k+1}}=\dfrac{(k+1)(n-k+1)}{k(n-k)}>1$($1\le k\le n-1$)で、$p$ によらず対数凹である。池の魚の $L(N)$ は対数凹とは限らない(ex-mlv-fish の数値では、比は $N=146$ までは減るが、その先は増えて $1$ に近づく)。それでも prf-mlv-capture のとおり、比と $1$ の大小が $N=\dfrac{ms}{x}$ の前後で一度だけ入れかわるので、山は 1 つである。二項係数の列 $\dbinom n0,\dbinom n1,\dots,\dbinom nn$($p=\frac12$ の場合に $2^n$ 倍したもの)が対数凹であることは、組合せ論で知られた多くの対数凹な数列の最初の例である。

演習

20 回のくり返し

成功の確率 $0.25$ の試行を 20 回くり返すとき、成功の回数で最も起こりやすいものを求めよ。また、比を使って確かめよ。

解答を開く

$a=21\times0.25=5.25$ は整数でないので、thm-mlv-binomial により $\lfloor5.25\rfloor=5$ 回である。比は $r_k=\dfrac{(20-k)\cdot0.25}{(k+1)\cdot0.75}=\dfrac{20-k}{3(k+1)}$ で、$r_4=\dfrac{16}{15}>1$、$r_5=\dfrac{15}{18}=\dfrac56<1$ なので $P_4< P_5>P_6$ である。実際、$P_4\approx0.1897$、$P_5\approx0.2023$、$P_6\approx0.1686$ である。

0 回が最も起こりやすい条件

$n\ge1$ とする。成功の確率 $p$($0< p<1$)の試行を $n$ 回くり返すとき、成功 0 回が最も起こりやすい回数(の 1 つ)になるための $p$ の条件を求めよ。

解答を開く

thm-mlv-binomial で、$0$ が最も起こりやすい回数になるのは、(1) $a=(n+1)p$ が整数でなく $\lfloor a\rfloor=0$、つまり $0< a<1$ のときか、(2) $a$ が整数で $a-1=0$、つまり $a=1$ のときである。まとめると $(n+1)p\le1$、すなわち $p\le\dfrac1{n+1}$ である。$p<\dfrac1{n+1}$ なら 0 回だけ、$p=\dfrac1{n+1}$ なら 0 回と 1 回の 2 つである。

確かめ:$n=4$、$p=\dfrac15$ なら $P_0=\left(\dfrac45\right)^4=\dfrac{256}{625}$、$P_1=4\cdot\dfrac15\cdot\left(\dfrac45\right)^3=\dfrac{256}{625}$ で等しい。

成功の確率の推定

成功の確率 $p$ が分からない試行を $n$ 回くり返したら、ちょうど $k$ 回成功した($0< k< n$)。$f(p)=\dbinom nk p^k(1-p)^{n-k}$ を最大にする $p$($0< p<1$)を求めよ。

解答を開く

$\dbinom nk$ は $p$ によらない正の定数なので、$g(p)=p^k(1-p)^{n-k}$ の最大を考える。積の微分で

$$g'(p)=kp^{k-1}(1-p)^{n-k}-(n-k)p^k(1-p)^{n-k-1}=p^{k-1}(1-p)^{n-k-1}\bigl\{k(1-p)-(n-k)p\bigr\}$$

である。中かっこの中は $k-kp-np+kp=k-np$ である。$0< p<1$ で $p^{k-1}(1-p)^{n-k-1}>0$ なので、$g'(p)$ の符号は $k-np$ の符号と同じで、$p<\dfrac kn$ で正、$p>\dfrac kn$ で負である。よって $g$ は $p=\dfrac kn$ で最大になり、求める $p$ は $\dfrac kn$(成功の割合)である。この値が、区間推定(高校数学) で母比率の推定の中心に使う標本比率である。

さらに先へ

  • 隣り合う確率の比 $\dfrac{(n-k)p}{(k+1)q}$ で最大の回数を決める方法は GrS06 §3.2 の Exercise 7(p. 114)に、成功の確率 $p$ の最尤推定値が成功の割合(演習 3 の $\dfrac kn$)であることは同じ節の Exercise 29(p. 117)に、池の魚の数の最尤推定を「隣り合う $N$ の比を考えよ」という指示とともに求める問題は §5.1 の Exercise 9(p. 198)にある。
  • 同じ比は、$n$ を大きくしたときの二項分布の形を調べるのにも使う。比の対数から釣鐘形の曲線が現れる話は 二項分布から正規分布へ で扱う。最大の確率 $P_M$ そのものの大きさは、$n$ が大きいとき約 $\dfrac1{\sqrt{2\pi np(1-p)}}$ で(たとえば $n=100$、$p=0.3$ で $P_{30}\approx0.0868$、近似値 $\approx0.0871$)、階乗の見積もり(階乗の大きさの見積もり)から導かれる。この記事では証明しない。
  • Poisson 分布でも、同じ比の技法で最も起こりやすい値が求まる(Poisson分布(高校数学))。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する