仮説検定の考え方

「表と裏が同じ確率 $\frac12$ で出る硬貨（公平な硬貨）を 20 回投げる」ことを 1 セットとし、コンピュータで 1000 セット繰り返した。表の回数ごとのセット数は次のとおりであった（図 1）。

表が $15$ 回以上だったのは $10+7+1=18$ セットで、1000 セットのうち $1.8\%$ である。公平な硬貨でも起こりうるが、めったに起こらない。基準を $5\%$ と決めておけば、$1.8\%\le5\%$ なので、「公平な硬貨で偶然起こったとは考えにくい。この硬貨は表が出やすいと判断してよい」と結論する。

新しい味のお茶 A と今までのお茶 B を 20 人に飲み比べてもらったら、13 人が A のほうがおいしいと答えた。「A のほうが好まれる」と言ってよいだろうか。
仮に好みに差がなく、1 人 1 人が A と B を確率 $\frac12$ ずつで選ぶとする。これは公平な硬貨を 20 回投げて表の回数を数えるのと同じ状況なので、ex-iht-coin20 のシミュレーションがそのまま使える。13 人以上が A を選ぶのは、表が $13$ 回以上のセットにあたり、その数は
$$ 74+40+10+7+1=132 $$
で、1000 セットのうち $13.2\%$ である。$13.2\%>5\%$ なので、この程度の偏りは偶然でもよく起こる。「A のほうが好まれるとは言えない」と判断する。これは「好みに差がない」と証明したことではない（ex-iht-not-reject）。

ex-iht-coin20 を手順どおりに書く。

1. 主張「この硬貨は表が出やすい」に反する帰無仮説は「表の出る確率は $\frac12$」である。
2. 有意水準を $\alpha=0.05$ とする。
3. 観測した結果は「20 回中 15 回が表」で、それ以上に極端な結果は「表が 15 回以上」である。その確率は、シミュレーションではおよそ $0.018$ である（正確な値は ex-iht-tail20 で約 $0.0207$）。
4. $0.018\le0.05$ なので帰無仮説を棄却し、「この硬貨は表が出やすい」と判断する。
   ex-iht-survey では、手順 3 の確率がおよそ $0.132$ で $0.05$ より大きいので、帰無仮説「A と B が選ばれる確率は $\frac12$ ずつ」を棄却しない。

$n=20$、$2^{20}=1048576$ である。二項係数は
$$ \binom{20}{15}=15504,\ \binom{20}{16}=4845,\ \binom{20}{17}=1140,\ \binom{20}{18}=190,\ \binom{20}{19}=20,\ \binom{20}{20}=1 $$
で、その和は $21700$ である。よって
$$ T(15)=\frac{21700}{1048576}=0.02069\ldots $$
である（図 2）。ex-iht-coin20 のシミュレーションの $1.8\%$ はこの値に近い。さらに $\binom{20}{14}=38760$ を足すと
$$ T(14)=\frac{60460}{1048576}=0.05765\ldots $$
で、シミュレーションの $\frac{58}{1000}=5.8\%$ に近い。$\binom{20}{13}=77520$ も足すと $T(13)=\frac{137980}{1048576}=0.13158\ldots$ で、ex-iht-survey のシミュレーションの $13.2\%$ に近い。

$n=10$、$2^{10}=1024$ で、$\binom{10}{8}=45$、$\binom{10}9=10$、$\binom{10}{10}=1$ である。

• 表が 9 回：$T(9)=\dfrac{10+1}{1024}=\dfrac{11}{1024}=0.0107\ldots$ で、$0.05$ 以下なので棄却する。
• 表が 8 回：$T(8)=\dfrac{45+10+1}{1024}=\dfrac{56}{1024}=0.0546\ldots$ で、$0.05$ より大きいので棄却しない。
  同じ「表の割合 $80\%$」でも、20 回中 16 回なら $T(16)=\dfrac{4845+1140+190+20+1}{1048576}=\dfrac{6196}{1048576}=0.0059\ldots$ で棄却される。回数が多いほど、同じ割合の偏りは偶然では起こりにくくなる。
  ここでは「表が出やすい」向きだけを考えた（片側）。表が多すぎる場合も少なすぎる場合も考えると（両側）、prop-iht-tail の対称性から確率はそれぞれ 2 倍の $\dfrac{22}{1024}=0.0214\ldots$、$\dfrac{112}{1024}=0.109\ldots$ になる。9 回なら棄却し 8 回なら棄却しないという結論は同じである。両側で考える方法は 仮説検定（高校数学） で扱う。

$\alpha=0.05$ として、prop-iht-tail の式で $T(k)$ を計算すると、次のようになる（表の小数は小数第 5 位を四捨五入した値。本文で $0.0546\ldots$ のように「$\ldots$」を付けた小数は、そこまでで切り捨てた値である）。

$n=20$ では、表が 15 回以上なら棄却し、14 回以下なら棄却しない（図 3）。$n=25$ の $T(18)$ は $\dfrac{1}{2^{25}}\sum_{j=18}^{25}\binom{25}j=\dfrac{726206}{33554432}=0.02164\ldots$ である。たとえば 25 人中 18 人が新商品を選んだら、有意水準 $5\%$ で「新商品のほうが好まれる」と判断する。

ex-iht-coin20 のシミュレーションは、公平な硬貨（帰無仮説が正しい）で行ったものである。それでも 1000 セットのうち 18 セットは表が 15 回以上で、そのセットだけを見た人は「表が出やすい」と誤って判断する。
正確には、帰無仮説が正しいときにこの誤りが起こる確率は $T(15)=0.0206\ldots$ で、有意水準 $0.05$ 以下である。thm-iht-border より、棄却するのは表が $k_0$ 回以上のときだけなので、この誤りの確率はいつも $T(k_0)\le\alpha$ に収まる。これを数学 B では第 1 種の誤りの確率と呼ぶ（仮説検定（高校数学））。

本当は表の出る確率が $0.6$ の硬貨を 20 回投げるとする。表が 15 回以上になる確率は
$$ \sum_{j=15}^{20}\binom{20}j(0.6)^j(0.4)^{20-j}=0.1255\ldots $$
である（各並びの確率が $(0.6)^j(0.4)^{20-j}$ になることのほかは、prf-iht-tail と同じ数え方）。したがって、帰無仮説「表の確率は $\frac12$」は誤っているのに、およそ $87\%$ の確率で棄却されない。棄却されなかったときの結論は「表が出やすいとは言えない」であり、「公平である」ではない。

$n=4$ で $\alpha=0.05$ とする。4 回とも表でも、$T(4)=\dfrac1{16}=0.0625>0.05$ である。lem-iht-decrease より $T(k)\ge T(4)$ なので、どの結果でも $T(k)>0.05$ で、帰無仮説は決して棄却されない。thm-iht-border の仮定 $\dfrac1{2^n}\le\alpha$ が崩れ、$k_0$ が存在しない。$n=5$ なら $T(5)=\dfrac1{32}=0.03125\le0.05$ で、5 回とも表のときだけ棄却される。

20 回中 14 回が表だったとする。$T(14)=0.0576\ldots>0.05$ なので、有意水準 $5\%$ では棄却しない。ここで「有意水準を $10\%$ にしよう」と変えると、$0.0576\ldots\le0.10$ なので棄却になる。データを見てから基準を動かせば、同じデータから好きな結論を出せてしまう。有意水準を $10\%$ にすること自体は誤りではないが、データを見る前に決めておく必要がある（def-iht-procedure の手順 2）。

主張が「この硬貨は表が出やすい」で、20 回中 5 回しか表が出なかったとする。主張の向きに極端な結果は「表が 5 回以上」で、その確率は $T(5)=P(X\ge5)=0.9940\ldots$ である。これは主張をまったく支持しない。
一方、prop-iht-tail の対称性から $P(X\le5)=P(X\ge15)=0.0206\ldots$ で、表が少ない向きには偏っている。しかしこれは「裏が出やすい」という別の主張の証拠であり、「表が出やすい」の証拠ではない。結果を見てから向きを選ぶと、どちらの向きの偏りでも棄却になり、ex-iht-true-rejected の誤りの確率が 2 倍の $2T(15)=0.0413\ldots$ に増える。両方の向きを最初から考える方法（両側検定）は 仮説検定（高校数学） で扱う。

8 杯のミルクティーのうち、4 杯はミルクを先に、4 杯は紅茶を先に入れて作る。どれがどちらかは知らせずに、ただし「4 杯ずつ」とは伝えて 8 杯を飲んでもらい、ミルクが先だと思う 4 杯を選んでもらう。
帰無仮説「味で区別できず、8 杯から 4 杯をでたらめに選ぶ（どの選び方も同じ確率）」のもとで、次を求めよ。
(1) 4 杯すべてを正しく選ぶ確率。
(2) ちょうど 3 杯を正しく選ぶ確率。
(3) 有意水準 $5\%$ で帰無仮説を棄却するのは、何杯正しく選んだときか。