仮説検定（高校数学）

硬貨を $400$ 回投げたら表が $220$ 回出た。帰無仮説「表の出る確率 $p$ は $\frac12$」が正しいとすると、表の回数 $X$ は二項分布に従い、
$$ E(X)=400\cdot\frac12=200,\qquad V(X)=400\cdot\frac12\cdot\frac12=100,\qquad \sigma(X)=10 $$
である（二項分布の期待値 $np$ と分散 $np(1-p)$。確率変数の期待値と分散 の主定理から出る）。$n$ が大きいので、標準化した
$$ Z=\frac{X-200}{10} $$
はおよそ標準正規分布に従う（二項分布から正規分布へ）。観測値は $z=\frac{220-200}{10}=2.0$ である。標準正規分布では $|Z|\ge1.96$ となる確率が $0.05$ なので、$|z|=2.0\ge1.96$ は「起こる確率が $5\%$ 以下の、めったに起こらない側」に入る。有意水準 $5\%$ で帰無仮説を棄却し、「この硬貨は公平とは言えない」と判断する。

同じ設定で表が $215$ 回なら、$z=\frac{215-200}{10}=1.5$ である。$|z|<1.96$ なので、有意水準 $5\%$ では帰無仮説を棄却しない。標準正規分布で $|Z|\ge1.5$ となる確率は $0.1336\ldots$ で、公平な硬貨でも $7$ 回に $1$ 回くらいは起こる程度のずれだからである。

回数が少ないときは、正規分布に頼らずに二項分布の確率をそのまま計算できる。公平な硬貨を $10$ 回投げたときの表の回数 $X$ は $P(X=k)=\binom{10}k\big/1024$ で、二項係数は
$$ \binom{10}0,\binom{10}1,\dots,\binom{10}{10}=1,\ 10,\ 45,\ 120,\ 210,\ 252,\ 210,\ 120,\ 45,\ 10,\ 1 $$
である。表が $9$ 回出たとする。$\frac12$ から見て $9$ 回と同じかそれ以上に偏った結果は、$X\ge9$ または $X\le1$ で、その確率は
$$ P(X\ge9)+P(X\le1)=\frac{10+1+1+10}{1024}=\frac{22}{1024}=0.0214\ldots $$
である。これは $0.05$ 以下なので、有意水準 $5\%$ で帰無仮説を棄却する。表が $8$ 回なら、同じ計算で $\frac{45+10+1+1+10+45}{1024}=\frac{112}{1024}=0.109\ldots$ となり、棄却しない。

1. ex-htst-coin220：$H_0$ は $p=\frac12$、$H_1$ は $p\ne\frac12$。検定統計量は $Z=\frac{X-200}{10}$、棄却域は $|z|\ge1.96$ となる値の集合、有意水準は $0.05$ である。$X$ は整数なので、$|X-200|\ge19.6$ は $|X-200|\ge20$ と同じで、棄却域は「$X\ge220$ または $X\le180$」と言い換えられる。
2. ex-htst-ten：$H_0$ と $H_1$ は同じで、検定統計量は表の回数 $X$、棄却域は $R=\{0,1,9,10\}$ である。$P_{H_0}(X\in R)=\frac{22}{1024}=0.0214\ldots\le0.05$ なので、有意水準 $5\%$ の検定である。$R$ に $2$ と $8$ を加えると $P_{H_0}(X\in R)=\frac{112}{1024}=0.109\ldots$ となり、$0.05$ を超えてしまう（図1）。

ex-htst-framework の 2 の検定（$R=\{0,1,9,10\}$）を考える。

1. 第 1 種の誤り：硬貨が公平なのに $X\in R$ となる確率で、$\frac{22}{1024}=0.0214\ldots$ である。
2. 第 2 種の誤り：本当は $p=0.7$ だとする。棄却する確率（検出力）は
   $$ P(X\in R)=0.3^{10}+10\cdot0.7\cdot0.3^{9}+10\cdot0.7^9\cdot0.3+0.7^{10}=0.0000059\ldots+0.0001377\ldots+0.1210608\ldots+0.0282475\ldots=0.1494\ldots $$
   である。したがって第 2 種の誤りの確率は $1-0.1494\ldots=0.8505\ldots$ で、表の出やすい硬貨を $85\%$ の確率で見逃す。$10$ 回では、$p=0.7$ の硬貨と公平な硬貨をほとんど見分けられない。

硬貨を $n$ 回投げ、$\bigl|\frac{X-n/2}{\sqrt n/2}\bigr|\ge1.96$ で棄却する検定を考える。公平な硬貨で棄却してしまう確率（第 1 種の誤りの確率）を、二項分布で厳密に計算すると次のようになる。

$n=100$、$400$ では $0.05$ をわずかに超える。つまり、この棄却域は厳密には有意水準 $5\%$ の検定になっていない。$n$ を大きくすると $0.05$ に近づく（二項分布から正規分布へ の de Moivre–Laplace の定理による）。

1. ex-htst-coin220（$z=2.0$）：正規近似で $p$ 値は $P(|Z|\ge2)=0.0455\ldots$ である。
2. ex-htst-coin215（$z=1.5$）：$P(|Z|\ge1.5)=0.1336\ldots$ である。
3. ex-htst-ten：表 $9$ 回の $p$ 値は $\frac{22}{1024}=0.0214\ldots$、表 $8$ 回の $p$ 値は $\frac{112}{1024}=0.109\ldots$ である。

硬貨を $400$ 回投げて表が $217$ 回出た。$z=\frac{217-200}{10}=1.7$ である。

• 両側検定：$|z|=1.7<1.96$ なので棄却しない。$p$ 値は $P(|Z|\ge1.7)=0.0891\ldots$。
• 片側検定（$H_1$：$p>\frac12$）：$z=1.7\ge1.645$ なので棄却する。$p$ 値は $P(Z\ge1.7)=0.0445\ldots$ で、両側の半分である。
  片側検定は、疑う向きが正しければ差を見つけやすい。そのかわり、反対の向きの偏り（表が少なすぎる）は見つけられない（図2）。

区間推定（高校数学） の製品の例（$\sigma=2$、$n=100$、$\bar x=50.3$）では、信頼区間は $[49.908,\ 50.692]$ であった。$d=0.2$ である。

1. $H_0$：$\mu=50$。$z=\frac{50.3-50}{0.2}=1.5$ で $|z|<1.96$ なので棄却しない。実際 $50$ は区間に含まれる。
2. $H_0$：$\mu=49.8$。$z=\frac{50.3-49.8}{0.2}=2.5$ で $|z|>1.96$ なので棄却する。実際 $49.8<49.908$ で、区間に含まれない。
   信頼区間は「有意水準 $5\%$ の両側検定で棄却されない $\mu_0$ の全体」と言い換えられる。

帰無仮説 $p_0=\frac12$ で、標本比率が $\hat p=0.51$ だったとする。$\sqrt{p_0(1-p_0)}=\frac12$ なので $z=0.01\sqrt n\cdot2=0.02\sqrt n$ である。

• $n=100$：$z=0.2$。棄却しない。
• $n=10000$：$z=2.0$。棄却する。
• $n=40000$：$z=4.0$。$p$ 値は $0.0001$ より小さい。
  prop-htst-large-n の境目は $n\ge\frac{1.96^2\cdot0.25}{0.01^2}=9604$ である。$1\%$ の差は、実用上はほとんど意味がないこともある。「有意」は「偶然とは考えにくい」という意味で、「差が大きい」「重要である」という意味ではない。

$400$ 回投げて「$X\ge220$ または $X\le180$」で棄却する検定（ex-htst-framework の 1）で、本当は $p=0.55$ だとする。$X$ の期待値は $220$、標準偏差は $\sqrt{400\cdot0.55\cdot0.45}=9.949\ldots$ である。正規近似では、連続補正なしで
$$ P(X\ge220)\approx P\Bigl(Z\ge\frac{219.6-220}{9.949\ldots}\Bigr)=P(Z\ge-0.040\ldots)=0.516\ldots $$
（棄却域の境目 $z=1.96$ を $X$ に直した値 $200+1.96\cdot10=219.6$ を使った。連続補正なし）で、反対側の $P(X\le180)$ は $0.0001$ より小さい。二項分布で厳密に計算すると検出力は $0.520\ldots$ である。表の出る確率が $0.55$ の硬貨を、$400$ 回では半分近く見逃す。
同じ検定で、$p=0.6$ なら検出力は $0.981\ldots$ である。$n=1600$ にすると（棄却域 $X\ge840$ または $X\le760$）、$p=0.55$ での検出力は $0.978\ldots$ に上がる。$n=100$ では $0.184\ldots$ しかない（図3、いずれも二項分布による厳密な計算）。

ex-htst-ten で表が $8$ 回のとき、帰無仮説（公平）は棄却しなかった。しかし本当は $p=0.7$ でも、表が $8$ 回以上出る確率は
$$ P(X\ge8)=\binom{10}8\,0.7^8\,0.3^2+\binom{10}9\,0.7^9\,0.3+0.7^{10}=0.3827\ldots $$
で、決して珍しくない。ex-htst-errors-ten で見たとおり、この検定は $p=0.7$ の硬貨を $85\%$ の確率で見逃す。棄却しないことは、「このデータでは公平でないと言い切れない」という意味で、「公平である」ことの証拠にはならない。
満たさない前提：検出力が十分大きいこと。破る主張：「棄却しなかった帰無仮説は正しい」。

$1000$ 枚の硬貨があり、$900$ 枚は公平、$100$ 枚は表の確率が $0.6$ だとする。無作為に 1 枚選んで $400$ 回投げ、ex-htst-framework の 1 の検定をする。ex-htst-level-exact と ex-htst-power の厳密な値から

• 公平な硬貨で棄却する確率は $0.0510\ldots$、
• 表の確率が $0.6$ の硬貨で棄却する確率は $0.9813\ldots$
  である。Bayes の定理（確率の定義と条件付き確率）により、棄却されたときに硬貨が公平である確率は
  $$ \frac{0.9\times0.0510\ldots}{0.9\times0.0510\ldots+0.1\times0.9813\ldots}=\frac{0.0459\ldots}{0.1440\ldots}=0.318\ldots $$
  である。有意水準 $5\%$ で棄却されても、その硬貨が公平である確率は $5\%$ ではなく約 $32\%$ ある。$p$ 値や有意水準は「帰無仮説が正しいとしたときにデータが起こる確率」であり、「データのもとで帰無仮説が正しい確率」ではない。後者は、はじめに公平な硬貨がどのくらいあるか（事前の割合）によって変わる。
  満たさない前提：条件と結果の向き。破る主張：「棄却された帰無仮説が正しい確率は $5\%$ 以下」。

「$z>0$ なら右側、$z<0$ なら左側の片側検定を、それぞれ有意水準 $5\%$ で行う」という手順を考える。これは「$z\ge1.645$ または $z\le-1.645$ なら棄却」と同じなので、公平な硬貨で棄却する確率は
$$ P(|Z|\ge1.645)=2\times0.0499\ldots=0.0999\ldots $$
で、約 $10\%$ になる。有意水準 $5\%$ と言いながら、第 1 種の誤りの確率は 2 倍である。
満たさない前提：対立仮説の向きをデータの前に決めること。破る主張：thm-htst-level の 1（第 1 種の誤りの確率は $\alpha$ 以下）。

公平な硬貨 $20$ 枚について、それぞれ独立に第 1 種の誤りの確率がちょうど $0.05$ の検定を行う。少なくとも 1 枚で「公平でない」と誤って棄却する確率は、余事象（1 枚も棄却しない）を考えて
$$ 1-0.95^{20}=0.641\ldots $$
である。1 回ごとの誤りは $5\%$ でも、$20$ 回行えば、どこかで誤る確率は $64\%$ を超える。たくさんの検定のうち「有意」になったものだけを報告すると、偶然を発見と取り違えやすい。
満たさない前提：検定を 1 回だけ行うこと。破る主張：「誤って棄却する確率は $5\%$ 以下」を、検定の全体について読むこと。対策は rem-htst-multiple で述べる。

ex-htst-coin220 の表 $220$ 回は、$z=2.0$ で棄却された。しかし

• 連続補正（整数の値 $220$ を幅 $1$ の区間の左端 $219.5$ とみる。二項分布から正規分布へ）をすると $z=\frac{219.5-200}{10}=1.95<1.96$ で、棄却しない。$p$ 値は $P(|Z|\ge1.95)=0.0511\ldots$ である。
• 二項分布で厳密に計算した $p$ 値は $P(X\ge220)+P(X\le180)=0.0510\ldots$ で、$0.05$ を超えるので棄却しない。
  同じデータでも、近似の仕方で結論が変わる。これは $5\%$ という基準の近くでは、判断がどちらに転んでもおかしくないことを表している。境目の近くでは「棄却する・しない」だけでなく、$p$ 値そのものを報告するのがよい。
  満たさない前提：正規近似が境目でも十分よいこと。破る主張：近似で出した結論が厳密な計算と一致すること。