p値
概要
p値（p-value）とは、仮説検定で、観測したデータについて帰無仮説を棄却できる最小の有意水準のことであり、検定統計量 $T$ を使う検定では、帰無仮説のもとで $T$ が観測値と同じかそれより極端な値をとる確率（複合仮説ではその上限）として計算される。帰無仮説が正しいとき、すべての $0\le u\le1$ について $p$ 値が $u$ 以下になる確率は $u$ 以下であり、このため「$p$ 値が $\alpha$ 以下なら棄却する」は有意水準 $\alpha$ の検定になる。単純仮説で統計量の分布が連続なら $p$ 値は一様分布に従い、離散分布でも観測と独立な乱数を 1 つ加えた $p$ 値は一様分布に従う。$p$ 値はデータのもとで帰無仮説が正しい確率ではなく、効果の大きさも測らない。
前提知識: 確率変数, 仮説検定（高校数学）, 分位点, 信頼区間
仮説検定では、有意水準 $\alpha$ を先に決め、検定統計量が棄却域に入るかどうかで「棄却する・しない」を判断する。しかし同じデータでも、$\alpha=0.05$ なら棄却し $\alpha=0.01$ なら棄却しない、ということが起こる。そこで、そのデータで帰無仮説を棄却できる最小の有意水準 を報告すれば、どの $\alpha$ を選んだ読者にも結論が伝わる。これが $p$ 値 である。検定統計量 $T$ を使う多くの検定では、$p$ 値は「帰無仮説のもとで、$T$ が観測値と同じかそれより極端な値をとる確率」として計算できる。
$p$ 値の数学的な中心は、帰無仮説が正しいとき $P(p\le u)\le u$ がすべての $u$ で成り立つこと（妥当性）と、単純仮説で統計量の分布が連続なら $p$ 値がちょうど一様分布に従うことである。この記事では、$p$ 値を棄却域の族から定義し、この 2 つを証明する。離散分布で一様性が崩れる問題は、乱数を 1 つ加えた $p$ 値で解消できることも示す。高校数学の 仮説検定（高校数学） の定義「$p$ 値の定義」と 仮説検定の考え方 の注意「大学数学で見る：$p$ 値と正確検定」を、一般の母数と複合仮説に広げたものである。
設定
観測データ $X$ は可測空間 $(\mathcal X,\mathcal A)$ に値をとり、その分布が未知の母数 $\theta\in\Theta$ によって $P_\theta$ と決まるとする。$\Theta$ の空でない部分集合 $\Theta_0$ をとり、帰無仮説 $H_0\colon\theta\in\Theta_0$ を検定する。$\Theta_0$ が 1 点 $\{\theta_0\}$ のとき $H_0$ を 単純仮説、そうでないとき 複合仮説 という。
$R\in\mathcal A$ を棄却域とする検定（$X\in R$ なら棄却する）は、
$$
\sup_{\theta\in\Theta_0}P_\theta(X\in R)\le\alpha
$$
を満たすとき 有意水準 $\alpha$ の検定 という。左辺を検定の 大きさ という。
定義
$0< \alpha< 1$ の各 $\alpha$ について有意水準 $\alpha$ の検定の棄却域 $R_\alpha\in\mathcal A$ が与えられ、$\alpha\le\alpha'$ なら $R_\alpha\subset R_{\alpha'}$ であるとする（入れ子の棄却域の族）。観測値 $x\in\mathcal X$ について
$$
p(x):=\inf\{\alpha\in(0,1)\mid x\in R_\alpha\}
$$
（右辺の集合が空なら $p(x):=1$）を、この族に関する $x$ の $p$ 値（$p$-value）という。$p(X)$ も $p$ 値と呼ぶ。
$p(x)$ は「$x$ を棄却する最小の有意水準」である。定義から、$x\in R_\alpha$ なら $p(x)\le\alpha$ であり、$p(x)< \alpha$ なら $p(x)< \alpha'< \alpha$ となる $\alpha'$ で $x\in R_{\alpha'}\subset R_\alpha$ なので $x\in R_\alpha$ である。つまり「$p$ 値が $\alpha$ より小さければ水準 $\alpha$ で棄却され、水準 $\alpha$ で棄却されれば $p$ 値は $\alpha$ 以下」である。
可測関数 $T\colon\mathcal X\to\mathbb R$（検定統計量）を、値が大きいほど $H_0$ に不利な証拠とみる。$G_\theta(t):=P_\theta(T(X)\ge t)$ とおき、
$$
p_T(x):=\sup_{\theta\in\Theta_0}G_\theta\bigl(T(x)\bigr)=\sup_{\theta\in\Theta_0}P_\theta\bigl(T(X)\ge T(x)\bigr)
$$
を、$T$ による $x$ の $p$ 値という。単純仮説 $\Theta_0=\{\theta_0\}$ なら $p_T(x)=P_{\theta_0}(T(X)\ge T(x))$ である。
$T$ が小さいほど不利とみるなら $-T$ を、両側を見るなら $\lvert T\rvert$ を検定統計量にすればよい。$h(t):=\sup_{\theta\in\Theta_0}G_\theta(t)$ は $t$ について非増加なので Borel 可測で、$p_T=h\circ T$ は可測である。棄却域 $R_\alpha:=\{x\mid p_T(x)\le\alpha\}$ は入れ子であり、次の定理により有意水準 $\alpha$ の検定を与える。この族について def-pv-pvalue の $p$ 値は $p_T$ に一致する（$p_T(x)< 1$ なら $\inf\{\alpha\mid p_T(x)\le\alpha\}=p_T(x)$、$p_T(x)=1$ ならどの $R_\alpha$ にも入らない）。したがって 2 つの定義は同じものを 2 つの側から見たものである。「閾値をちょうど観測値に置いたときの第 1 種の誤りの確率」という計算法（PN14 §8.4.4）は、この $p_T$ のことである。
主定理 1：妥当性
- def-pv-pvalue の $p$ 値は可測で、すべての $\theta\in\Theta_0$ と $0\le u\le1$ について $P_\theta\bigl(p(X)\le u\bigr)\le u$ を満たす。
- def-pv-statistic の $p_T$ も、すべての $\theta\in\Theta_0$ と $0\le u\le1$ について $P_\theta\bigl(p_T(X)\le u\bigr)\le u$ を満たす。
したがって、どちらの $p$ 値についても「$p$ 値 $\le\alpha$ なら棄却する」は有意水準 $\alpha$ の検定である。
1。 $0< v\le1$ について、$\{x\mid p(x)< v\}=\bigcup_{q\in\mathbb Q,\,0< q< v}R_q$ を示す。$p(x)< v$ なら $x\in R_\alpha$ となる $\alpha< v$ があり、$\alpha< q< v$ となる有理数 $q$ をとれば $x\in R_\alpha\subset R_q$ である。逆に $x\in R_q$（$q< v$）なら $p(x)\le q< v$ である。右辺は可算個の可測集合の和なので可測であり、$\{p\le u\}=\bigcap_{n}\{p< u+\frac1n\}$（$u< 1$）、$\{p\le1\}=\mathcal X$ から $p$ は可測である。
$\theta\in\Theta_0$ とする。有理数の列 $q_1< q_2< \cdots$ で $q_n\to v$ となるものをとると、入れ子なので $\bigcup_{q< v}R_q=\bigcup_nR_{q_n}$ は増大列の和である。確率空間 の命題「確率の連続性」により
$$
P_\theta\bigl(p(X)< v\bigr)=\lim_{n\to\infty}P_\theta(X\in R_{q_n})\le\lim_{n\to\infty}q_n=v
$$
である。$0\le u< 1$ なら、$u< v\le1$ のすべての $v$ について $P_\theta(p(X)\le u)\le P_\theta(p(X)< v)\le v$ なので、$v\downarrow u$ として $P_\theta(p(X)\le u)\le u$ を得る。$u=1$ では明らかである。
2。 $\theta\in\Theta_0$ を固定し、$P_\theta$ のもとでの確率変数 $Y:=T(X)$ について $G_\theta(t)=P_\theta(Y\ge t)$ とする。上限の定義から $p_T(X)\ge G_\theta(Y)$ なので、
$$
P_\theta\bigl(p_T(X)\le u\bigr)\le P_\theta\bigl(G_\theta(Y)\le u\bigr)\le u
$$
である。最後の不等式は 信頼区間 の補題「分布関数の値の分布」の 2 つめの不等式である。
最後の主張：$\{p\le\alpha\}$ を棄却域とする検定の大きさは、1・2 により $\sup_{\theta\in\Theta_0}P_\theta(p(X)\le\alpha)\le\alpha$ である。$\square$
2 の証明は、複合仮説で上限 $\sup_{\theta\in\Theta_0}$ をとる理由を示している。$\Theta_0$ のどの $\theta$ のもとでも妥当であるためには、$\Theta_0$ の中で $T$ が最も大きくなりやすい（棄却が最も起こりやすい）分布で裾の確率を計算しなければならない（反例の表の 4 行目）。
$p^{(1)},\dots,p^{(m)}$ を、同じデータについての $m$ 個の帰無仮説 $H_0^{(i)}\colon\theta\in\Theta_0^{(i)}$ の妥当な $p$ 値とする（すなわち $\theta\in\Theta_0^{(i)}$ なら $P_\theta(p^{(i)}(X)\le u)\le u$）。$\theta\in\bigcap_i\Theta_0^{(i)}$ なら、すべての $0\le u\le1$ について
$$
P_\theta\Bigl(\min_{1\le i\le m}p^{(i)}(X)\le\frac um\Bigr)\le u
$$
である。$p^{(i)}$ どうしが独立でなくてもよい。
$\{\min_ip^{(i)}\le\frac um\}=\bigcup_i\{p^{(i)}\le\frac um\}$ なので、確率の劣加法性と仮定から $P_\theta(\cdots)\le\sum_{i=1}^mP_\theta(p^{(i)}\le\frac um)\le m\cdot\frac um=u$ である。$\square$
これは 仮説検定（高校数学） の注意「多重検定の補正」の $p$ 値による言い換えである。逆に、$m$ 個の $p$ 値の最小値をそのまま $p$ 値として扱うと妥当でなくなる（反例の表の 3 行目）。
主定理 2：一様性と乱択化
thm-pv-validity の不等式は、単純仮説で統計量の分布が連続なら等号になる。離散分布では一般に等号にならないが、観測と独立な乱数を 1 つ使うと等号にできる。
単純仮説 $H_0\colon\theta=\theta_0$ を考え、$P_{\theta_0}$ のもとで $Y:=T(X)$ とおく。$G(t):=P(Y\ge t)$、$G^+(t):=P(Y>t)$ とし、$V$ を $X$ と独立で $[0,1]$ 上の一様分布に従う確率変数とする（必要なら確率空間を直積で広げる）。
$$
\tilde p:=G^+(Y)+V\bigl(G(Y)-G^+(Y)\bigr)
$$
とおくと、すべての $0\le u\le1$ について $P(\tilde p\le u)=u$ である。とくに $Y$ の分布関数が連続なら、$P(Y=t)=0$（すべての $t$）より $\tilde p=G(Y)=p_T(X)$ であり、$p_T(X)$ は $[0,1]$ 上の一様分布に従う。
$G(t)-G^+(t)=P(Y=t)$ であり、$G^+(Y)\le\tilde p\le G(Y)$ である。$s< t$ なら $G^+(s)=P(Y>s)\ge P(Y\ge t)=G(t)$ であることを何度も使う。$0\le u\le1$ を固定する。
場合 1：$G^+(t_0)\le u< G(t_0)$ となる $t_0$ がある場合。 そのような $t_0$ は 1 つしかない（$s< t$ が両方そうなら $G(t)\le G^+(s)\le u$ となり矛盾）。$Y>t_0$ なら $\tilde p\le G(Y)\le G^+(t_0)\le u$、$Y< t_0$ なら $\tilde p\ge G^+(Y)\ge G(t_0)>u$ である。$Y=t_0$ のとき、$P(Y=t_0)=G(t_0)-G^+(t_0)>0$ で、$\tilde p\le u$ は $V\le\frac{u-G^+(t_0)}{P(Y=t_0)}$ と同値である。$V$ と $Y$ は独立なので
$$
P(\tilde p\le u)=P(Y>t_0)+P(Y=t_0)\cdot\frac{u-G^+(t_0)}{P(Y=t_0)}=G^+(t_0)+u-G^+(t_0)=u
$$
である。
場合 2：そのような $t_0$ がない場合。 どの $t$ でも $G(t)\le u$ か $G^+(t)>u$ のどちらかが成り立つ。$A:=\{t\mid G(t)\le u\}$ とおくと、$Y\in A$ なら $\tilde p\le G(Y)\le u$、$Y\notin A$ なら $\tilde p\ge G^+(Y)>u$ なので、$P(\tilde p\le u)=P(Y\in A)$ である。$G$ は非増加なので、$A$ は $t\in A$、$t'\ge t$ なら $t'\in A$ を満たす。$P(Y\in A)=u$ を確かめる。
詳細
$A=\mathbb R$ なら $1=\lim_{t\to-\infty}G(t)\le u$ なので $u=1=P(Y\in A)$。$A=\emptyset$ ならすべての $t$ で $G^+(t)>u$ で、$t\to\infty$ として $u\le0$、よって $u=0=P(Y\in A)$。それ以外では $s:=\inf A$ は実数である。$s\in A$ なら $A=[s,\infty)$ で $P(Y\in A)=G(s)\le u$ である。一方 $t< s$ では $t\notin A$ なので $G^+(t)>u$ であり、$t\uparrow s$ のとき $\{Y>t\}$ は減少して $\{Y\ge s\}$ に近づくので（確率空間 の命題「確率の連続性」）$G(s)=\lim_{t\uparrow s}G^+(t)\ge u$ である。よって $P(Y\in A)=u$。$s\notin A$ とすると $A=(s,\infty)$ で、$G^+(s)>u$ である。ところが $t\downarrow s$ のとき $G(t)\le u$ かつ $G(t)\to P(Y>s)=G^+(s)$ なので $G^+(s)\le u$ となり矛盾する。よってこの場合は起こらない。
最後の主張：$Y$ の分布関数が連続なら $G=G^+$ なので $\tilde p=G(Y)$ である。$\square$
連続な場合の主張は、$-Y$ の分布関数 $F_-(s)=P(-Y\le s)=G(-s)$ が連続で $G(Y)=F_-(-Y)$ であることから、分位点 の定理「分位点変換と確率積分変換」の 2 としても得られる。乱択化した $p$ 値は、検定の結論に乱数が入るので実務ではあまり使わないが、Neyman–Pearsonの補題 で離散分布の最強力検定を作るときの「境目で確率 $\gamma$ で棄却する」という操作と同じものである。
各 $\theta_0\in\Theta$ について、単純仮説 $\theta=\theta_0$ の妥当な $p$ 値 $p_{\theta_0}$ が与えられ、$(x,\theta_0)\mapsto p_{\theta_0}(x)$ が各 $\theta_0$ について $x$ の可測関数であるとする。$0< \alpha< 1$ について $C(x):=\{\theta_0\in\Theta\mid p_{\theta_0}(x)>\alpha\}$ は信頼係数 $1-\alpha$ の信頼集合である。
$\{x\mid\theta\in C(x)\}=\{x\mid p_\theta(x)>\alpha\}$ は可測で、$P_\theta(\theta\notin C(X))=P_\theta(p_\theta(X)\le\alpha)\le\alpha$ である。$\square$
これは 信頼区間 の定理「信頼集合と検定の双対性」の 1 を $p$ 値で言い換えたもので、信頼集合は「$p$ 値が $\alpha$ を超える母数の値の全体」である。
例
$X=(X_1,\dots,X_n)$ を独立に $N(\mu,\sigma^2)$ に従う標本とし、$\sigma$ は既知とする。$H_0\colon\mu\le\mu_0$ を、$T:=\sqrt n(\bar X-\mu_0)/\sigma$ で検定する。$P_\mu$ のもとで $T\sim N(\delta,1)$、$\delta:=\sqrt n(\mu-\mu_0)/\sigma$ なので $G_\mu(t)=1-\Phi(t-\delta)$ であり、これは $\mu$ について増加する。よって $\Theta_0=\{\mu\le\mu_0\}$ での上限は $\mu=\mu_0$ でとられ、
$$
p_T(x)=1-\Phi\bigl(T(x)\bigr)
$$
である。たとえば $T(x)=2$ なら $p_T(x)=0.0227\ldots$ で、有意水準 $0.05$ では棄却し、$0.01$ では棄却しない。$\mu=\mu_0$ のとき $p_T(X)$ は一様分布に従い（thm-pv-uniform）、$\mu< \mu_0$ のときは $P_\mu(p_T\le u)< u$（$0< u< 1$）である。
仮説検定（高校数学） の例「400 回投げて表が 220 回」を、近似なしで計算する。$X$ は二項分布 $B(400,p)$ に従い、$H_0\colon p=\frac12$、$T:=\lvert X-200\rvert$ とする。観測値 $T=20$ の $p$ 値は
$$
p_T=P_{1/2}(\lvert X-200\rvert\ge20)=P(X\ge220)+P(X\le180)=0.0510\ldots
$$
である。$T$ の分布は離散なので $P(p_T\le u)=u$ は一般に成り立たず、thm-pv-validity の不等式だけが保証される。
硬貨を $10$ 回投げて表が $9$ 回出たとし、$H_0\colon p=\frac12$ を $T=X$（表の回数、大きいほど不利）で検定する。$P(X>9)=\frac1{1024}$、$P(X=9)=\frac{10}{1024}$ なので、ふつうの $p$ 値は $p_T=\frac{11}{1024}=0.0107\ldots$、乱択化した $p$ 値は $\tilde p=\frac{1+10V}{1024}$ で、$\frac1{1024}$ と $\frac{11}{1024}$ の間に一様に散らばる。$\tilde p\le p_T$ がつねに成り立つので、乱択化は棄却を起こりやすくする方向にだけ働き、それでも thm-pv-uniform により $P(\tilde p\le u)=u$ が保たれる。
ex-pv-normal の設定で $0< \alpha< 1$ とし、$z_\alpha:=\Phi^{-1}(1-\alpha)$ とする。すべての $\mu$ について
$$
P_\mu\bigl(p_T(X)\le\alpha\bigr)=1-\Phi(z_\alpha-\delta)
$$
であり、これは $T\ge z_\alpha$ で棄却する検定の検出力である。とくに $\mu>\mu_0$ なら $P_\mu(p_T\le\alpha)>\alpha$ である。
$\Phi$ は狭義増加なので $p_T\le\alpha\iff1-\Phi(T)\le\alpha\iff T\ge z_\alpha$ である。$T\sim N(\delta,1)$ より $P_\mu(T\ge z_\alpha)=1-\Phi(z_\alpha-\delta)$ であり、$\delta>0$ なら $\Phi(z_\alpha-\delta)< \Phi(z_\alpha)=1-\alpha$ である。$\square$
$p$ 値が $\alpha$ 以下になる確率は、帰無仮説のもとでは $\alpha$ 以下、対立仮説のもとでは検出力に等しい。$\alpha=0.05$、$\delta=1$ なら $0.2595\ldots$、$\delta=3$ なら $0.9123\ldots$ である。よい検定とは、帰無仮説のもとで $p$ 値が一様より小さくならず、対立仮説のもとでできるだけ $0$ の近くに集まるものであり、その最適化が Neyman–Pearsonの補題 の主題である。
$p$ 値は「帰無仮説のもとでデータがどれだけ極端か」を測る量であり、「データのもとで帰無仮説が正しい確率」ではない（WL16 の原則 2）。両者の違いは 仮説検定（高校数学） の反例「$p$ 値は帰無仮説が正しい確率ではない」で数値で示されている。また、$p$ 値は効果の大きさを測らない。標本を大きくすれば、どんなに小さな差でも $p$ 値は小さくなる（仮説検定（高校数学） の命題「標本を大きくすると小さな差でも有意になる」）。
反例
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $\theta\in\Theta_0$ | ex-pv-normal で $\delta=1$ | $P(p_T\le0.05)=0.2595\ldots>0.05$（thm-pv-validity の不等式） |
| $T$ の分布が連続 | 硬貨を 1 回投げた表の回数 $T$、$H_0\colon p=\frac12$ | $p_T$ は $\frac12$ と $1$ しかとらず $P(p_T\le0.4)=0\ne0.4$（thm-pv-uniform の一様性） |
| $p$ 値の作り方をデータを見る前に決める | 独立な 2 つの検定の $p$ 値の小さい方 | $P(\min\le u)=2u-u^2>u$（妥当性） |
| 複合仮説で $\sup_{\theta\in\Theta_0}$ をとる | $H_0\colon\mu\le0$ を $\mu=-1$ の裾だけで計算 | $\mu=0$ のもとで $P(p'\le0.05)=0.2595\ldots>0.05$（妥当性） |
2 つの独立なデータで、それぞれ単純仮説について、分布が連続な統計量による $p$ 値 $p^{(1)},p^{(2)}$ を計算する。両方の帰無仮説が正しければ、thm-pv-uniform によりそれぞれ一様分布に従うので、$P(\min(p^{(1)},p^{(2)})>u)=(1-u)^2$、すなわち $P(\min\le u)=2u-u^2$ である。$u=0.05$ で $0.0975$ となり、小さい方を報告すると第 1 種の誤りの確率がほぼ 2 倍になる。妥当にするには prop-pv-bonferroni のように $2\min(p^{(1)},p^{(2)})$ を使う。満たさない条件：$p$ 値を計算する手順をデータを見る前に決めること。破る主張：$P(p\le u)\le u$。
$X\sim N(\mu,1)$（$n=1$）、$H_0\colon\mu\le0$、$T=X$ とする。上限をとらず、$\mu=-1$ の分布だけで $p'(x):=P_{-1}(X\ge x)=1-\Phi(x+1)$ と計算すると、$\mu=0$（$H_0$ に属する）のもとで $P_0(p'(X)\le0.05)=P_0(X\ge0.644\ldots)=0.2595\ldots$ である。正しい $p$ 値は ex-pv-normal の $1-\Phi(x)$ である。満たさない条件：$\Theta_0$ 全体での上限。破る主張：$\Theta_0$ のすべての $\theta$ で $P_\theta(p\le u)\le u$。
関連項目
- 前提: 確率変数, 分位点, 信頼区間
- 高校数学から: 仮説検定（高校数学）, 仮説検定の考え方
- 次に読む: Neyman–Pearsonの補題
- 発展: 多重比較, Neyman–Pearsonの補題
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
