Neyman–Pearsonの補題
概要
Neyman–Pearsonの補題（Neyman–Pearson lemma）とは、帰無仮説と対立仮説がどちらも分布を 1 つに決める検定問題で、第 1 種の誤りの確率を $\alpha$ 以下に抑えた検定のうち検出力が最大のもの（最強力検定）を与える定理である。密度を $p_0,p_1$ とすると、尤度比 $p_1/p_0$ が定数 $k$ より大きい点で棄却し、小さい点で棄却しない検定が最強力であり、境目で確率 $\gamma$ で棄却することを許せば、どの $0<\alpha<1$ についても大きさがちょうど $\alpha$ のものが存在する。逆にどの最強力検定も、尤度比が $k$ に等しくない点ではこの検定とほとんどいたるところ一致する。帰結として、正規分布の平均の検定では片側の対立仮説に対して一様最強力検定があり、両側の対立仮説に対しては存在しない。
前提知識: 確率空間, Radon–Nikodymの定理, 分位点, p値
仮説検定には 2 種類の誤りがある。帰無仮説が正しいのに棄却する第 1 種の誤りと、対立仮説が正しいのに棄却しない第 2 種の誤りである。両方を同時に小さくすることはできないので、第 1 種の誤りの確率を有意水準 $\alpha$ 以下に抑えたうえで、対立仮説のもとで棄却する確率（検出力）をできるだけ大きくする。これが Neyman と Pearson の考え方であり、Neyman–Pearson の補題 は、帰無仮説と対立仮説がどちらも分布を 1 つに決める場合に、この最適化の答えを完全に与える：最もよい検定は、尤度比 $p_1(x)/p_0(x)$ が大きい $x$ から順に棄却する検定である（NP33）。
この記事では、検定を「棄却する確率」を値にとる関数として定式化し、補題を 3 つの部分（最適な検定の存在、その十分性、ほかの最適な検定がそれと本質的に一致すること）に分けて証明する。系として、正規分布の平均 $\theta$ について、帰無仮説 $\theta=\theta_0$ の片側検定が片側の対立仮説 $\theta>\theta_0$ のすべてに対して同時に最適であること、両側の対立仮説に対してはそのような検定が存在しないことを示す。
設定
観測データ $X$ は可測空間 $(\mathcal X,\mathcal A)$ に値をとる。$P_0,P_1$ を $(\mathcal X,\mathcal A)$ 上の確率測度とし、
$$
H_0\colon X\sim P_0\qquad\text{対}\qquad H_1\colon X\sim P_1
$$
を検定する（どちらも分布を 1 つに決めるので 単純仮説 という）。$\mu:=P_0+P_1$ とおくと $P_0,P_1$ は $\mu$ に関して絶対連続なので、Radon–Nikodymの定理 により密度 $p_i:=dP_i/d\mu\ge0$ がある。離散分布なら $\mu$ を数え上げの測度、連続分布なら Lebesgue 測度にとり、$p_i$ を確率関数・確率密度関数としてもよい。以下の主張は $\mu$ と $p_i$ の選び方によらない。
可測関数 $\varphi\colon\mathcal X\to[0,1]$ を 検定 という。$X=x$ を観測したとき、確率 $\varphi(x)$ で $H_0$ を棄却すると読む。$\varphi$ が値 $0,1$ しかとらないとき、すなわち $\varphi=\mathbf 1_R$（$R\in\mathcal A$）のとき 非乱択検定 といい、$R$ を棄却域という。$E_i[\varphi]:=\int\varphi\,p_i\,d\mu$ とおき、$E_0[\varphi]$ を $\varphi$ の 大きさ（第 1 種の誤りの確率）、$E_1[\varphi]$ を 検出力 という。$0\le\alpha\le1$ について、$E_0[\varphi]\le\alpha$ を満たす検定を 水準 $\alpha$ の検定 という。水準 $\alpha$ の検定 $\varphi$ で、水準 $\alpha$ のすべての検定 $\varphi'$ に対して $E_1[\varphi]\ge E_1[\varphi']$ となるものを、水準 $\alpha$ の 最強力検定（most powerful test）という。
非乱択検定だけでは足りない理由は、離散分布では大きさをちょうど $\alpha$ にできないことが多いからである（反例の表の 1 行目）。乱数を使って「境目では確率 $\gamma$ で棄却する」ことを許すと、どの $\alpha$ にも大きさを合わせられる。
定数 $k\ge0$ について、検定 $\varphi$ が
$$
\varphi(x)=\begin{cases}1&(p_1(x)>k\,p_0(x))\\ 0&(p_1(x)< k\,p_0(x))\end{cases}
$$
を満たすとき（$p_1(x)=k\,p_0(x)$ となる $x$ での値は $[0,1]$ のどれでもよい）、$\varphi$ を定数 $k$ の Neyman–Pearson 型の検定（尤度比検定）という。
$p_0(x)>0$ となる $x$ では、条件は尤度比 $L(x):=p_1(x)/p_0(x)$ が $k$ より大きいか小さいかである。$p_0(x)=0< p_1(x)$ となる $x$（帰無仮説のもとでは起こらないが対立仮説のもとでは起こる観測値）では $\varphi(x)=1$ である。
主定理
$0< \alpha< 1$ とする。
- 存在：定数 $k\ge0$ と $\gamma\in[0,1]$ があって、
$$ \varphi_{k,\gamma}(x):=\begin{cases}1&(p_1(x)>k\,p_0(x))\\ \gamma&(p_1(x)=k\,p_0(x))\\ 0&(p_1(x)< k\,p_0(x))\end{cases} $$
は $E_0[\varphi_{k,\gamma}]=\alpha$ を満たす。 - 十分性：$\varphi$ が定数 $k$ の Neyman–Pearson 型の検定なら、$E_0[\varphi']\le E_0[\varphi]$ を満たすすべての検定 $\varphi'$ について $E_1[\varphi']\le E_1[\varphi]$ である。とくに $E_0[\varphi]=\alpha$ なら、$\varphi$ は水準 $\alpha$ の最強力検定である。
- 必要性：$\varphi^*$ が水準 $\alpha$ の最強力検定で、$\varphi:=\varphi_{k,\gamma}$ が 1 の形の検定で $E_0[\varphi]=\alpha$ を満たすなら、$\{x\mid p_1(x)\ne k\,p_0(x)\}$ の上で $\mu$-ほとんどいたるところ $\varphi^*=\varphi$ である。さらに $E_0[\varphi^*]=\alpha$ または $E_1[\varphi^*]=1$ が成り立つ。
1。 集合 $N:=\{p_0=0\}$ は $P_0(N)=\int_Np_0\,d\mu=0$ を満たす。$N$ の外で $L:=p_1/p_0$ とおき、$N$ の上では $L:=0$ とすると、$L$ は $P_0$ のもとでの確率変数である。その分布関数を $F(t):=P_0(L\le t)$、分位点関数を $Q$ とし（分位点 の定義「分位点関数」）、$k:=Q(1-\alpha)$ とおく。$L\ge0$ より $t< 0$ で $F(t)=0< 1-\alpha$ なので $k\ge0$ である。分位点 の定理「分位点関数の切り替え規則」の 2 により $F(k-0)\le1-\alpha\le F(k)$、すなわち
$$
P_0(L>k)\le\alpha\le P_0(L\ge k)
$$
である。$P_0(L=k)>0$ なら $\gamma:=\dfrac{\alpha-P_0(L>k)}{P_0(L=k)}\in[0,1]$、$P_0(L=k)=0$ なら $\gamma:=0$ とおく。$N$ の外では $p_1>kp_0\iff L>k$、$p_1=kp_0\iff L=k$ であり、$P_0(N)=0$ なので
$$
E_0[\varphi_{k,\gamma}]=P_0(L>k)+\gamma\,P_0(L=k)=\alpha
$$
である。
2。 すべての $x$ で
$$
\bigl(\varphi(x)-\varphi'(x)\bigr)\bigl(p_1(x)-k\,p_0(x)\bigr)\ge0
$$
が成り立つ。実際、$p_1(x)>kp_0(x)$ なら $\varphi(x)=1\ge\varphi'(x)$、$p_1(x)< kp_0(x)$ なら $\varphi(x)=0\le\varphi'(x)$、$p_1(x)=kp_0(x)$ なら第 2 因子が $0$ である。$\varphi,\varphi'$ は有界で $p_0,p_1$ は $\mu$-可積分なので、両辺を $\mu$ で積分して
$$
E_1[\varphi]-E_1[\varphi']\ge k\bigl(E_0[\varphi]-E_0[\varphi']\bigr)\ge0
$$
を得る（$k\ge0$ と仮定 $E_0[\varphi']\le E_0[\varphi]$ による）。
3。 $\varphi$ は水準 $\alpha$ の検定なので、$\varphi^*$ の最強力性から $E_1[\varphi^*]\ge E_1[\varphi]$ である。一方 $E_0[\varphi^*]\le\alpha=E_0[\varphi]$ なので、2 から $E_1[\varphi^*]\le E_1[\varphi]$ である。よって $E_1[\varphi^*]=E_1[\varphi]$ であり、
$$
\int(\varphi-\varphi^*)(p_1-k\,p_0)\,d\mu=-k\bigl(E_0[\varphi]-E_0[\varphi^*]\bigr)=-k\bigl(\alpha-E_0[\varphi^*]\bigr)\le0
$$
である。2 の証明のとおり被積分関数は $0$ 以上なので、積分は $0$ であり、被積分関数は $\mu$-ほとんどいたるところ $0$ である。$p_1\ne kp_0$ となる点では第 2 因子が $0$ でないので、そこでは $\mu$-ほとんどいたるところ $\varphi^*=\varphi$ である。また $k(\alpha-E_0[\varphi^*])=0$ である。$k>0$ なら $E_0[\varphi^*]=\alpha$ である。$k=0$ なら $\varphi$ は $\{p_1>0\}$ の上で $1$ なので $E_1[\varphi]=P_1(p_1>0)=1$ であり、$E_1[\varphi^*]=E_1[\varphi]=1$ である。$\square$
2 の証明の不等式 $(\varphi-\varphi')(p_1-kp_0)\ge0$ が補題の核心である。「棄却する確率 $1$ 単位あたり、対立仮説のもとで得る確率が $p_1$、帰無仮説のもとで払う確率が $p_0$」と見ると、同じ予算 $\alpha$ で得を最大にするには、比 $p_1/p_0$ の大きい点から順に予算を使えばよい。これは分数ナップサック問題の貪欲法と同じ考え方である。
NP33 §III(a) は、$p_0,p_1$ が連続な密度である場合に、不等式 $p_0\le kp_1$ で定まる棄却域 $w_0$ が、$P_0(w)=P_0(w_0)$ を満たすほかのどの棄却域 $w$ よりも $P_1$ の値を大きくすることを、2 つの領域の差を比べる方法で示している。これは thm-np-main の 2 の非乱択の場合にあたる（$k$ の役割が逆数になっている）。乱択検定による一般の形と、3 の必要性は、上の証明のように積分の不等式から直接得られる。
$0< \alpha< 1$ とし、$\varphi$ を水準 $\alpha$ の最強力検定とする。$E_1[\varphi]\ge\alpha$ であり、等号が成り立つのは $P_0=P_1$ のときに限る。
定数の検定 $\varphi'\equiv\alpha$ は水準 $\alpha$ の検定なので、$E_1[\varphi]\ge E_1[\varphi']=\alpha$ である。$E_1[\varphi]=\alpha$ とすると $\varphi'$ も最強力検定である。thm-np-main の 1 の検定 $\varphi_{k,\gamma}$ をとると、3 により $\{p_1\ne kp_0\}$ の上で $\mu$-ほとんどいたるところ $\varphi'=\varphi_{k,\gamma}$ である。そこで $\varphi_{k,\gamma}$ は $0$ か $1$ の値しかとらず、$\varphi'=\alpha$ はどちらでもないので、$\mu(\{p_1\ne kp_0\})=0$ である。よって $p_1=kp_0$（$\mu$-ほとんどいたるところ）で、両辺を積分して $k=1$、すなわち $P_0=P_1$ である。逆に $P_0=P_1$ ならすべての検定で $E_1=E_0\le\alpha$ である。$\square$
一様最強力検定
対立仮説が複数の分布からなるとき、そのすべてに対して同時に最強力な検定があれば最もよい。母数 $\theta\in\Theta\subset\mathbb R$ で決まる分布の族 $\{P_\theta\}$ が、共通の測度 $\mu$ に関する密度 $p_\theta$ をもつとする。
$\theta_0\in\Theta$、$\Theta_1\subset\Theta\setminus\{\theta_0\}$、$0< \alpha< 1$ とする。検定 $\varphi$ が $E_{\theta_0}[\varphi]\le\alpha$ を満たし、各 $\theta_1\in\Theta_1$ について、$P_{\theta_0}$ 対 $P_{\theta_1}$ の水準 $\alpha$ の最強力検定であるとき、$\varphi$ を $H_0\colon\theta=\theta_0$ 対 $H_1\colon\theta\in\Theta_1$ の水準 $\alpha$ の 一様最強力検定（uniformly most powerful test）という。
すべての $\theta$ と $x$ で $p_\theta(x)>0$ とし、可測関数 $T\colon\mathcal X\to\mathbb R$ があって、各 $\theta_1>\theta_0$ について狭義増加関数 $h_{\theta_1}\colon\mathbb R\to(0,\infty)$ により $p_{\theta_1}(x)=h_{\theta_1}(T(x))\,p_{\theta_0}(x)$（すべての $x$）と書けるとする。$0< \alpha< 1$ について、$P_{\theta_0}$ のもとでの $T$ の分位点関数を $Q_T$ とし、$c:=Q_T(1-\alpha)$、
$$
\varphi(x):=\begin{cases}1&(T(x)>c)\\ \gamma&(T(x)=c)\\ 0&(T(x)< c)\end{cases}
$$
とおく。ここで $\gamma\in[0,1]$ は $E_{\theta_0}[\varphi]=\alpha$ となるようにとる。このとき $\varphi$ は $H_0\colon\theta=\theta_0$ 対 $H_1\colon\theta>\theta_0$ の水準 $\alpha$ の一様最強力検定である。
$\gamma$ がとれることは thm-np-main の 1 の証明と同じである：分位点 の定理「分位点関数の切り替え規則」により $P_{\theta_0}(T>c)\le\alpha\le P_{\theta_0}(T\ge c)$ なので、$P_{\theta_0}(T=c)>0$ なら $\gamma:=(\alpha-P_{\theta_0}(T>c))/P_{\theta_0}(T=c)$、そうでなければ $\gamma:=0$ とすればよい。$\theta_1>\theta_0$ を固定し、$k:=h_{\theta_1}(c)>0$ とおく。$h_{\theta_1}$ は狭義増加で $p_{\theta_0}(x)>0$ なので、
$$
T(x)>c\iff p_{\theta_1}(x)>k\,p_{\theta_0}(x),\qquad T(x)< c\iff p_{\theta_1}(x)< k\,p_{\theta_0}(x)
$$
である。よって $\varphi$ は $P_{\theta_0}$ 対 $P_{\theta_1}$ の定数 $k$ の Neyman–Pearson 型の検定で、$E_{\theta_0}[\varphi]=\alpha$ なので、thm-np-main の 2 により水準 $\alpha$ の最強力検定である。$c$ と $\gamma$ は $\theta_1$ によらないので、$\varphi$ は一様最強力検定である。$\square$
例
$X=(X_1,\dots,X_n)$ を独立に $N(\theta,\sigma^2)$ に従う標本とし、$\sigma$ は既知とする。$\theta_1>\theta_0$ について
$$
\frac{p_{\theta_1}(x)}{p_{\theta_0}(x)}=\exp\Bigl(\frac{n(\theta_1-\theta_0)}{\sigma^2}\bar x-\frac{n(\theta_1^2-\theta_0^2)}{2\sigma^2}\Bigr)
$$
は $T(x)=\bar x$ の狭義増加関数である。$T$ の分布は連続なので $\gamma$ は不要で、cor-np-mlr により
$$
\bar x>\theta_0+z_\alpha\frac\sigma{\sqrt n}\quad(z_\alpha:=\Phi^{-1}(1-\alpha))
$$
で棄却する検定が、$H_1\colon\theta>\theta_0$ の水準 $\alpha$ の一様最強力検定である。その検出力は $1-\Phi\bigl(z_\alpha-\sqrt n(\theta_1-\theta_0)/\sigma\bigr)$ である（p値 の命題「対立仮説のもとでの $p$ 値の分布」）。これは NP33 の Example (1) の結論であり、$\theta>\theta_0$ を疑うときに右側だけに棄却域を置く片側検定（仮説検定（高校数学） の定義「片側検定」）を選ぶ理由になっている。
硬貨を $10$ 回投げ、表の回数 $X$ で $H_0\colon p=\frac12$ 対 $H_1\colon p=0.6$ を水準 $\alpha=0.05$ で検定する。尤度比は
$$
\frac{\binom{10}x0.6^x0.4^{10-x}}{\binom{10}x0.5^{10}}=0.8^{10}\cdot1.5^x
$$
で $x$ について狭義増加である。$P_{1/2}(X>8)=\frac{11}{1024}=0.0107\ldots\le0.05\le P_{1/2}(X\ge8)=\frac{56}{1024}=0.0546\ldots$ なので $c=8$、
$$
\gamma=\frac{0.05-\frac{11}{1024}}{\frac{45}{1024}}=\frac{67}{75}=0.893\ldots
$$
である。最強力検定は「$X\ge9$ なら棄却、$X=8$ なら確率 $\frac{67}{75}$ で棄却」で、検出力は $P_{0.6}(X\ge9)+\gamma P_{0.6}(X=8)=0.0463\ldots+0.893\ldots\times0.1209\ldots=0.154\ldots$ である。cor-np-mlr により、同じ検定が $p>\frac12$ のすべての対立仮説に対して一様最強力である。非乱択の検定「$X\ge9$ なら棄却」は大きさ $0.0107\ldots$、検出力 $0.0463\ldots$ しかない。
ex-np-coin の最強力検定は、p値 の定理「乱択化した $p$ 値の一様性」の $\tilde p=P(X>x)+V\,P(X=x)$（$T=X$）について「$\tilde p\le0.05$ なら棄却」と同じである。実際、$x\ge9$ なら $\tilde p\le\frac{11}{1024}\le0.05$、$x\le7$ なら $\tilde p\ge\frac{56}{1024}>0.05$、$x=8$ なら $\tilde p=\frac{11+45V}{1024}\le0.05\iff V\le\frac{67}{75}$ である。一般に、尤度比（またはその狭義増加関数 $T$）を検定統計量とする $p$ 値で棄却を決めると、Neyman–Pearson 型の検定が得られる。
反例
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 乱択検定を許す | ex-np-coin で非乱択検定だけを考える | 大きさは $\frac1{1024}$ の整数倍で、$0.05$ にできない（thm-np-main の 1） |
| 対立仮説が片側 | 正規分布の平均の両側検定（ex-np-two-sided） | 一様最強力検定が存在しない |
| 比べる相手の大きさが $\varphi$ の大きさ以下 | 定数の検定 $\varphi'\equiv1$ | 検出力 $1$ で、ex-np-coin の最強力検定の検出力 $0.154\ldots$ より大きい（thm-np-main の 2） |
$X\sim N(\theta,1)$（$n=1$）、$0< \alpha< 1$ とし、$H_0\colon\theta=0$ 対 $H_1\colon\theta\ne0$ を考える。この検定問題には水準 $\alpha$ の一様最強力検定が存在しない。
実際、一様最強力検定 $\varphi$ があったとする。$\theta_1=1$ に対しては、尤度比 $e^{x-1/2}$ が $x$ の狭義増加関数なので、ex-np-normal と同じく $\varphi_+:=\mathbf 1_{\{x>z_\alpha\}}$ が 1 の形の検定で大きさ $\alpha$ をもつ。$\varphi$ は $\theta_1=1$ に対して最強力なので、thm-np-main の 3 により、尤度比がちょうど $k$ になる 1 点を除いて、Lebesgue 測度についてほとんどいたるところ $\varphi=\varphi_+$ である（$\mu=P_0+P_1$ は Lebesgue 測度に関して正の密度をもつので、$\mu$ の零集合と Lebesgue 測度の零集合は同じである）。同じく $\theta_1=-1$ に対しては尤度比 $e^{-x-1/2}$ が狭義減少なので、ほとんどいたるところ $\varphi=\varphi_-:=\mathbf 1_{\{x< -z_\alpha\}}$ である。ところが区間 $(\lvert z_\alpha\rvert,\infty)$ では $\varphi_+=1$、$\varphi_-=0$ であり、この区間は Lebesgue 測度が正なので矛盾する。満たさない条件：対立仮説が片側であること（cor-np-mlr の仮定）。破る主張：一様最強力検定の存在。両側の場合には、不偏性などの条件を加えて検定の範囲を狭めたうえで最良のものを探す。
関連項目
- 前提: 確率空間, Radon–Nikodymの定理, 分位点, p値
- 高校数学から: 仮説検定（高校数学）, 仮説検定の考え方
- 例: 正規分布, 二項分布
- 比較: 信頼区間, 推定量のよさ
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
