尤度比検定

同義語:likelihood ratio test一般化尤度比検定generalized likelihood ratio test

概要

尤度比検定(likelihood ratio test)とは、帰無仮説の範囲での尤度の上限と母数空間全体での尤度の上限の比 $\Lambda$ が定数以下のときに帰無仮説を棄却する検定である。単純仮説どうしでは Neyman–Pearson 型の最強力検定になり、分散が未知の正規分布の平均の検定では両側 $t$ 検定になる。正則条件のもとで、帰無仮説が正しければ $-2\log\Lambda$ は標本が大きいとき自由度が母数の次元の差のカイ二乗分布で近似できる(Wilks の定理)。この近似は、真の母数が母数空間の境界にあるとき、密度が正となる範囲が母数で変わるとき、母数の個数が標本とともに増えるときには成り立たない。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 統計的仮説検定, Neyman–Pearsonの補題, 最尤推定, カイ二乗分布

帰無仮説が分布を 1 つに決めない複合仮説のとき、Neyman–Pearsonの補題 のような最強力検定はふつう存在しない。それでも検定を組み立てる一般的な原理が 尤度比検定(likelihood ratio test)である。帰無仮説の範囲で最もよくデータを説明する分布と、母数空間全体で最もよくデータを説明する分布を比べ、前者が後者よりはっきり劣るときに帰無仮説を棄却する。
尤度比検定は、正規分布の平均の検定では $t$ 検定を、単純仮説どうしでは Neyman–Pearson の最強力検定を与える。帰無仮説のもとでの検定統計量の分布が具体的に計算できない場合にも、正則条件のもとで標本が大きければ $-2\log\Lambda$ がカイ二乗分布で近似できる(Wilks の定理)ので、棄却の境目を決められる。この近似は、真の母数が母数空間の境界にあるとき、密度の正となる範囲が母数で変わるとき、母数の個数が標本とともに増えるときに成り立たない。

結果内容主な仮定
prop-lrt-simple単純仮説どうしでは Neyman–Pearson 型の検定$0< k< 1$
thm-lrt-t正規分布の平均の尤度比検定は $t$ 検定で、大きさはちょうど $\alpha$独立・正規分布、分散は未知
thm-lrt-wilks$-2\log\Lambda_n$ は $\chi^2_1$ に分布収束1 母数の指数型分布族、単純な帰無仮説
ex-lrt-multinomial多項分布の $G$ 統計量は $\chi^2_{k-1}$ に分布収束確率がすべて正

定義

統計的仮説検定 と同じく、統計モデル $\{P_\theta\}_{\theta\in\Theta}$ の母数空間を、空でない互いに交わらない部分集合 $\Theta_0$、$\Theta_1$ の和に分け、帰無仮説 $H_0\colon\theta\in\Theta_0$ と対立仮説 $H_1\colon\theta\in\Theta_1$ を考える。各 $P_\theta$ は測度 $\mu$ に関する密度 $p_\theta$ をもつとする。検定 $\varphi\colon\mathcal X\to[0,1]$、検出力関数 $\beta_\varphi(\theta)=E_\theta[\varphi]$、大きさ $\sup_{\theta\in\Theta_0}\beta_\varphi(\theta)$ も 統計的仮説検定 の定義「検定・検出力関数・大きさ」と同じである。

尤度比統計量と尤度比検定

観測値 $x$ について、$0< \sup_{\theta\in\Theta}p_\theta(x)< \infty$ のとき
$$ \Lambda(x):=\frac{\sup_{\theta\in\Theta_0}p_\theta(x)}{\sup_{\theta\in\Theta}p_\theta(x)}\in[0,1] $$
を 尤度比統計量(likelihood ratio statistic)という。定数 $k$ について、$\Lambda(x)\le k$ のとき $H_0$ を棄却する検定 $\varphi=\mathbf 1\{\Lambda\le k\}$ を 尤度比検定 という。

$\Theta_0\subset\Theta$ なので $0\le\Lambda\le1$ である。$\Lambda$ が小さいほど、帰無仮説の範囲のどの母数でもデータをうまく説明できないので、$H_0$ に不利な証拠とみる。最尤推定値 $\hat\theta$($\Theta$ 全体)と $\hat\theta_0$($\Theta_0$ の中)が存在すれば、$\Lambda(x)=p_{\hat\theta_0}(x)/p_{\hat\theta}(x)$ である。多くの場合
$$ -2\log\Lambda(x)=2\Bigl(\log p_{\hat\theta}(x)-\log p_{\hat\theta_0}(x)\Bigr)\in[0,\infty] $$
を使い、$-2\log\Lambda\ge c$ で棄却する形に書く。$k$(または $c$)は、検定の大きさが有意水準 $\alpha$ 以下になるように選ぶ。離散分布で大きさをちょうど $\alpha$ にしたいときは、Neyman–Pearsonの補題 と同じく境目 $\Lambda=k$ で確率 $\gamma$ で棄却する乱択を許す。
$\Lambda$ は母数の付け方によらない:全単射 $g$ で母数を $\tau=g(\theta)$ に取り替えても、上限をとる集合が $g$ で写されるだけなので、同じ値になる。複合仮説の尤度を上限の比で定め、それが定数以下の点を棄却域にする形は、NP33 の (11)〜(14)(p. 295)に述べられている。

単純仮説どうしの尤度比検定

$\Theta=\{\theta_0,\theta_1\}$、$\Theta_0=\{\theta_0\}$ とし、$p_i:=p_{\theta_i}$ と書く。$0< k< 1$ なら、$p_0(x)+p_1(x)>0$ となるすべての $x$ で
$$ \Lambda(x)\le k\iff p_1(x)\ge\frac1k\,p_0(x) $$
である。したがって尤度比検定 $\mathbf 1\{\Lambda\le k\}$ は定数 $1/k$ の Neyman–Pearson 型の検定であり、大きさがそれ以下のどの検定よりも検出力が小さくない。

$\Lambda(x)=p_0(x)/\max\{p_0(x),p_1(x)\}$ である。$p_1(x)\le p_0(x)$ なら $\Lambda(x)=1>k$ であり、このとき $p_0(x)>0$ なので $p_1(x)\le p_0(x)< p_0(x)/k$ となって右辺も成り立たない。$p_1(x)>p_0(x)$ なら $\Lambda(x)=p_0(x)/p_1(x)$ で、$\Lambda(x)\le k$ は $p_0(x)\le kp_1(x)$ と同値である。よって同値性が示された。$p_1(x)=p_0(x)/k$ となる点で値 $1$ をとる検定は、Neyman–Pearsonの補題 の定義「Neyman–Pearson 型の検定」の形(定数 $1/k$)であり、最後の主張は同じ記事の定理「Neyman–Pearson の補題」の 2 による。$\square$

$k\ge1$ なら尤度比検定はいつも棄却するので意味がない。単純仮説どうしでは、尤度比検定は Neyman–Pearson の考え方そのものである。尤度比検定はこれを複合仮説へ広げる処方であり、最適性は一般には保証されない。

主定理 1:正規分布の平均と $t$ 検定

正規分布の平均の尤度比検定

$n\ge2$ とし、$X_1,\dots,X_n$ が互いに独立で、どれも正規分布 $N(\mu,\sigma^2)$ に従うとする。母数は $\theta=(\mu,\sigma^2)\in\mathbb R\times(0,\infty)$ で、$\mu_0\in\mathbb R$ を固定し、$H_0\colon\mu=\mu_0$、$H_1\colon\mu\ne\mu_0$ とする($\sigma^2$ はどちらでも未知)。標本平均を $\bar x$、$S^2:=\frac1{n-1}\sum_{i=1}^n(x_i-\bar x)^2$、$T(x):=\sqrt n\,(\bar x-\mu_0)/S$ とおく。

  1. $x_1,\dots,x_n$ がすべて等しくはないとき、Lebesgue 測度に関する密度について
    $$ \Lambda(x)=\Bigl(1+\frac{T(x)^2}{n-1}\Bigr)^{-n/2} $$
    である。とくに $0< k< 1$ の尤度比検定は、$c:=\sqrt{(n-1)(k^{-2/n}-1)}$ について $\lvert T(x)\rvert\ge c$ で棄却する検定と一致する。
  2. $0< \alpha< 1$ とし、$c$ を自由度 $n-1$ の $t$ 分布の上側 $\alpha/2$ 点とする。$\lvert T\rvert>c$ で棄却する検定は、すべての $\sigma>0$ について $P_{(\mu_0,\sigma^2)}(\lvert T\rvert>c)=\alpha$ を満たす。すなわち大きさはちょうど $\alpha$ である。

1。 $Q(m):=\sum_{i=1}^n(x_i-m)^2$ とおくと、密度は $p_{(m,v)}(x)=(2\pi v)^{-n/2}\exp(-Q(m)/(2v))$ である。$x_i$ がすべて等しくはないので、どの $m$ でも $Q(m)>0$ である。
$m$ を固定して $v>0$ について最大化する。$\ell(v):=\log p_{(m,v)}(x)=-\frac n2\log(2\pi v)-\frac{Q(m)}{2v}$ の導関数は $\ell'(v)=\frac{Q(m)-nv}{2v^2}$ で、$v< Q(m)/n$ で正、$v>Q(m)/n$ で負なので、
$$ \sup_{v>0}p_{(m,v)}(x)=\Bigl(\frac{2\pi Q(m)}n\Bigr)^{-n/2}e^{-n/2} $$
であり、これは $Q(m)$ について狭義減少である。$\sum_i(x_i-\bar x)=0$ から $Q(m)=Q(\bar x)+n(\bar x-m)^2$ で、$Q$ は $m=\bar x$ で最小値 $Q(\bar x)=(n-1)S^2$ をとる。分母の上限は $m=\bar x$ での値、分子の上限は $m=\mu_0$ での値なので
$$ \Lambda(x)=\Bigl(\frac{Q(\bar x)}{Q(\mu_0)}\Bigr)^{n/2}=\Bigl(\frac{(n-1)S^2}{(n-1)S^2+n(\bar x-\mu_0)^2}\Bigr)^{n/2}=\Bigl(1+\frac{T(x)^2}{n-1}\Bigr)^{-n/2} $$
である。右辺は $\lvert T(x)\rvert$ について狭義減少なので、$\Lambda(x)\le k$ は $1+T^2/(n-1)\ge k^{-2/n}$、すなわち $\lvert T(x)\rvert\ge c$ と同値である。
2。 $X_1,X_2$ は独立で連続分布に従うので $P(X_1=X_2)=0$ であり、確率 $1$ で 1 の仮定が成り立つ。$\mu=\mu_0$ のとき、t分布 の定理「Student の定理」の 4 により、$T$ は $\sigma$ によらず自由度 $n-1$ の $t$ 分布に従う。$t$ 分布は原点について対称な連続分布なので、$P(\lvert T\rvert>c)=2P(T>c)=\alpha$ である。$\square$

帰無仮説 $\mu=\mu_0$ は $\sigma^2$ を決めない複合仮説だが、尤度比の原理からは、$\sigma$ を知らなくても計算でき、$H_0$ のもとで分布が 1 つに決まる統計量 $T$ が現れる。そのため、どの $\sigma$ に対しても誤りの確率がちょうど $\alpha$ になる。

分散が既知のとき

thm-lrt-t の設定で $\sigma^2$ が既知(母数は $\mu$ だけ)なら、$\Lambda(x)=\exp\bigl(-n(\bar x-\mu_0)^2/(2\sigma^2)\bigr)$ で
$$ -2\log\Lambda=\Bigl(\frac{\sqrt n(\bar X-\mu_0)}\sigma\Bigr)^2 $$
は $H_0$ のもとで標準正規分布に従う量の 2 乗なので、ちょうど自由度 $1$ のカイ二乗分布に従う。尤度比検定は両側の $z$ 検定である。

計算を開く

$\sum_i(x_i-m)^2=\sum_i(x_i-\bar x)^2+n(\bar x-m)^2$ なので、$m$ についての上限は $m=\bar x$ でとられ、比は $\exp(-n(\bar x-\mu_0)^2/(2\sigma^2))$ になる。$Z\sim N(0,1)$ なら $Z^2\sim\chi^2_1$ である(t分布 の系「標準正規分布の 2 乗和」で $k=1$ としたもの)。

片側の帰無仮説

$\sigma^2$ が既知の正規分布で、$H_0\colon\mu\le\mu_0$、$H_1\colon\mu>\mu_0$ とする。$\mu$ の上限は全体では $\mu=\bar x$、$\Theta_0=(-\infty,\mu_0]$ の中では $\mu=\min\{\bar x,\mu_0\}$ でとられるので、
$$ \Lambda(x)=\begin{cases}1&(\bar x\le\mu_0)\\ \exp\bigl(-n(\bar x-\mu_0)^2/(2\sigma^2)\bigr)&(\bar x>\mu_0)\end{cases} $$
である。$0< k< 1$ なら尤度比検定は $\bar x\ge\mu_0+\sigma\sqrt{-2\log k/n}$ で棄却する片側検定である。$P_\mu(\bar X\ge c)$ は $\mu$ について増加なので大きさは $\mu=\mu_0$ での値で決まり、$c=\mu_0+z_\alpha\sigma/\sqrt n$($z_\alpha:=\Phi^{-1}(1-\alpha)$)とすれば大きさ $\alpha$ である。これは Neyman–Pearsonの補題 の例「正規分布の平均の片側検定」の一様最強力検定と同じ検定である。

正規分布の分散の検定

thm-lrt-t と同じ標本で、$\mu$ を未知とし、$H_0\colon\sigma^2=\sigma_0^2$、$H_1\colon\sigma^2\ne\sigma_0^2$ とする。$\hat\sigma^2:=\frac1n\sum_i(x_i-\bar x)^2$、$u:=\hat\sigma^2/\sigma_0^2$ とおくと
$$ -2\log\Lambda=n\,(u-1-\log u) $$
である。$u-1-\log u$ は $u=1$ で最小値 $0$ をとり、$0< u< 1$ で狭義減少、$u>1$ で狭義増加なので、尤度比検定は $u\le a$ または $u\ge b$ で棄却する。ここで $a< 1< b$ は $a-\log a=b-\log b$ を満たす。$H_0$ のもとで $nu=\sum_i(X_i-\bar X)^2/\sigma_0^2$ は自由度 $n-1$ のカイ二乗分布に従う(t分布 の定理「Student の定理」の 2)ので、大きさ $\alpha$ の $a,b$ はこの分布から決まる。左右の裾の確率が等しくなるとは限らず、両側を $\alpha/2$ ずつにする検定とは一般に異なる。

計算を開く

全体での上限は $m=\bar x$、$v=\hat\sigma^2$ でとられ $(2\pi\hat\sigma^2)^{-n/2}e^{-n/2}$ である(thm-lrt-t の証明の 1 と同じ計算)。$\Theta_0$ の中では $v=\sigma_0^2$ に固定して $m=\bar x$ でとられ、$(2\pi\sigma_0^2)^{-n/2}\exp(-n\hat\sigma^2/(2\sigma_0^2))$ である。比は $\Lambda=(u\,e^{1-u})^{n/2}$ で、$-2\log\Lambda=-n(\log u+1-u)$ である。

主定理 2:Wilks の定理(1 母数の指数型分布族)

$H_0$ のもとでの $\Lambda$ の分布が計算できないときも、正則条件のもとで標本が大きければ $-2\log\Lambda$ の分布はカイ二乗分布で近似できる。ここでは、最尤推定 の主定理 2 と同じ 1 母数の指数型分布族で、これを証明する。
$\mathcal N\subset\mathbb R$ を開区間とし、$f(x;\eta)=h(x)\exp(\eta T(x)-A(\eta))$($\eta\in\mathcal N$)を、最尤推定 の定義「1 母数の指数型分布族と Fisher 情報量」の 1 の族とする($h>0$、$T(X)$ は定数でない)。$\eta_0\in\mathcal N$ とし、$X_1,X_2,\dots$ を独立にどれも $P_{\eta_0}$ に従う確率変数とする。$\bar T_n:=\frac1n\sum_{i=1}^nT(X_i)$、$\mathcal M:=A'(\mathcal N)$ とおき、単純な帰無仮説 $H_0\colon\eta=\eta_0$ を、$\Theta=\mathcal N$ の中で検定する。$n$ 個の観測の尤度比統計量を $\Lambda_n$ と書く。

Wilks の定理(1 母数の指数型分布族)

事象 $E_n:=\{\bar T_n\in\mathcal M\}$ の上で、最尤推定量 $\hat\eta_n=(A')^{-1}(\bar T_n)$ が存在して
$$ -2\log\Lambda_n=2n\Bigl((\hat\eta_n-\eta_0)\bar T_n-A(\hat\eta_n)+A(\eta_0)\Bigr) $$
であり、$P(E_n)\to1$ である。$E_n$ の外での $-2\log\Lambda_n$ の値を任意に(可測に)定めると、すべての $x\in\mathbb R$ で
$$ \lim_{n\to\infty}P_{\eta_0}\bigl(-2\log\Lambda_n\le x\bigr)=P(V\le x)\qquad(V\sim\chi^2_1) $$
である。とくに、$c_\alpha$ を $\chi^2_1$ の上側 $\alpha$ 点として $-2\log\Lambda_n>c_\alpha$ で棄却する検定の大きさは、$n\to\infty$ で $\alpha$ に近づく。

段 1(統計量の形)。 最尤推定 の定理「指数型分布族の最尤推定量」の 1 により、$E_n$ の上で対数尤度 $\ell_n(\eta)=\sum_i\log h(X_i)+n(\eta\bar T_n-A(\eta))$ は $\hat\eta_n$ でだけ最大になるので、$-2\log\Lambda_n=2(\ell_n(\hat\eta_n)-\ell_n(\eta_0))$ は上の式になる。同じ定理の 2 により、確率 $1$ で十分大きい $n$ について $\bar T_n\in\mathcal M$ かつ $\hat\eta_n\to\eta_0$ なので、$P(E_n)\to1$ である。
段 2(Taylor の定理)。 $A$ は $\mathcal N$ 上で 2 回微分可能である(最尤推定 の補題「キュムラント母関数の微分」)。$E_n$ の上で $\hat\eta_n\ne\eta_0$ なら、Lagrange の剰余項の Taylorの定理 により $\eta_0$ と $\hat\eta_n$ の間の $\xi_n$ があって
$$ A(\eta_0)=A(\hat\eta_n)+A'(\hat\eta_n)(\eta_0-\hat\eta_n)+\tfrac12A''(\xi_n)(\eta_0-\hat\eta_n)^2 $$
である。$A'(\hat\eta_n)=\bar T_n$ を代入すると $-2\log\Lambda_n=nA''(\xi_n)(\hat\eta_n-\eta_0)^2$ となる。そこで $E_n$ の上で
$$ R_n:=\frac{-2\log\Lambda_n}{nA''(\eta_0)(\hat\eta_n-\eta_0)^2}\quad(\hat\eta_n\ne\eta_0),\qquad R_n:=1\quad(\hat\eta_n=\eta_0) $$
とおき、$E_n$ の外では $R_n:=1$ とする。$R_n$ は $\hat\eta_n$ の可測関数で、$E_n$ の上では $R_n=A''(\xi_n)/A''(\eta_0)$($\hat\eta_n=\eta_0$ なら $\xi_n:=\eta_0$)である。
段 3($R_n\to1$)。 $A''$ は $\eta_0$ で連続である(下の折りたたみ)。段 1 から確率 $1$ で $\hat\eta_n\to\eta_0$、したがって $\xi_n\to\eta_0$ なので、確率 $1$ で $R_n\to1$ であり、とくに $R_n$ は $1$ に確率収束する(確率変数の収束 の定理「4 種類の収束の含意」の 1)。

$A''$ の連続性を開く

$[\eta_0-2\delta,\eta_0+2\delta]\subset\mathcal N$ となる $\delta>0$ をとり、$j=0,1,2$ について $C_j:=\sup_{t\in\mathbb R}\lvert t\rvert^je^{-\delta\lvert t\rvert}< \infty$ とおく。$\lvert\eta-\eta_0\rvert\le\delta$ なら $\lvert t\rvert^je^{\eta t}\le\lvert t\rvert^je^{-\delta\lvert t\rvert}e^{\eta_0t}e^{2\delta\lvert t\rvert}\le C_j\bigl(e^{(\eta_0+2\delta)t}+e^{(\eta_0-2\delta)t}\bigr)$ であり、右辺に $h$ を掛けて $t=T(x)$ としたものは $\mu$ について可積分である。優収束定理 により $m_j(\eta):=\int hT^je^{\eta T}\,d\mu$ は $\eta_0$ で連続である。$E_\eta[T^j]=m_j(\eta)/m_0(\eta)$ なので、$A''(\eta)=V_\eta[T]=m_2/m_0-(m_1/m_0)^2$ も $\eta_0$ で連続である。


段 4(分布収束)。 $I:=I(\eta_0)=A''(\eta_0)>0$ とし、$Z_n:=\sqrt{nI}\,(\hat\eta_n-\eta_0)$ とおく($E_n$ の外の $\hat\eta_n$ は任意の可測な値)。最尤推定 の定理「指数型分布族の最尤推定量」の 3 により、すべての $z$ で $P(Z_n\le z)=P(\sqrt n(\hat\eta_n-\eta_0)\le z/\sqrt I)\to\Phi(z)$ なので、$Z_n$ は標準正規分布 $Z\sim N(0,1)$ に分布収束する。確率変数の収束 の定理「連続写像による収束の保存」の 3 により $Z_n^2\Rightarrow Z^2$ で、$Z^2\sim\chi^2_1$ である。$W_n:=R_nZ_n^2$ とおくと、同じ記事の定理「Slutskyの定理」により $W_n\Rightarrow\chi^2_1$ である。$E_n$ の上では $-2\log\Lambda_n=W_n$ なので、$\varepsilon>0$ について $P(\lvert-2\log\Lambda_n-W_n\rvert\ge\varepsilon)\le P(E_n^c)\to0$ であり、もう一度 Slutsky の定理を使うと $-2\log\Lambda_n\Rightarrow\chi^2_1$ である。$\chi^2_1$ の分布関数は連続なので、すべての $x$ で極限の式が成り立つ。
最後の主張は $P(-2\log\Lambda_n>c_\alpha)=1-P(-2\log\Lambda_n\le c_\alpha)\to1-P(V\le c_\alpha)=\alpha$ による。$\square$

証明の要点は、対数尤度を最大点のまわりで 2 次まで展開すると $-2\log\Lambda_n\approx I(\eta_0)\,n(\hat\eta_n-\eta_0)^2$ となり、右辺が漸近正規な量の 2 乗であることである。自由度 $1$ は、帰無仮説が 1 次元の母数空間の 1 点を指定し、自由に動く母数が $1$ 個減ることに当たる。

硬貨の検定

硬貨を独立に $n$ 回投げ、表が $K$ 回出たとし、$H_0\colon p=p_0$ を検定する。$\hat p:=K/n\in(0,1)$ のとき(Bernoulli分布 は自然母数 $\eta=\log\frac p{1-p}$ の指数型分布族で、$\Lambda$ は母数の付け方によらない)
$$ -2\log\Lambda=2\Bigl(K\log\frac{\hat p}{p_0}+(n-K)\log\frac{1-\hat p}{1-p_0}\Bigr) $$
である。$n=100$、$K=60$、$p_0=\frac12$ なら $-2\log\Lambda=2(60\log1.2+40\log0.8)=4.027\ldots$ で、$\chi^2_1$ の上側 $0.05$ 点 $3.841\ldots$ を超えるので、thm-lrt-wilks の近似で大きさを $0.05$ に合わせた検定は棄却する。一方、二項分布で正確に計算すると $P_{1/2}(\lvert K-50\rvert\ge10)=0.0568\ldots$ で $0.05$ を超える。近似にもとづく境目は、有限の $n$ では大きさをちょうど $\alpha$ にするとは限らない。

一般の Wilks の定理

母数が $d$ 次元で、密度の正となる範囲が母数によらず、対数尤度が十分滑らかで Fisher 情報行列が正則であるなどの正則条件のもとで、単純な帰無仮説 $\theta=\theta_0$($\theta_0$ は母数空間の内点)について $2(\ell_n(\hat\theta_n)-\ell_n(\theta_0))$ は $\chi^2_d$ に分布収束する(ESL17 §8.2.2 の (8.19)、p. 266)。帰無仮説が母数の一部 $d-d_0$ 個だけを指定する複合仮説のときは、同様の条件のもとで $-2\log\Lambda_n$ が $\chi^2_{d-d_0}$ に分布収束する(ER10 §8.2.5、p. 456)。この記事では一般の場合を証明しない。下の 2 つの例は、この記事の中で確かめられる場合である。

$t$ 検定の尤度比の極限

thm-lrt-t の設定($d=2$、$d_0=1$)で、$H_0$ のもとで $-2\log\Lambda_n=n\log\bigl(1+T^2/(n-1)\bigr)$ は $\chi^2_1$ に分布収束する。

証明を開く

$H_0$ のもとで $T=T_n$ は自由度 $n-1$ の $t$ 分布に従い、t分布 の定理「正規分布への収束」により $T_n\Rightarrow Z\sim N(0,1)$、したがって $T_n^2\Rightarrow\chi^2_1$ である。$\varepsilon>0$ と $M>0$ について、$n$ が大きく $\varepsilon(n-1)>M$ なら $P(T_n^2/(n-1)>\varepsilon)\le P(T_n^2>M)\to P(Z^2>M)$ で、$M$ はいくらでも大きくとれるので、$U_n:=T_n^2/(n-1)$ は $0$ に確率収束する。$\phi(u):=\log(1+\lvert u\rvert)/\lvert u\rvert$($u\ne0$)、$\phi(0):=1$ は $\mathbb R$ 上で連続なので、$\phi(U_n)$ は $1$ に確率収束する(確率変数の収束 の定理「連続写像による収束の保存」の 2)。$-2\log\Lambda_n=\frac n{n-1}\phi(U_n)\,T_n^2$ なので、Slutsky の定理により $\chi^2_1$ に分布収束する。$\square$

多項分布の $G$ 統計量

$k\ge2$、$p_1,\dots,p_k>0$、$p_1+\dots+p_k=1$ とし、結果が $1,\dots,k$ のどれかで $i$ が出る確率が $p_i$ である試行を独立に $n$ 回行い、$i$ が出た回数を $N_i$ とする。確率の組全体(多項分布 の $\Delta_k$)を母数空間とし、$H_0\colon(p_1,\dots,p_k)$ が上の値、とする。多項分布 の定理「尤度を最大にするのは相対度数」により全体の最尤推定値は $(N_1/n,\dots,N_k/n)$ なので、
$$ G_n:=-2\log\Lambda=2\sum_{i\colon N_i>0}N_i\log\frac{N_i}{np_i} $$
である。$G_n$ は、カイ二乗分布 の定理「Pearson の定理」の Pearson のカイ二乗統計量 $X_n^2=\sum_i(N_i-np_i)^2/(np_i)$ との差が $0$ に確率収束し、したがって $\chi^2_{k-1}$ に分布収束する($d=k-1$)。

証明を開く

$\delta_i:=(N_i-np_i)/(np_i)$ とおくと、大数の強法則 により確率 $1$ で $\delta_i\to0$ である。$r(\delta):=(1+\delta)\log(1+\delta)-\delta-\delta^2/2$ は $r(0)=r'(0)=0$、$r''(\delta)=-\delta/(1+\delta)$ を満たすので、$\lvert\delta\rvert\le\frac12$ では $\lvert r''(\delta)\rvert\le2\lvert\delta\rvert$、$\lvert r(\delta)\rvert\le\lvert\delta\rvert^3/3$ である。事象 $B_n:=\{\max_i\lvert\delta_i\rvert\le\frac12\}$ の上ではすべての $N_i>0$ で、$N_i=np_i(1+\delta_i)$、$\sum_inp_i\delta_i=\sum_i(N_i-np_i)=0$ から $G_n=2\sum_inp_i\bigl(\delta_i+\frac{\delta_i^2}2+r(\delta_i)\bigr)=X_n^2+2\sum_inp_ir(\delta_i)$ となり、$\bigl\lvert G_n-X_n^2\bigr\rvert\le\frac23\sum_inp_i\delta_i^2\lvert\delta_i\rvert\le\frac23X_n^2\max_i\lvert\delta_i\rvert$ である。$X_n^2$ は Pearson の定理により分布収束するので、どの $\varepsilon>0$ にも $M$ があって十分大きいすべての $n$ で $P(X_n^2>M)< \varepsilon$ となり、$\max_i\lvert\delta_i\rvert\to0$ と合わせて右辺は $0$ に確率収束する。$P(B_n^c)\to0$ なので $G_n-X_n^2$ は $0$ に確率収束し、Slutsky の定理により $G_n\Rightarrow\chi^2_{k-1}$ である。$\square$

反例:カイ二乗近似が成り立たないとき

次の表の各行は、Wilks の定理の仮定を 1 つだけ外した例である。どの例でも、帰無仮説のもとでの $-2\log\Lambda_n$ は、rem-lrt-wilks-general の自由度の $\chi^2$ に分布収束しない。

外す条件反例成り立たなくなること
真の母数が母数空間の内点にあるex-lrt-boundary:$N(\mu,1)$、$\Theta=[0,\infty)$、$H_0\colon\mu=0$$-2\log\Lambda_n$ は確率 $\frac12$ で $0$ になり、$\chi^2_1$ に従わない
密度が正となる範囲が母数によらないex-lrt-uniform:$U(0,\theta)$、$H_0\colon\theta=\theta_0$$-2\log\Lambda_n$ はどの $n$ でも $\chi^2_2$ に従う
母数の個数が $n$ によらないex-lrt-neyman-scott:組ごとに平均の違う正規分布$-2\log\Lambda_n\to\infty$(確率 $1$)で、大きさが $1$ に近づく
反例:母数空間の境界

$X_1,\dots,X_n$ を独立に $N(\mu,1)$ に従う標本とし、母数空間を $\Theta=[0,\infty)$、$H_0\colon\mu=0$、$H_1\colon\mu>0$ とする。全体の上限は $\mu=\max\{\bar x,0\}$ でとられるので
$$ -2\log\Lambda_n=n\bar X^2\,\mathbf 1\{\bar X>0\}=\bigl(\max\{Z,0\}\bigr)^2,\qquad Z:=\sqrt n\,\bar X $$
であり、$H_0$ のもとで $Z\sim N(0,1)$ がどの $n$ でも成り立つ。したがって $P(-2\log\Lambda_n=0)=P(Z\le0)=\frac12$、$x>0$ では $P(-2\log\Lambda_n\le x)=\frac12+\frac12P(Z^2\le x)$ である。$\chi^2_1$ の上側 $0.05$ 点 $3.841\ldots$ を境目に使うと、大きさは $P(Z>1.959\ldots)=0.025$ になる。満たさない条件:$\mu_0=0$ が $\Theta$ の内点であること(ほかの条件、すなわち正規分布の族の滑らかさと母数の個数は変えていない)。

反例:一様分布の右端

$X_1,\dots,X_n$ を独立に 一様分布 $U(0,\theta)$($\theta>0$)に従う標本とし、$H_0\colon\theta=\theta_0$ とする。$M:=\max_iX_i$ とおくと尤度は $\theta^{-n}\mathbf 1\{\theta\ge M\}$ で、全体の上限は $\theta=M$ でとられるので、$H_0$ のもとで(確率 $1$ で $M\le\theta_0$)
$$ -2\log\Lambda_n=-2n\log\frac M{\theta_0}=-2\log U,\qquad U:=\Bigl(\frac M{\theta_0}\Bigr)^n $$
である。$0\le u\le1$ で $P(U\le u)=P(M\le\theta_0u^{1/n})=u$ なので $U$ は $[0,1]$ の一様分布に従い、$x\ge0$ で $P(-2\log U>x)=P(U< e^{-x/2})=e^{-x/2}$ となる。これは自由度 $2$ のカイ二乗分布である(カイ二乗分布 の例「自由度 2 は指数分布」)。母数は 1 次元なので Wilks の定理なら $\chi^2_1$ のはずだが、$\chi^2_1$ の上側 $0.05$ 点を境目にすると、大きさは $e^{-3.841\ldots/2}=0.146\ldots$ になる。満たさない条件:密度の正となる範囲 $[0,\theta]$ が $\theta$ によらないこと(範囲の内側では $\log f=-\log\theta$ は $\theta$ について滑らかで、母数の個数も $1$ のまま)。

反例:母数が標本とともに増える

$X_{i1},X_{i2}$($i=1,\dots,n$)を独立に $N(\mu_i,v)$ に従う確率変数とし、母数を $(\mu_1,\dots,\mu_n,v)$(個数 $n+1$)、$H_0\colon v=v_0$ とする。$S':=\frac12\sum_{i=1}^n(X_{i1}-X_{i2})^2$、$u:=S'/(2nv_0)$ とおくと
$$ -2\log\Lambda_n=2n\,(u-1-\log u) $$
である。$H_0$ のもとで $X_{i1}-X_{i2}$ は独立に $N(0,2v_0)$ に従うので、大数の強法則 により確率 $1$ で $u\to\frac12$ であり、$u-1-\log u\to\log2-\frac12=0.193\ldots>0$ だから $-2\log\Lambda_n\to\infty$ である。したがってどの境目 $c$ でも $P(-2\log\Lambda_n>c)\to1$ となる。帰無仮説が指定する母数は $1$ 個なので Wilks の定理なら $\chi^2_1$ のはずである。満たさない条件:母数の個数が $n$ によらないこと(最尤推定 の例「反例:母数が標本とともに増える(Neyman–Scott の例)」で、分散の最尤推定量が $v/2$ に収束するのと同じ現象)。

計算を開く

$v$ を固定すると、各 $\mu_i$ の最大点は $\frac12(X_{i1}+X_{i2})$ で、対数尤度の上限は $-n\log(2\pi v)-S'/(2v)$ である(最尤推定 の同じ例の計算)。これを $v$ について最大にすると $\hat v=S'/(2n)$ で、値は $-n\log(2\pi\hat v)-n$ である。差をとると $-2\log\Lambda_n=2\bigl(-n\log\hat v-n+n\log v_0+S'/(2v_0)\bigr)=2n(-\log u-1+u)$ である($S'/(2v_0)=nu$)。

関連項目

参考文献

[1]
Jerzy Neyman, Egon S. Pearson, On the Problem of the Most Efficient Tests of Statistical Hypotheses, Philosophical Transactions of the Royal Society of London, Series A, 1933, §II、式 (11)〜(14)(p. 295:単純・複合仮説の尤度と、尤度が定数以下の棄却域)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する