Anderson–Darling検定(Anderson–Darling test)とは、経験分布関数 $F_n$ と仮説の分布関数 $F_0$ のずれを各点の標準偏差で割って 2 乗積分した統計量 $A_n^2=n\int(F_n-F_0)^2/(F_0(1-F_0))\,dF_0$ を用いる適合度検定で、分布の裾のずれに敏感である。一般の重み $\psi$ で $\int t(1-t)\psi\,dt< \infty$ なら、統計量は共分散作用素の固有値 $\lambda_k$ による $\sum_k\lambda_kZ_k^2$ に分布収束し、Anderson–Darling の重みでは $\lambda_k=1/(k(k+1))$ である。$F_0$ が連続ならどの対立仮説にも一致性をもち、端の 1 点は $\frac1n\log\frac1{u_{(1)}}$ の大きさで効く。
前提知識: Cramér–von Mises検定, Kolmogorov–Smirnov検定, 中心極限定理, Hilbert–Schmidt作用素
データが仮説の分布に従うかを調べる適合度検定のうち、経験分布関数と仮説の分布関数の差の 2 乗を積分するものでは、どこに重みを置くかで検定の性格が決まる。Anderson–Darling 検定 は、各点のずれをその標準偏差で割ってから 2 乗して積分する。分布の裾では標準偏差が小さいので、裾のずれが大きく数えられる。
計算の公式、正確な平均と分散、極限分布 $\sum_kZ_k^2/(k(k+1))$ を Legendre 多項式の展開から導く方法は Cramér–von Mises検定 にある。この記事では、重み $\psi$ を一般にした統計量の族を考え、
$X_1,\dots,X_n$ を実数値の確率変数、$F_n$ をその経験分布関数とする。
$F_0$ を分布関数、$\psi\colon(0,1)\to[0,\infty)$ を可測関数とする。
$$
W_n^2(\psi):=n\int_{-\infty}^\infty\bigl(F_n(x)-F_0(x)\bigr)^2\,\psi\bigl(F_0(x)\bigr)\,dF_0(x)
$$
を重み $\psi$ の 2 乗積分統計量 という($F_0(x)\in\{0,1\}$ の点では被積分関数を $0$ と読む)。$\psi\equiv1$ のものが Cramér–von Mises 統計量 $W_n^2$、
$$
\psi_{\mathrm{AD}}(t):=\frac1{t(1-t)}
$$
のものが Anderson–Darling 統計量 $A_n^2$ である。帰無仮説「$X_1,\dots,X_n$ は独立で、どれも分布関数 $F_0$ に従う」に対し、$A_n^2$ が臨界値 $c$ を超えるとき棄却する検定を Anderson–Darling 検定 という。
使ってよい条件は次のとおりである。
帰無仮説と (ii) のもとで、各 $t\in(0,1)$ について $\sqrt n(G_n(t)-t)$ は平均 $0$、分散 $t(1-t)$ である。したがって
$$
E\,W_n^2(\psi)=\int_0^1t(1-t)\,\psi(t)\,dt
$$
であり、とくに $E\,A_n^2=1$ である。
$nG_n(t)$ は二項分布 $B(n,t)$ に従うので、平均 $nt$、分散 $nt(1-t)$ である。(1) の被積分関数は非負なので、Fubiniの定理 で期待値と積分を入れ替えてよく、$E\,n(G_n(t)-t)^2=t(1-t)$ から結論を得る。$\square$
$\psi_{\mathrm{AD}}$ は、各 $t$ で $\sqrt n(G_n(t)-t)$ をその標準偏差で割ることにあたり、すべての $t$ が平均して同じ重さ $1$ で数えられる。一様な重み $\psi\equiv1$ では、点 $t$ の寄与の平均は $t(1-t)$ で、端では $0$ に近づく。端で $\psi(t)=t^{-a}$ のように振る舞う重みでは、(iv) は $a< 2$ と同じである。たとえば $\psi(t)=\frac1{t^2(1-t)^2}$ では (iv) の積分が発散し、どの $n$ でも統計量の平均が無限大になる。
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| 一様分布への帰着 | (1) | (ii) | 定義の後の段落 |
| 平均 | $E\,W_n^2(\psi)=\int_0^1t(1-t)\psi\,dt$、$E\,A_n^2=1$ | (i)(ii) と帰無仮説 | prop-ad-standardize |
| 極限分布 | $\sum_k\lambda_kZ_k^2$($\lambda_k$ は共分散作用素の固有値) | (i)(ii)(iv) と帰無仮説 | thm-ad-limit |
| Anderson–Darling の固有値 | $\lambda_k=\frac1{k(k+1)}$ | — | prop-ad-eigen |
| 一致性 | $F\ne F_0$ なら $A_n^2\to\infty$(確率 $1$) | (i)(ii) | thm-ad-consistent |
| 端の 1 点の寄与 | $A_n^2=-\frac1n\log u_{(1)}+O(1)$($u_{(1)}\to0$) | (ii) | prop-ad-tail |
| 母数の推定 | 位置と尺度の族では分布が真の母数によらない | (i) | prop-ad-invariance |
| 計算の公式・正確な分散 | Cramér–von Mises検定 の公式の表 | (ii) | 同じ記事 |
(iv) のもとで次が成り立つ。
要点:核の 2 乗は $(\int t(1-t)\psi)^2$ で抑えられ、$\langle Kf,f\rangle$ は Fubini の定理で $E\langle\eta_1,f\rangle^2$ に等しい。核 $\ker K$ の方向の成分は分散が $0$ なので確率 $1$ で消える。
1。 $s\le t$ なら $\min(s,t)-st=s(1-t)$ で、$s(1-t)\le t(1-s)$ だから $(\min(s,t)-st)^2\le s(1-s)\,t(1-t)$ である。よって$$\int_0^1\!\!\int_0^1\kappa(s,t)^2\,ds\,dt\le\Bigl(\int_0^1t(1-t)\psi(t)\,dt\Bigr)^2< \infty$$で、Hilbert–Schmidt作用素 の定理「積分作用素との一致」により $K$ は Hilbert–Schmidt 作用素である。$\kappa$ は対称なので $K$ は自己共役である。$E\|\eta_1\|^2=\int_0^1\psi(t)t(1-t)\,dt< \infty$ なので、$f\in L^2(0,1)$ について $E\lvert\eta_1(s)\eta_1(t)f(s)f(t)\rvert$ は Fubiniの定理 の仮定を満たし、$$E\langle\eta_1,f\rangle^2=\int_0^1\!\!\int_0^1E[\eta_1(s)\eta_1(t)]f(s)f(t)\,ds\,dt=\langle Kf,f\rangle$$である。
2。 コンパクト作用素 の定理「自己共役コンパクト作用素のスペクトル分解」により $L^2(0,1)=\ker K\oplus\overline{\operatorname{span}}\{e_k\}$ で、1 から $0$ でない固有値は正である。$\ker K$ の正規直交基底 $(f_j)$($L^2(0,1)$ は可分なので高々可算)について $E\langle\eta_1,f_j\rangle^2=\langle Kf_j,f_j\rangle=0$ なので、確率 $1$ ですべての $j$ について $\langle\eta_1,f_j\rangle=0$ である。正規直交基底 $(e_k)\cup(f_j)$ での Parsevalの等式 から $\|\eta_1\|^2=\sum_k\langle\eta_1,e_k\rangle^2$ を得る。期待値をとり、単調収束定理と $E\langle\eta_1,e_k\rangle^2=\langle Ke_k,e_k\rangle=\lambda_k$ を使えば和の式を得る。
3。 各 $t$ で $E\eta_1(t)=0$ なので、Fubini の定理で $E\langle\eta_1,e_k\rangle=0$ である。共分散は 1 の式を分極して $\langle Ke_j,e_k\rangle=\lambda_k\delta_{jk}$ である。$\square$
(i)(ii)(iv) と帰無仮説のもとで、lem-ad-covariance の固有値 $\lambda_k$ と独立な標準正規変数 $Z_1,Z_2,\dots$ について
$$
W_n^2(\psi)\ \Rightarrow\ \sum_{k=1}^\infty\lambda_kZ_k^2\qquad(n\to\infty)
$$
である($\Rightarrow$ は 分布収束)。極限の平均は $\int_0^1t(1-t)\psi(t)\,dt$ である。
1. 展開。 $V_{n,k}:=\lambda_k^{-1/2}\langle\xi_n,e_k\rangle=\frac1{\sqrt n}\sum_{i=1}^n\lambda_k^{-1/2}\langle\eta_i,e_k\rangle$ とおく。lem-ad-covariance の 2 を各 $\eta_i$ に使うと、確率 $1$ で $\langle\xi_n,f_j\rangle=0$($f_j$ は $\ker K$ の基底)なので、Parseval の等式から
$$
W_n^2(\psi)=\sum_{k=1}^\infty\lambda_kV_{n,k}^2
$$
である。lem-ad-covariance の 3 から、ベクトル $\bigl(\lambda_k^{-1/2}\langle\eta_i,e_k\rangle\bigr)_{k\le J}$($i=1,2,\dots$)は独立で同じ分布に従い、平均 $0$、共分散行列は単位行列である。
2. 残りの項。 $R_{n,J}:=\sum_{k>J}\lambda_kV_{n,k}^2\ge0$ は $E\,V_{n,k}^2=1$ から $E\,R_{n,J}=\tau_J:=\sum_{k>J}\lambda_k$ を満たし、lem-ad-covariance の 2 から $\tau_J\to0$($J\to\infty$)である。極限の側も $S:=\sum_k\lambda_kZ_k^2$、$S_J:=\sum_{k\le J}\lambda_kZ_k^2$ とおくと $E(S-S_J)=\tau_J$ である。
3. 有限個の項。 $\mathbb R^J$ の中心極限定理(Dur19 Theorem 3.10.7)により $(V_{n,1},\dots,V_{n,J})\Rightarrow(Z_1,\dots,Z_J)$ である。$y\mapsto e^{is\sum_{k\le J}\lambda_ky_k^2}$ は $\mathbb R^J$ 上の有界連続関数なので、$S_{n,J}:=\sum_{k\le J}\lambda_kV_{n,k}^2$ について $E\,e^{isS_{n,J}}\to E\,e^{isS_J}$(各 $s\in\mathbb R$)である。
4. 合わせる。 $\lvert e^{ia}-e^{ib}\rvert\le\lvert a-b\rvert$ と 2 から、$s\in\mathbb R$ について
$$
\bigl\lvert Ee^{isW_n^2(\psi)}-Ee^{isS}\bigr\rvert\le\lvert s\rvert E\,R_{n,J}+\bigl\lvert Ee^{isS_{n,J}}-Ee^{isS_J}\bigr\rvert+\lvert s\rvert E(S-S_J)
\le2\lvert s\rvert\tau_J+\bigl\lvert Ee^{isS_{n,J}}-Ee^{isS_J}\bigr\rvert
$$
である。$n\to\infty$ のあと $J\to\infty$ とすれば右辺は $0$ に近づくので、Lévyの連続性定理 により $W_n^2(\psi)\Rightarrow S$ である。平均は $\sum_k\lambda_k$ で、lem-ad-covariance の 2 による。$\square$
この証明は、Cramér–von Mises検定 の主定理で余弦関数や Legendre 多項式が果たした役を、共分散作用素 $K$ の固有関数に負わせたものである。固有関数を具体的に知らなくても極限の形が決まり、固有値だけが重みごとに違う。
$\psi=\psi_{\mathrm{AD}}$ のとき、$K$ の固有値は $\frac1{k(k+1)}$($k=1,2,\dots$、どれも重複度 $1$)で、$\ker K=\{0\}$ である。したがって thm-ad-limit から $A_n^2\Rightarrow\sum_kZ_k^2/(k(k+1))$ である。$\psi\equiv1$ のときの固有値は $\frac1{k^2\pi^2}$ である。
要点:$\min(s,t)-st$ は $-\frac{d^2}{ds^2}$ の両端 $0$ の Green 関数なので、固有方程式は 2 階の微分方程式になり、Legendre の微分方程式で解ける。
Green 関数。 $[0,1]$ 上の連続関数 $\phi$ について $H(s):=\int_0^1(\min(s,t)-st)\phi(t)\,dt=(1-s)\int_0^st\phi\,dt+s\int_s^1(1-t)\phi\,dt$ を微分すると $H'(s)=-\int_0^st\phi\,dt+\int_s^1(1-t)\phi\,dt$、$H''=-\phi$ で、$H(0)=H(1)=0$ である。$-H''=\phi$、$H(0)=H(1)=0$ を満たす $C^2$ 級の関数は、差が両端で $0$ の 1 次関数になるので、この $H$ だけである。
Anderson–Darling の重み。 Cramér–von Mises検定 の補題「重みつきの空間の正規直交基底」の $p_k(t)=\sqrt{2k+1}P_k(2t-1)$、$q_k(t)=\int_0^tp_k$、$e_k=\sqrt{k(k+1)}\,q_k/\sqrt{t(1-t)}$ を使う。同じ補題により $t(1-t)p_k'=-k(k+1)q_k$ で、$(e_k)_{k\ge1}$ は $L^2(0,1)$ の正規直交基底である。$\sqrt{\psi_{\mathrm{AD}}}\,e_k=\sqrt{k(k+1)}\,\psi_{\mathrm{AD}}q_k=-p_k'/\sqrt{k(k+1)}$ は $[0,1]$ で連続なので、Green 関数の段で $\phi:=-p_k'/\sqrt{k(k+1)}$ とすると、$q_k''=p_k'$、$q_k(0)=q_k(1)=0$ から $H=q_k/\sqrt{k(k+1)}$ である。よって$$Ke_k=\sqrt{\psi_{\mathrm{AD}}}\,H=\frac{q_k}{\sqrt{k(k+1)}\sqrt{t(1-t)}}=\frac{e_k}{k(k+1)}$$である。$K$ は $(e_k)$ の上で対角なので、固有値は $\frac1{k(k+1)}$ だけで、$\ker K=\{0\}$ である。
一様な重み。 $e_k=\sqrt2\sin(k\pi t)$ は $L^2(0,1)$ の正規直交基底で、$\phi=e_k$ のとき $H=e_k/(k\pi)^2$ なので $Ke_k=e_k/(k\pi)^2$ である。$\square$
$\psi$ が $(0,1)$ で連続なら、同じ計算で固有値の問題は $\lambda h''+\psi h=0$、$h(0)=h(1)=0$ という Sturm–Liouville 型の境界値問題になる($h:=Kf/\sqrt\psi$)。Anderson–Darling の重みの第 1 固有値 $\frac12$ の固有関数は $e_1(t)=\sqrt6\,\sqrt{t(1-t)}$、成分は $V_{n,1}=\frac{\sqrt3}{\sqrt n}\sum_i(1-2u_i)$ で、$u_i$ の平均の $\frac12$ からのずれを測る。極限の平均 $1$ のうち $\frac12$ をこの成分が、$\frac16$ を次の成分($u_i$ のばらつきを測る $P_2$ の方向)が担う。
検定の 一致性 とは、帰無仮説が誤っているとき、標本を大きくすれば棄却の確率が $1$ に近づくことをいう。
$F_0$ を連続な分布関数とし、$X_1,X_2,\dots$ は独立でどれも分布関数 $F$ に従い、$F\ne F_0$ とする。$H$ を $F_0(X_1)$ の分布関数とすると、確率 $1$ で
$$
\liminf_{n\to\infty}\frac{A_n^2}n\ \ge\ \int_0^1\frac{\bigl(H(u)-u\bigr)^2}{u(1-u)}\,du\ >\ 0
$$
である。とくに $A_n^2\to\infty$(確率 $1$)で、どの臨界値 $c$ についても $P(A_n^2>c)\to1$ である。
1. 帰着。 (1) はデータの値によらない式なので、$u_i=F_0(X_i)$ の経験分布関数 $G_n$ について $\frac{A_n^2}n=\int_0^1\frac{(G_n(u)-u)^2}{u(1-u)}du$ である。$u_1,u_2,\dots$ は独立でどれも分布関数 $H$ に従う。
2. 極限。 Glivenko–Cantelliの定理 により、確率 $1$ で $\sup_u\lvert G_n(u)-H(u)\rvert\to0$ である。そのような標本の道の上では被積分関数は各点で $\frac{(H(u)-u)^2}{u(1-u)}$ に収束し、非負なので Fatouの補題 から不等式の左側を得る。
3. $H$ は一様分布の分布関数でない。 $H(u)=u$($0\le u\le1$)と仮定して $F=F_0$ を導く。$x\in\mathbb R$ を固定する。$X_1\le x$ なら $F_0(X_1)\le F_0(x)$ なので $F(x)\le H(F_0(x))=F_0(x)$ である。逆に $F_0(X_1)< F_0(x)$ なら $X_1< x$ なので、$F(x)\ge P(X_1< x)\ge P(F_0(X_1)< F_0(x))=F_0(x)$ である(最後の等号は $H$ が連続であることによる)。よって $F(x)=F_0(x)$ となり、仮定 $F\ne F_0$ に反する。
4. 積分は正。 3 から $H(u_0)\ne u_0$ となる $u_0\in[0,1)$ がある($H(1)=1$ なので $u_0=1$ ではない)。$H$ は右連続なので、ある $\varepsilon>0$ について $[u_0,u_0+\varepsilon)$ の上で $\lvert H(u)-u\rvert>\frac12\lvert H(u_0)-u_0\rvert$ であり、積分は正である。$\square$
Kolmogorov–Smirnov 検定や Cramér–von Mises 検定も一致性をもつ。違いは近づく速さで、極限 $\int\frac{(H-u)^2}{u(1-u)}du$ は端のずれを大きく数える。ex-ad-t5 では、裾だけが違う対立仮説に対して Anderson–Darling 検定の検出力がずっと速く $1$ に近づく。
$F_0$ は連続とし、$u_{(1)}$ 以外の $u_{(2)}\le\cdots\le u_{(n)}$ を $(0,1)$ の中に固定する。$u_{(1)}\in(0,u_{(2)}]$ を動かすと
$$
A_n^2=-\frac1n\log u_{(1)}-\frac{2n-1}n\log\bigl(1-u_{(1)}\bigr)+C
$$
($C$ は $u_{(2)},\dots,u_{(n)}$ だけで決まる定数)であり、$u_{(1)}\to0$ で $A_n^2\to\infty$ である。一方 $W_n^2$ は、$u_{(1)}$ が $[0,\min(u_{(2)},\frac1n)]$ を動く間 $\frac1{4n^2}$ 以下しか変わらない。
Cramér–von Mises検定 の命題「計算の公式」で、$u_{(1)}$ を含む項は、$i=1$ の $\log u_{(1)}$(係数 $-\frac{2\cdot1-1}n$)と、$n+1-i=1$ すなわち $i=n$ の $\log(1-u_{(1)})$(係数 $-\frac{2n-1}n$)だけである。$W_n^2$ では $u_{(1)}$ を含む項は $\bigl(u_{(1)}-\frac1{2n}\bigr)^2$ だけで、$u_{(1)}\in[0,\frac1n]$ ではその値は $[0,\frac1{4n^2}]$ に入る。$\square$
$A_n^2$ の増え方は $\frac1n\log\frac1{u_{(1)}}$ で対数的だが、上限がない。一様な重みでは 1 点の寄与が $\frac1{4n^2}$ で頭打ちになるので、分布の端にある少数の点は Cramér–von Mises 検定や Kolmogorov–Smirnov 検定にはほとんど見えない(ex-ad-outlier)。最大の点についても対称に同じことが成り立つ。
実際には $F_0$ の母数を同じデータから推定することが多い。そのとき (iii) が満たされず、thm-ad-limit の極限分布は使えない(反例の表)。ただし位置と尺度の族では、母数によらない数表を 1 つ用意すれば足りる。
$\Phi_0$ を連続な分布関数とし、帰無仮説を「$X_i$ は独立で、ある $\mu\in\mathbb R$、$\sigma>0$ について分布関数 $\Phi_0((x-\mu)/\sigma)$ に従う」とする。推定量 $\hat\mu(x_1,\dots,x_n)$、$\hat\sigma(x_1,\dots,x_n)>0$ が、すべての $a\in\mathbb R$、$b>0$ について
$$
\hat\mu(a+bx_1,\dots,a+bx_n)=a+b\,\hat\mu(x),\qquad\hat\sigma(a+bx_1,\dots,a+bx_n)=b\,\hat\sigma(x)
$$
を満たすとする。$\hat u_i:=\Phi_0\bigl((X_i-\hat\mu)/\hat\sigma\bigr)$ から計算公式で作った $\hat A_n^2$ の分布は $\mu,\sigma$ によらない。
$Y_i:=(X_i-\mu)/\sigma$ は独立で分布関数 $\Phi_0$ に従い、その分布は $\mu,\sigma$ によらない。$X_i=\mu+\sigma Y_i$ と仮定の式から $\frac{X_i-\hat\mu(X)}{\hat\sigma(X)}=\frac{\mu+\sigma Y_i-\mu-\sigma\hat\mu(Y)}{\sigma\hat\sigma(Y)}=\frac{Y_i-\hat\mu(Y)}{\hat\sigma(Y)}$ なので、$\hat u_i$ は $Y_1,\dots,Y_n$ だけの関数であり、$\hat A_n^2$ も同じである。$\square$
標本平均と標本標準偏差($n-1$ で割る)は仮定を満たす。正規分布の族でこれを使うと、$\hat A_n^2$ の分布は ex-ad-normal のように完全に決まった場合よりずっと小さい側に寄る。推定した母数でデータに合わせた分布は、データに近づいているからである。
10 個の値 $-0.8,-0.3,0.1,0.4,-1.1,0.6,0.2,-0.5,1.0,x$ が標準正規分布に従うかを、3 つの検定で比べる。最後の値 $x$ を $4.2$ と $6.0$ にする。
使う公式:prop-ad-tail、正確な帰無分布(一様分布の模擬)。
答え:
| $x$ | $A_{10}^2$($p$ 値) | $W_{10}^2$($p$ 値) | KS の $\sqrt{10}D_{10}$($p$ 値) |
|---|---|---|---|
| $4.2$ | $0.967$($0.37$) | $0.0361$($0.96$) | $0.442$($0.97$) |
| $6.0$ | $1.918$($0.10$) | $0.0361$($0.96$) | $0.442$($0.97$) |
$x$ を動かしても $W^2$ と KS は小数第 3 位まで変わらないが、$A^2$ は $\frac1{10}\log\frac{1-\Phi(4.2)}{1-\Phi(6.0)}\approx0.95$ だけ増える。どの検定も有意水準 $5\%$($A^2$ の正確な臨界値は $2.507$)では棄却しないが、1 点の外れ方に応じて動くのは $A^2$ だけである。
自由度 $5$ の t分布 に従うデータを、標準正規分布の帰無仮説で検定する(有意水準 $5\%$、漸近の臨界値 $A^2$ で $2.4924$、$W^2$ で $0.4614$)。
使う公式:thm-ad-consistent。
答え:模擬(各 $2$ 万回)による検出力は次のとおりである。
| $n$ | $20$ | $100$ | $400$ |
|---|---|---|---|
| Anderson–Darling | $0.16$ | $0.30$ | $0.84$ |
| Cramér–von Mises | $0.06$ | $0.08$ | $0.17$ |
thm-ad-consistent の下界は $\int_0^1\frac{(H-u)^2}{u(1-u)}du\approx0.0073$ で、$A_n^2/n$ の平均は $n=20,100,400$ で $0.076,0.021,0.011$ とこの値に向かって下がる。2 つの分布は中央でほとんど同じで、違いは裾にしかないので、一様な重みでは $n=400$ でもほとんど見つからない。
正規分布の族に対し、標本平均と標本標準偏差を代入した $\hat A_n^2$ を使う。
使う公式:prop-ad-invariance。
答え:prop-ad-invariance により、帰無分布は標準正規分布の標本の模擬 1 つで求まる。模擬(各 $20$ 万回)では
| $n$ | 平均 | 上側 $10\%$ 点 | $5\%$ 点 | $1\%$ 点 |
|---|---|---|---|---|
| $20$ | $0.371$ | $0.605$ | $0.720$ | $0.984$ |
| $100$ | $0.382$ | $0.627$ | $0.747$ | $1.028$ |
で、母数を知っているときの平均 $1$、$5\%$ 点 $2.4924$ より大幅に小さい。母数を知っているときの数表を誤って使うと、名目 $5\%$ の検定の棄却の確率は $n=20$ で $10^{-4}$ 未満になり、ほとんど何も検出しない。
各行は条件を 1 つ外し、成り立たなくなる定理の結論を示す。棄却は $A_n^2>2.4924$(名目 $5\%$)とする。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| (ii) $F_0$ が連続 | $F_0$ は $0,1$ を確率 $\frac12$ ずつとる分布、データもこの分布 | $A_n^2=2n(F_n(0)-\frac12)^2\Rightarrow\frac{Z^2}2$ で、thm-ad-limit の極限と違う。棄却の確率は $0.0256$ に近づく |
| (ii) $F_0$ が連続 | 同じ $F_0$、データは $-1$ と $\frac12$ を確率 $\frac12$ ずつとる | $F\ne F_0$ なのに $A_n^2$ の分布は上の行と同じで、棄却の確率は $0.0256$ に近づき $1$ にならない(thm-ad-consistent が成り立たない) |
| (iii) 母数を前もって決める | 正規分布、平均と標準偏差を推定(ex-ad-normal) | 平均は約 $0.37$、棄却の確率は $10^{-4}$ 未満(thm-ad-limit の極限と違う) |
| (i) 独立 | $X_i=(Y_i+Y_{i+1})/\sqrt2$($Y_i$ は独立な標準正規)、$F_0$ は標準正規、$n=200$ | 各 $X_i$ は $F_0$ に従うのに、平均は約 $1.57$、棄却の確率は約 $0.17$(prop-ad-standardize の平均 $1$ という結論と thm-ad-limit の極限の結論が成り立たない) |
1・2 行目:$dF_0$ は $0$ と $1$ に重さ $\frac12$ ずつの点測度で、$x=1$ では $F_0=1$ なので被積分関数は $0$ と読む。よって $A_n^2=n\cdot\frac{(F_n(0)-\frac12)^2}{\frac14}\cdot\frac12$。2 行目のデータでも $F(0)=\frac12$ なので $nF_n(0)$ は $B(n,\frac12)$ に従う。中心極限定理 から $\sqrt n(F_n(0)-\frac12)\Rightarrow\frac Z2$。棄却は $\lvert Z\rvert>\sqrt{2\cdot2.4924}\approx2.233$ で、確率 $0.0256$($n=50$ の模擬では離散性のため $0.033$)。thm-ad-consistent の証明の 1 は (ii) を要する (1) を使うが、この (1) はここで成り立たない(実際 $A_n^2/n=2(F_n(0)-\frac12)^2\to0$)。3 行目:ex-ad-normal の模擬。4 行目:$4$ 万回の模擬。正の相関で $u_i$ が片寄り、$\eta_i$ が独立でなくなり、$\xi_n$ の共分散が $K$ でなくなる。
| 誤り | 正しくは | なぜ |
|---|---|---|
| 母数を推定してから $2.4924$ と比べる | 推定法と族に合わせた数表を使う | ex-ad-normal |
| $u_i$ を $0$ や $1$ に丸めて計算する | $\log F_0$、$\log(1-F_0)$ を直接計算する | prop-ad-tail の $\log u_{(1)}$ が発散する |
| 外れ値が 1 個でもあれば必ず棄却されると考える | 寄与は $\frac1n\log\frac1{u_{(1)}}$ で対数的 | ex-ad-outlier |
| 重みは強いほど良いとして $\frac1{t^2(1-t)^2}$ を使う | (iv) を満たす重みを使う | 平均が無限大になる(prop-ad-standardize) |
重み $\psi$ を付けた 2 乗積分型の統計量の族は AD52 に由来し、$\psi_{\mathrm{AD}}$ の場合の検定がその名で呼ばれる。2 標本の版では、合わせた標本の経験分布関数 $H_N$($N=m+n$)について $\frac{mn}N\int\frac{(F_m-G_n)^2}{H_N(1-H_N)}dH_N$ を使う($H_N=1$ の点は除く)。帰無仮説のもとでの分布は並び方の数え上げで決まり、連続な分布によらない。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する