Anderson–Darling検定

同義語:Anderson-Darling検定Anderson–Darling testアンダーソン–ダーリング検定

概要

Anderson–Darling検定(Anderson–Darling test)とは、経験分布関数 $F_n$ と仮説の分布関数 $F_0$ のずれを各点の標準偏差で割って 2 乗積分した統計量 $A_n^2=n\int(F_n-F_0)^2/(F_0(1-F_0))\,dF_0$ を用いる適合度検定で、分布の裾のずれに敏感である。一般の重み $\psi$ で $\int t(1-t)\psi\,dt< \infty$ なら、統計量は共分散作用素の固有値 $\lambda_k$ による $\sum_k\lambda_kZ_k^2$ に分布収束し、Anderson–Darling の重みでは $\lambda_k=1/(k(k+1))$ である。$F_0$ が連続ならどの対立仮説にも一致性をもち、端の 1 点は $\frac1n\log\frac1{u_{(1)}}$ の大きさで効く。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Cramér–von Mises検定, Kolmogorov–Smirnov検定, 中心極限定理, Hilbert–Schmidt作用素

データが仮説の分布に従うかを調べる適合度検定のうち、経験分布関数と仮説の分布関数の差の 2 乗を積分するものでは、どこに重みを置くかで検定の性格が決まる。Anderson–Darling 検定 は、各点のずれをその標準偏差で割ってから 2 乗して積分する。分布の裾では標準偏差が小さいので、裾のずれが大きく数えられる。
計算の公式、正確な平均と分散、極限分布 $\sum_kZ_k^2/(k(k+1))$ を Legendre 多項式の展開から導く方法は Cramér–von Mises検定 にある。この記事では、重み $\psi$ を一般にした統計量の族を考え、

  1. 重みが (iv) を満たせば、統計量は共分散作用素の固有値で重み付けたカイ二乗変数の和に分布収束すること(主定理 1)と、Anderson–Darling の重みでその固有値が $\frac1{k(k+1)}$ であること、
  2. Anderson–Darling 検定は、どの対立仮説に対しても検出力が $1$ に近づくこと(主定理 2)、
  3. 裾の 1 点への感度が Cramér–von Mises 検定と桁違いであること、
    を証明する。母数を推定して使うときの扱いも述べる。

定義と使える条件

$X_1,\dots,X_n$ を実数値の確率変数、$F_n$ をその経験分布関数とする。

重み付きの 2 乗積分統計量と Anderson–Darling 検定

$F_0$ を分布関数、$\psi\colon(0,1)\to[0,\infty)$ を可測関数とする。
$$ W_n^2(\psi):=n\int_{-\infty}^\infty\bigl(F_n(x)-F_0(x)\bigr)^2\,\psi\bigl(F_0(x)\bigr)\,dF_0(x) $$
を重み $\psi$ の 2 乗積分統計量 という($F_0(x)\in\{0,1\}$ の点では被積分関数を $0$ と読む)。$\psi\equiv1$ のものが Cramér–von Mises 統計量 $W_n^2$、
$$ \psi_{\mathrm{AD}}(t):=\frac1{t(1-t)} $$
のものが Anderson–Darling 統計量 $A_n^2$ である。帰無仮説「$X_1,\dots,X_n$ は独立で、どれも分布関数 $F_0$ に従う」に対し、$A_n^2$ が臨界値 $c$ を超えるとき棄却する検定を Anderson–Darling 検定 という。

使ってよい条件は次のとおりである。

  • (i) データは独立で同じ分布に従う。
  • (ii) $F_0$ は連続である。
  • (iii) $F_0$ はデータを見る前に母数まで完全に決まっている。
  • (iv) 重みは $\displaystyle\int_0^1t(1-t)\,\psi(t)\,dt< \infty$ を満たす。
    $\psi_{\mathrm{AD}}$ では (iv) の積分は $1$ である。(ii) のもとで、$u_i:=F_0(X_i)$ の経験分布関数を $G_n$ とすると、次の式 (1) がデータの値によらずに成り立つ。
    $$ W_n^2(\psi)=n\int_0^1\bigl(G_n(t)-t\bigr)^2\psi(t)\,dt $$
    $F_n(x)=G_n(F_0(x))$ が $dF_0$ についてほとんど至るところ成り立つことと、$F_0(Y)$($Y$ は $F_0$ に従う)が一様分布に従うことによる。証明は Cramér–von Mises検定 の命題「分布によらない性質」の証明と同じで、重みの形を使わない。帰無仮説のもとで $u_i$ は独立に $(0,1)$ 上の一様分布に従うので、統計量の分布は $F_0$ によらない。

重みの意味

各点で標準化する重み

帰無仮説と (ii) のもとで、各 $t\in(0,1)$ について $\sqrt n(G_n(t)-t)$ は平均 $0$、分散 $t(1-t)$ である。したがって
$$ E\,W_n^2(\psi)=\int_0^1t(1-t)\,\psi(t)\,dt $$
であり、とくに $E\,A_n^2=1$ である。

二項分布の分散

$nG_n(t)$ は二項分布 $B(n,t)$ に従うので、平均 $nt$、分散 $nt(1-t)$ である。(1) の被積分関数は非負なので、Fubiniの定理 で期待値と積分を入れ替えてよく、$E\,n(G_n(t)-t)^2=t(1-t)$ から結論を得る。$\square$

$\psi_{\mathrm{AD}}$ は、各 $t$ で $\sqrt n(G_n(t)-t)$ をその標準偏差で割ることにあたり、すべての $t$ が平均して同じ重さ $1$ で数えられる。一様な重み $\psi\equiv1$ では、点 $t$ の寄与の平均は $t(1-t)$ で、端では $0$ に近づく。端で $\psi(t)=t^{-a}$ のように振る舞う重みでは、(iv) は $a< 2$ と同じである。たとえば $\psi(t)=\frac1{t^2(1-t)^2}$ では (iv) の積分が発散し、どの $n$ でも統計量の平均が無限大になる。

公式の表

量式使える条件根拠
一様分布への帰着(1)(ii)定義の後の段落
平均$E\,W_n^2(\psi)=\int_0^1t(1-t)\psi\,dt$、$E\,A_n^2=1$(i)(ii) と帰無仮説prop-ad-standardize
極限分布$\sum_k\lambda_kZ_k^2$($\lambda_k$ は共分散作用素の固有値)(i)(ii)(iv) と帰無仮説thm-ad-limit
Anderson–Darling の固有値$\lambda_k=\frac1{k(k+1)}$—prop-ad-eigen
一致性$F\ne F_0$ なら $A_n^2\to\infty$(確率 $1$)(i)(ii)thm-ad-consistent
端の 1 点の寄与$A_n^2=-\frac1n\log u_{(1)}+O(1)$($u_{(1)}\to0$)(ii)prop-ad-tail
母数の推定位置と尺度の族では分布が真の母数によらない(i)prop-ad-invariance
計算の公式・正確な分散Cramér–von Mises検定 の公式の表(ii)同じ記事

主定理 1:一般の重みでの極限分布

  1. を、ランダムな関数の $L^2(0,1)$ でのノルムとして読む。$U_1,U_2,\dots$ を $(0,1)$ 上の一様分布の独立な標本とし、
    $$ \eta_i(t):=\sqrt{\psi(t)}\,\bigl(\mathbf 1\{U_i\le t\}-t\bigr),\qquad \xi_n:=\frac1{\sqrt n}\sum_{i=1}^n\eta_i $$
    とおくと、(1) は $W_n^2(\psi)=\|\xi_n\|^2$($L^2(0,1)$ のノルム)と書ける。$\eta_i$ の共分散を表す核と作用素を
    $$ \kappa(s,t):=\sqrt{\psi(s)\psi(t)}\,\bigl(\min(s,t)-st\bigr),\qquad (Kf)(s):=\int_0^1\kappa(s,t)f(t)\,dt $$
    とする。$\min(s,t)-st=E[(\mathbf 1\{U\le s\}-s)(\mathbf 1\{U\le t\}-t)]$ である。
共分散作用素

(iv) のもとで次が成り立つ。

  1. $K$ は $L^2(0,1)$ 上の自己共役な Hilbert–Schmidt 作用素で、$\langle Kf,f\rangle=E\langle\eta_1,f\rangle^2\ge0$ である。
  2. $K$ の正の固有値を重複度だけ繰り返して $\lambda_1\ge\lambda_2\ge\cdots>0$、正規直交な固有関数を $e_1,e_2,\dots$ とすると、確率 $1$ で $\|\eta_1\|^2=\sum_k\langle\eta_1,e_k\rangle^2$ であり、$\sum_k\lambda_k=\int_0^1t(1-t)\psi(t)\,dt$ である。
  3. 確率変数 $\langle\eta_1,e_k\rangle$($k=1,2,\dots$)は平均 $0$ で、$E\langle\eta_1,e_j\rangle\langle\eta_1,e_k\rangle=\lambda_k\delta_{jk}$ を満たす。
共分散を内積で書く

要点:核の 2 乗は $(\int t(1-t)\psi)^2$ で抑えられ、$\langle Kf,f\rangle$ は Fubini の定理で $E\langle\eta_1,f\rangle^2$ に等しい。核 $\ker K$ の方向の成分は分散が $0$ なので確率 $1$ で消える。

詳しい証明を開く

1。 $s\le t$ なら $\min(s,t)-st=s(1-t)$ で、$s(1-t)\le t(1-s)$ だから $(\min(s,t)-st)^2\le s(1-s)\,t(1-t)$ である。よって$$\int_0^1\!\!\int_0^1\kappa(s,t)^2\,ds\,dt\le\Bigl(\int_0^1t(1-t)\psi(t)\,dt\Bigr)^2< \infty$$で、Hilbert–Schmidt作用素 の定理「積分作用素との一致」により $K$ は Hilbert–Schmidt 作用素である。$\kappa$ は対称なので $K$ は自己共役である。$E\|\eta_1\|^2=\int_0^1\psi(t)t(1-t)\,dt< \infty$ なので、$f\in L^2(0,1)$ について $E\lvert\eta_1(s)\eta_1(t)f(s)f(t)\rvert$ は Fubiniの定理 の仮定を満たし、$$E\langle\eta_1,f\rangle^2=\int_0^1\!\!\int_0^1E[\eta_1(s)\eta_1(t)]f(s)f(t)\,ds\,dt=\langle Kf,f\rangle$$である。

2。 コンパクト作用素 の定理「自己共役コンパクト作用素のスペクトル分解」により $L^2(0,1)=\ker K\oplus\overline{\operatorname{span}}\{e_k\}$ で、1 から $0$ でない固有値は正である。$\ker K$ の正規直交基底 $(f_j)$($L^2(0,1)$ は可分なので高々可算)について $E\langle\eta_1,f_j\rangle^2=\langle Kf_j,f_j\rangle=0$ なので、確率 $1$ ですべての $j$ について $\langle\eta_1,f_j\rangle=0$ である。正規直交基底 $(e_k)\cup(f_j)$ での Parsevalの等式 から $\|\eta_1\|^2=\sum_k\langle\eta_1,e_k\rangle^2$ を得る。期待値をとり、単調収束定理と $E\langle\eta_1,e_k\rangle^2=\langle Ke_k,e_k\rangle=\lambda_k$ を使えば和の式を得る。

3。 各 $t$ で $E\eta_1(t)=0$ なので、Fubini の定理で $E\langle\eta_1,e_k\rangle=0$ である。共分散は 1 の式を分極して $\langle Ke_j,e_k\rangle=\lambda_k\delta_{jk}$ である。$\square$

重み付きの 2 乗積分統計量の極限分布

(i)(ii)(iv) と帰無仮説のもとで、lem-ad-covariance の固有値 $\lambda_k$ と独立な標準正規変数 $Z_1,Z_2,\dots$ について
$$ W_n^2(\psi)\ \Rightarrow\ \sum_{k=1}^\infty\lambda_kZ_k^2\qquad(n\to\infty) $$
である($\Rightarrow$ は 分布収束)。極限の平均は $\int_0^1t(1-t)\psi(t)\,dt$ である。

固有関数の方向に分け、特性関数で合わせる
  1. により、$u_i=F_0(X_i)$ を $U_i$ として $W_n^2(\psi)=\|\xi_n\|^2$ である。

1. 展開。 $V_{n,k}:=\lambda_k^{-1/2}\langle\xi_n,e_k\rangle=\frac1{\sqrt n}\sum_{i=1}^n\lambda_k^{-1/2}\langle\eta_i,e_k\rangle$ とおく。lem-ad-covariance の 2 を各 $\eta_i$ に使うと、確率 $1$ で $\langle\xi_n,f_j\rangle=0$($f_j$ は $\ker K$ の基底)なので、Parseval の等式から
$$ W_n^2(\psi)=\sum_{k=1}^\infty\lambda_kV_{n,k}^2 $$
である。lem-ad-covariance の 3 から、ベクトル $\bigl(\lambda_k^{-1/2}\langle\eta_i,e_k\rangle\bigr)_{k\le J}$($i=1,2,\dots$)は独立で同じ分布に従い、平均 $0$、共分散行列は単位行列である。
2. 残りの項。 $R_{n,J}:=\sum_{k>J}\lambda_kV_{n,k}^2\ge0$ は $E\,V_{n,k}^2=1$ から $E\,R_{n,J}=\tau_J:=\sum_{k>J}\lambda_k$ を満たし、lem-ad-covariance の 2 から $\tau_J\to0$($J\to\infty$)である。極限の側も $S:=\sum_k\lambda_kZ_k^2$、$S_J:=\sum_{k\le J}\lambda_kZ_k^2$ とおくと $E(S-S_J)=\tau_J$ である。
3. 有限個の項。 $\mathbb R^J$ の中心極限定理(Dur19 Theorem 3.10.7)により $(V_{n,1},\dots,V_{n,J})\Rightarrow(Z_1,\dots,Z_J)$ である。$y\mapsto e^{is\sum_{k\le J}\lambda_ky_k^2}$ は $\mathbb R^J$ 上の有界連続関数なので、$S_{n,J}:=\sum_{k\le J}\lambda_kV_{n,k}^2$ について $E\,e^{isS_{n,J}}\to E\,e^{isS_J}$(各 $s\in\mathbb R$)である。
4. 合わせる。 $\lvert e^{ia}-e^{ib}\rvert\le\lvert a-b\rvert$ と 2 から、$s\in\mathbb R$ について
$$ \bigl\lvert Ee^{isW_n^2(\psi)}-Ee^{isS}\bigr\rvert\le\lvert s\rvert E\,R_{n,J}+\bigl\lvert Ee^{isS_{n,J}}-Ee^{isS_J}\bigr\rvert+\lvert s\rvert E(S-S_J) \le2\lvert s\rvert\tau_J+\bigl\lvert Ee^{isS_{n,J}}-Ee^{isS_J}\bigr\rvert $$
である。$n\to\infty$ のあと $J\to\infty$ とすれば右辺は $0$ に近づくので、Lévyの連続性定理 により $W_n^2(\psi)\Rightarrow S$ である。平均は $\sum_k\lambda_k$ で、lem-ad-covariance の 2 による。$\square$

この証明は、Cramér–von Mises検定 の主定理で余弦関数や Legendre 多項式が果たした役を、共分散作用素 $K$ の固有関数に負わせたものである。固有関数を具体的に知らなくても極限の形が決まり、固有値だけが重みごとに違う。

Anderson–Darling の重みの固有値

Anderson–Darling の重みでの固有値

$\psi=\psi_{\mathrm{AD}}$ のとき、$K$ の固有値は $\frac1{k(k+1)}$($k=1,2,\dots$、どれも重複度 $1$)で、$\ker K=\{0\}$ である。したがって thm-ad-limit から $A_n^2\Rightarrow\sum_kZ_k^2/(k(k+1))$ である。$\psi\equiv1$ のときの固有値は $\frac1{k^2\pi^2}$ である。

Green 関数で固有方程式を解く

要点:$\min(s,t)-st$ は $-\frac{d^2}{ds^2}$ の両端 $0$ の Green 関数なので、固有方程式は 2 階の微分方程式になり、Legendre の微分方程式で解ける。

詳しい証明を開く

Green 関数。 $[0,1]$ 上の連続関数 $\phi$ について $H(s):=\int_0^1(\min(s,t)-st)\phi(t)\,dt=(1-s)\int_0^st\phi\,dt+s\int_s^1(1-t)\phi\,dt$ を微分すると $H'(s)=-\int_0^st\phi\,dt+\int_s^1(1-t)\phi\,dt$、$H''=-\phi$ で、$H(0)=H(1)=0$ である。$-H''=\phi$、$H(0)=H(1)=0$ を満たす $C^2$ 級の関数は、差が両端で $0$ の 1 次関数になるので、この $H$ だけである。

Anderson–Darling の重み。 Cramér–von Mises検定 の補題「重みつきの空間の正規直交基底」の $p_k(t)=\sqrt{2k+1}P_k(2t-1)$、$q_k(t)=\int_0^tp_k$、$e_k=\sqrt{k(k+1)}\,q_k/\sqrt{t(1-t)}$ を使う。同じ補題により $t(1-t)p_k'=-k(k+1)q_k$ で、$(e_k)_{k\ge1}$ は $L^2(0,1)$ の正規直交基底である。$\sqrt{\psi_{\mathrm{AD}}}\,e_k=\sqrt{k(k+1)}\,\psi_{\mathrm{AD}}q_k=-p_k'/\sqrt{k(k+1)}$ は $[0,1]$ で連続なので、Green 関数の段で $\phi:=-p_k'/\sqrt{k(k+1)}$ とすると、$q_k''=p_k'$、$q_k(0)=q_k(1)=0$ から $H=q_k/\sqrt{k(k+1)}$ である。よって$$Ke_k=\sqrt{\psi_{\mathrm{AD}}}\,H=\frac{q_k}{\sqrt{k(k+1)}\sqrt{t(1-t)}}=\frac{e_k}{k(k+1)}$$である。$K$ は $(e_k)$ の上で対角なので、固有値は $\frac1{k(k+1)}$ だけで、$\ker K=\{0\}$ である。

一様な重み。 $e_k=\sqrt2\sin(k\pi t)$ は $L^2(0,1)$ の正規直交基底で、$\phi=e_k$ のとき $H=e_k/(k\pi)^2$ なので $Ke_k=e_k/(k\pi)^2$ である。$\square$

$\psi$ が $(0,1)$ で連続なら、同じ計算で固有値の問題は $\lambda h''+\psi h=0$、$h(0)=h(1)=0$ という Sturm–Liouville 型の境界値問題になる($h:=Kf/\sqrt\psi$)。Anderson–Darling の重みの第 1 固有値 $\frac12$ の固有関数は $e_1(t)=\sqrt6\,\sqrt{t(1-t)}$、成分は $V_{n,1}=\frac{\sqrt3}{\sqrt n}\sum_i(1-2u_i)$ で、$u_i$ の平均の $\frac12$ からのずれを測る。極限の平均 $1$ のうち $\frac12$ をこの成分が、$\frac16$ を次の成分($u_i$ のばらつきを測る $P_2$ の方向)が担う。

主定理 2:一致性

検定の 一致性 とは、帰無仮説が誤っているとき、標本を大きくすれば棄却の確率が $1$ に近づくことをいう。

Anderson–Darling 検定の一致性

$F_0$ を連続な分布関数とし、$X_1,X_2,\dots$ は独立でどれも分布関数 $F$ に従い、$F\ne F_0$ とする。$H$ を $F_0(X_1)$ の分布関数とすると、確率 $1$ で
$$ \liminf_{n\to\infty}\frac{A_n^2}n\ \ge\ \int_0^1\frac{\bigl(H(u)-u\bigr)^2}{u(1-u)}\,du\ >\ 0 $$
である。とくに $A_n^2\to\infty$(確率 $1$)で、どの臨界値 $c$ についても $P(A_n^2>c)\to1$ である。

経験分布関数の一様収束と Fatou の補題

1. 帰着。 (1) はデータの値によらない式なので、$u_i=F_0(X_i)$ の経験分布関数 $G_n$ について $\frac{A_n^2}n=\int_0^1\frac{(G_n(u)-u)^2}{u(1-u)}du$ である。$u_1,u_2,\dots$ は独立でどれも分布関数 $H$ に従う。
2. 極限。 Glivenko–Cantelliの定理 により、確率 $1$ で $\sup_u\lvert G_n(u)-H(u)\rvert\to0$ である。そのような標本の道の上では被積分関数は各点で $\frac{(H(u)-u)^2}{u(1-u)}$ に収束し、非負なので Fatouの補題 から不等式の左側を得る。
3. $H$ は一様分布の分布関数でない。 $H(u)=u$($0\le u\le1$)と仮定して $F=F_0$ を導く。$x\in\mathbb R$ を固定する。$X_1\le x$ なら $F_0(X_1)\le F_0(x)$ なので $F(x)\le H(F_0(x))=F_0(x)$ である。逆に $F_0(X_1)< F_0(x)$ なら $X_1< x$ なので、$F(x)\ge P(X_1< x)\ge P(F_0(X_1)< F_0(x))=F_0(x)$ である(最後の等号は $H$ が連続であることによる)。よって $F(x)=F_0(x)$ となり、仮定 $F\ne F_0$ に反する。
4. 積分は正。 3 から $H(u_0)\ne u_0$ となる $u_0\in[0,1)$ がある($H(1)=1$ なので $u_0=1$ ではない)。$H$ は右連続なので、ある $\varepsilon>0$ について $[u_0,u_0+\varepsilon)$ の上で $\lvert H(u)-u\rvert>\frac12\lvert H(u_0)-u_0\rvert$ であり、積分は正である。$\square$

Kolmogorov–Smirnov 検定や Cramér–von Mises 検定も一致性をもつ。違いは近づく速さで、極限 $\int\frac{(H-u)^2}{u(1-u)}du$ は端のずれを大きく数える。ex-ad-t5 では、裾だけが違う対立仮説に対して Anderson–Darling 検定の検出力がずっと速く $1$ に近づく。

裾の 1 点への感度

最小の点の寄与

$F_0$ は連続とし、$u_{(1)}$ 以外の $u_{(2)}\le\cdots\le u_{(n)}$ を $(0,1)$ の中に固定する。$u_{(1)}\in(0,u_{(2)}]$ を動かすと
$$ A_n^2=-\frac1n\log u_{(1)}-\frac{2n-1}n\log\bigl(1-u_{(1)}\bigr)+C $$
($C$ は $u_{(2)},\dots,u_{(n)}$ だけで決まる定数)であり、$u_{(1)}\to0$ で $A_n^2\to\infty$ である。一方 $W_n^2$ は、$u_{(1)}$ が $[0,\min(u_{(2)},\frac1n)]$ を動く間 $\frac1{4n^2}$ 以下しか変わらない。

計算の公式から読む

Cramér–von Mises検定 の命題「計算の公式」で、$u_{(1)}$ を含む項は、$i=1$ の $\log u_{(1)}$(係数 $-\frac{2\cdot1-1}n$)と、$n+1-i=1$ すなわち $i=n$ の $\log(1-u_{(1)})$(係数 $-\frac{2n-1}n$)だけである。$W_n^2$ では $u_{(1)}$ を含む項は $\bigl(u_{(1)}-\frac1{2n}\bigr)^2$ だけで、$u_{(1)}\in[0,\frac1n]$ ではその値は $[0,\frac1{4n^2}]$ に入る。$\square$

$A_n^2$ の増え方は $\frac1n\log\frac1{u_{(1)}}$ で対数的だが、上限がない。一様な重みでは 1 点の寄与が $\frac1{4n^2}$ で頭打ちになるので、分布の端にある少数の点は Cramér–von Mises 検定や Kolmogorov–Smirnov 検定にはほとんど見えない(ex-ad-outlier)。最大の点についても対称に同じことが成り立つ。

母数を推定するとき

実際には $F_0$ の母数を同じデータから推定することが多い。そのとき (iii) が満たされず、thm-ad-limit の極限分布は使えない(反例の表)。ただし位置と尺度の族では、母数によらない数表を 1 つ用意すれば足りる。

位置と尺度の族での不変性

$\Phi_0$ を連続な分布関数とし、帰無仮説を「$X_i$ は独立で、ある $\mu\in\mathbb R$、$\sigma>0$ について分布関数 $\Phi_0((x-\mu)/\sigma)$ に従う」とする。推定量 $\hat\mu(x_1,\dots,x_n)$、$\hat\sigma(x_1,\dots,x_n)>0$ が、すべての $a\in\mathbb R$、$b>0$ について
$$ \hat\mu(a+bx_1,\dots,a+bx_n)=a+b\,\hat\mu(x),\qquad\hat\sigma(a+bx_1,\dots,a+bx_n)=b\,\hat\sigma(x) $$
を満たすとする。$\hat u_i:=\Phi_0\bigl((X_i-\hat\mu)/\hat\sigma\bigr)$ から計算公式で作った $\hat A_n^2$ の分布は $\mu,\sigma$ によらない。

標準化した残差が変わらない

$Y_i:=(X_i-\mu)/\sigma$ は独立で分布関数 $\Phi_0$ に従い、その分布は $\mu,\sigma$ によらない。$X_i=\mu+\sigma Y_i$ と仮定の式から $\frac{X_i-\hat\mu(X)}{\hat\sigma(X)}=\frac{\mu+\sigma Y_i-\mu-\sigma\hat\mu(Y)}{\sigma\hat\sigma(Y)}=\frac{Y_i-\hat\mu(Y)}{\hat\sigma(Y)}$ なので、$\hat u_i$ は $Y_1,\dots,Y_n$ だけの関数であり、$\hat A_n^2$ も同じである。$\square$

標本平均と標本標準偏差($n-1$ で割る)は仮定を満たす。正規分布の族でこれを使うと、$\hat A_n^2$ の分布は ex-ad-normal のように完全に決まった場合よりずっと小さい側に寄る。推定した母数でデータに合わせた分布は、データに近づいているからである。

例題

1 つの外れ値

10 個の値 $-0.8,-0.3,0.1,0.4,-1.1,0.6,0.2,-0.5,1.0,x$ が標準正規分布に従うかを、3 つの検定で比べる。最後の値 $x$ を $4.2$ と $6.0$ にする。
使う公式:prop-ad-tail、正確な帰無分布(一様分布の模擬)。
答え:

$x$$A_{10}^2$($p$ 値)$W_{10}^2$($p$ 値)KS の $\sqrt{10}D_{10}$($p$ 値)
$4.2$$0.967$($0.37$)$0.0361$($0.96$)$0.442$($0.97$)
$6.0$$1.918$($0.10$)$0.0361$($0.96$)$0.442$($0.97$)

$x$ を動かしても $W^2$ と KS は小数第 3 位まで変わらないが、$A^2$ は $\frac1{10}\log\frac{1-\Phi(4.2)}{1-\Phi(6.0)}\approx0.95$ だけ増える。どの検定も有意水準 $5\%$($A^2$ の正確な臨界値は $2.507$)では棄却しないが、1 点の外れ方に応じて動くのは $A^2$ だけである。

裾の厚い対立仮説での一致性

自由度 $5$ の t分布 に従うデータを、標準正規分布の帰無仮説で検定する(有意水準 $5\%$、漸近の臨界値 $A^2$ で $2.4924$、$W^2$ で $0.4614$)。
使う公式:thm-ad-consistent。
答え:模擬(各 $2$ 万回)による検出力は次のとおりである。

$n$$20$$100$$400$
Anderson–Darling$0.16$$0.30$$0.84$
Cramér–von Mises$0.06$$0.08$$0.17$

thm-ad-consistent の下界は $\int_0^1\frac{(H-u)^2}{u(1-u)}du\approx0.0073$ で、$A_n^2/n$ の平均は $n=20,100,400$ で $0.076,0.021,0.011$ とこの値に向かって下がる。2 つの分布は中央でほとんど同じで、違いは裾にしかないので、一様な重みでは $n=400$ でもほとんど見つからない。

正規性の検定で母数を推定する

正規分布の族に対し、標本平均と標本標準偏差を代入した $\hat A_n^2$ を使う。
使う公式:prop-ad-invariance。
答え:prop-ad-invariance により、帰無分布は標準正規分布の標本の模擬 1 つで求まる。模擬(各 $20$ 万回)では

$n$平均上側 $10\%$ 点$5\%$ 点$1\%$ 点
$20$$0.371$$0.605$$0.720$$0.984$
$100$$0.382$$0.627$$0.747$$1.028$

で、母数を知っているときの平均 $1$、$5\%$ 点 $2.4924$ より大幅に小さい。母数を知っているときの数表を誤って使うと、名目 $5\%$ の検定の棄却の確率は $n=20$ で $10^{-4}$ 未満になり、ほとんど何も検出しない。

使える条件と反例

各行は条件を 1 つ外し、成り立たなくなる定理の結論を示す。棄却は $A_n^2>2.4924$(名目 $5\%$)とする。

外す条件反例成り立たなくなること
(ii) $F_0$ が連続$F_0$ は $0,1$ を確率 $\frac12$ ずつとる分布、データもこの分布$A_n^2=2n(F_n(0)-\frac12)^2\Rightarrow\frac{Z^2}2$ で、thm-ad-limit の極限と違う。棄却の確率は $0.0256$ に近づく
(ii) $F_0$ が連続同じ $F_0$、データは $-1$ と $\frac12$ を確率 $\frac12$ ずつとる$F\ne F_0$ なのに $A_n^2$ の分布は上の行と同じで、棄却の確率は $0.0256$ に近づき $1$ にならない(thm-ad-consistent が成り立たない)
(iii) 母数を前もって決める正規分布、平均と標準偏差を推定(ex-ad-normal)平均は約 $0.37$、棄却の確率は $10^{-4}$ 未満(thm-ad-limit の極限と違う)
(i) 独立$X_i=(Y_i+Y_{i+1})/\sqrt2$($Y_i$ は独立な標準正規)、$F_0$ は標準正規、$n=200$各 $X_i$ は $F_0$ に従うのに、平均は約 $1.57$、棄却の確率は約 $0.17$(prop-ad-standardize の平均 $1$ という結論と thm-ad-limit の極限の結論が成り立たない)
反例の確かめを開く

1・2 行目:$dF_0$ は $0$ と $1$ に重さ $\frac12$ ずつの点測度で、$x=1$ では $F_0=1$ なので被積分関数は $0$ と読む。よって $A_n^2=n\cdot\frac{(F_n(0)-\frac12)^2}{\frac14}\cdot\frac12$。2 行目のデータでも $F(0)=\frac12$ なので $nF_n(0)$ は $B(n,\frac12)$ に従う。中心極限定理 から $\sqrt n(F_n(0)-\frac12)\Rightarrow\frac Z2$。棄却は $\lvert Z\rvert>\sqrt{2\cdot2.4924}\approx2.233$ で、確率 $0.0256$($n=50$ の模擬では離散性のため $0.033$)。thm-ad-consistent の証明の 1 は (ii) を要する (1) を使うが、この (1) はここで成り立たない(実際 $A_n^2/n=2(F_n(0)-\frac12)^2\to0$)。3 行目:ex-ad-normal の模擬。4 行目:$4$ 万回の模擬。正の相関で $u_i$ が片寄り、$\eta_i$ が独立でなくなり、$\xi_n$ の共分散が $K$ でなくなる。

よくある誤り

誤り正しくはなぜ
母数を推定してから $2.4924$ と比べる推定法と族に合わせた数表を使うex-ad-normal
$u_i$ を $0$ や $1$ に丸めて計算する$\log F_0$、$\log(1-F_0)$ を直接計算するprop-ad-tail の $\log u_{(1)}$ が発散する
外れ値が 1 個でもあれば必ず棄却されると考える寄与は $\frac1n\log\frac1{u_{(1)}}$ で対数的ex-ad-outlier
重みは強いほど良いとして $\frac1{t^2(1-t)^2}$ を使う(iv) を満たす重みを使う平均が無限大になる(prop-ad-standardize)

補足

重み $\psi$ を付けた 2 乗積分型の統計量の族は AD52 に由来し、$\psi_{\mathrm{AD}}$ の場合の検定がその名で呼ばれる。2 標本の版では、合わせた標本の経験分布関数 $H_N$($N=m+n$)について $\frac{mn}N\int\frac{(F_m-G_n)^2}{H_N(1-H_N)}dH_N$ を使う($H_N=1$ の点は除く)。帰無仮説のもとでの分布は並び方の数え上げで決まり、連続な分布によらない。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する