Wilcoxon検定

同義語:Wilcoxon test

概要

Wilcoxon検定(Wilcoxon test)とは、データの値そのものではなく順位だけを使って、2 群の分布が同じか(順位和検定)、対になったデータの差の分布が $0$ について対称か(符号付き順位検定)を確かめる検定である。帰無仮説のもとで順位はすべての並べ方を等確率にとるので、順位和の分布はもとの分布の形によらず、平均・分散・漸化式で正確に求まる。符号付き順位和は $1$ から $n$ の整数を確率 $1/2$ ずつ選んだ和と同じ分布に従い、$n$ が大きければ正規分布で近似できる。同じ値がある場合や、中央値だけが等しく分布の形が違う場合には、この帰無分布は使えない。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 仮説検定, p値, 二項分布, 中心極限定理

新しい肥料を使った 6 本の苗と使わなかった 5 本の苗の高さを比べたい。高さの分布が正規分布だと仮定できれば $t$ 検定が使えるが、データが少なく、外れた値もあって、分布の形に自信がもてない。そこで値そのものではなく、11 本を低い順に並べたときの 順位 だけを使う。肥料に効果がなければ、どの 6 本が肥料の側に来るかはまったくの偶然で、その確率は分布の形によらず数え上げで計算できる。肥料の側の順位の和を統計量にするのが Wilcoxon の順位和検定 である。対になったデータ(同じ人の前と後など)の差については、差の絶対値の順位を符号で振り分ける Wilcoxon の符号付き順位検定 がある。両者を合わせて Wilcoxon 検定 という。
この記事では、連続な分布の標本の順位が一様に分布することを示し、それをもとに順位和と符号付き順位和の帰無分布・平均・分散を証明する。順位和は 2 群の値の大小の組の数(Mann–Whitney の $U$ 統計量)と同じものであること、符号付き順位和の正規近似、同順位や分布の非対称性で検定の水準が保たれない反例も示す。

定義と使える条件

順位と順位和

$N$ 個の実数 $z_1,\dots,z_N$ がすべて異なるとき、$z_k$ の 順位 を $r_k:=\#\{l\le N\mid z_l\le z_k\}$ と定める。順位 $(r_1,\dots,r_N)$ は $\{1,\dots,N\}$ の並べ替えである。

Wilcoxon の順位和検定

2 群のデータ $X_1,\dots,X_m$ と $Y_1,\dots,Y_n$ を合わせた $N:=m+n$ 個がすべて異なるとする。合わせた中での $Y_j$ の順位を $R_j$ とし
$$ W:=\sum_{j=1}^nR_j,\qquad U:=\#\{(i,j)\mid X_i< Y_j\} $$
とおく。$W$ を 順位和統計量、$U$ を Mann–Whitney の $U$ 統計量 という。帰無仮説「$N$ 個は独立で、同じ連続な分布に従う」のもとでの $W$ の分布(帰無分布)を使い、$W$ が大きすぎるか小さすぎるときに帰無仮説を棄てる検定を Wilcoxon の順位和検定(Mann–Whitney 検定)という。

Wilcoxon の符号付き順位検定

$Z_1,\dots,Z_n$ を実数のデータとし、$\lvert Z_1\rvert,\dots,\lvert Z_n\rvert$ はすべて異なり $0$ でないとする。$\lvert Z_i\rvert$ の中での $\lvert Z_i\rvert$ の順位を $R_i^+$ とし
$$ W^+:=\sum_{i:\,Z_i>0}R_i^+ $$
を 符号付き順位和統計量 という。帰無仮説「$Z_1,\dots,Z_n$ は独立で、$0$ について対称な同じ連続分布に従う」のもとでの $W^+$ の分布を使う検定を Wilcoxon の符号付き順位検定 という。$Z_i$ は対になったデータの差 $Z_i=Y_i-X_i$ であることが多い。

分布が $0$ について 対称 であるとは、$Z$ と $-Z$ が同じ分布に従うことをいう。Wilcoxon 検定を使ってよい条件は次のとおりである。

  • (i) データは独立である。
  • (ii) 分布は連続である(同じ値が確率 $0$ で、順位が一意に決まる)。
  • (iii) 帰無仮説は「2 群が 同じ分布」(順位和)、「差の分布が $0$ について対称」(符号付き順位)である。「中央値が等しい」「中央値が $0$」だけでは足りない。
  • (iv) 正規近似(prop-wx-signed-normal)を使うときは標本が大きい。小さいときは正確な分布を使う。

公式の表

量式使える条件根拠
順位の分布順位の並べ替えは $N!$ 通りが等確率(i)(ii)、同じ分布lem-wx-ranks
順位和の平均・分散$E[W]=\frac{n(N+1)}2$、$V[W]=\frac{mn(N+1)}{12}$順位和の帰無仮説thm-wx-ranksum
順位和の対称性$W$ と $n(N+1)-W$ は同じ分布同上thm-wx-ranksum
$U$ との関係$U=W-\frac{n(n+1)}2$同じ値がないprop-wx-mann-whitney
$U$ の平均(一般)$E[U]=mn\,P(X_1< Y_1)$$X$ どうし、$Y$ どうしが同じ分布prop-wx-mann-whitney
帰無分布の漸化式$c_{m,n}(u)=c_{m,n-1}(u-m)+c_{m-1,n}(u)$順位和の帰無仮説prop-wx-recursion
符号付き順位和の分布$W^+\overset{d}{=}\sum_{k=1}^nk\varepsilon_k$($\varepsilon_k$ は独立で $0,1$ を $\frac12$ ずつ)符号付き順位の帰無仮説thm-wx-signed
符号付き順位和の平均・分散$E[W^+]=\frac{n(n+1)}4$、$V[W^+]=\frac{n(n+1)(2n+1)}{24}$同上thm-wx-signed
Walsh 平均による表示$W^+=\#\{(i,j)\mid i\le j,\ Z_i+Z_j>0\}$絶対値が異なり $0$ でないprop-wx-walsh
正規近似$\frac{W^+-n(n+1)/4}{\sqrt{n(n+1)(2n+1)/24}}\Rightarrow N(0,1)$符号付き順位の帰無仮説prop-wx-signed-normal

順位の分布

順位は一様に分布する

$Z_1,\dots,Z_N$ が独立で同じ連続な分布に従うとき、確率 $1$ で $Z_k$ はすべて異なり、順位の組 $(R_1,\dots,R_N)$ は $\{1,\dots,N\}$ の $N!$ 個の並べ替えのそれぞれを確率 $\frac1{N!}$ でとる。とくに、$n$ 個の添字の組 $\{j_1,\dots,j_n\}$ を固定すると、順位の集合 $\{R_{j_1},\dots,R_{j_n}\}$ は $\{1,\dots,N\}$ の $n$ 元部分集合 $\binom Nn$ 個のそれぞれを確率 $1/\binom Nn$ でとる。

入れ替えても同時分布は変わらない

分布 $\mu$ は連続なので、すべての $z$ で $\mu(\{z\})=0$ である。$k\ne l$ について、$Z_k$ と $Z_l$ の独立性と Fubini の定理により $P(Z_k=Z_l)=\int\mu(\{z\})\,\mu(dz)=0$ である。有限個の組についての和をとれば、確率 $1$ で $Z_k$ はすべて異なる。
並べ替え $\pi$ について、事象 $A_\pi:=\{(R_1,\dots,R_N)=\pi\}$ は「$Z_{\pi^{-1}(1)}< Z_{\pi^{-1}(2)}< \cdots< Z_{\pi^{-1}(N)}$」と同じである。$Z_1,\dots,Z_N$ は独立で同じ分布に従うので、並べ替え $\sigma$ について $Z':=(Z_{\sigma(1)},\dots,Z_{\sigma(N)})$ も元と同じ同時分布 $\mu^{\otimes N}$ に従う。$Z'$ について「$Z'_{\pi^{-1}(1)}< \cdots< Z'_{\pi^{-1}(N)}$」という事象は、$Z$ について $A_{\pi\circ\sigma^{-1}}$ である。同時分布が同じなので $P(A_\pi)=P(A_{\pi\circ\sigma^{-1}})$ であり、$\sigma:=\pi'^{-1}\circ\pi$ とすれば $P(A_\pi)=P(A_{\pi'})$ を得る。$A_\pi$($N!$ 個)は互いに素で、その和集合は確率 $1$ なので、各確率は $\frac1{N!}$ である。
最後の主張:$\{R_{j_1},\dots,R_{j_n}\}=S$ となる並べ替えは、$S$ の中の並べ方 $n!$ 通りと残りの並べ方 $(N-n)!$ 通りの積で、どの $S$ でも同じ個数 $n!(N-n)!$ である。よって確率は $n!(N-n)!/N!=1/\binom Nn$ である。$\square$

この補題は分布 $\mu$ が何であっても成り立つ。順位に基づく統計量の帰無分布が分布の形によらないのはこのためである。

主定理 1:順位和の帰無分布

順位和の帰無分布・平均・分散

$X_1,\dots,X_m,Y_1,\dots,Y_n$ がすべて独立で同じ連続な分布に従うとし、$N:=m+n$ とする。このとき

  1. $Y$ の順位の集合は $\{1,\dots,N\}$ の $n$ 元部分集合の上の一様分布に従い、$W$ はその要素の和である。
  2. $E[W]=\dfrac{n(N+1)}2$、$V[W]=\dfrac{mn(N+1)}{12}$ である。
  3. $W$ と $n(N+1)-W$ は同じ分布に従う(帰無分布は $\frac{n(N+1)}2$ について対称)。
非復元抽出の平均と共分散

1 は lem-wx-ranks の最後の主張である。
2:lem-wx-ranks により各 $R_j$ は $\{1,\dots,N\}$ の上の一様分布に従い、$j\ne j'$ について $(R_j,R_{j'})$ は異なる 2 数の順序対 $N(N-1)$ 個の上の一様分布に従う。$\sum_{a=1}^Na=\frac{N(N+1)}2$、$\sum_{a=1}^Na^2=\frac{N(N+1)(2N+1)}6$ から
$$ E[R_j]=\frac{N+1}2,\qquad V[R_j]=\frac{(N+1)(2N+1)}6-\frac{(N+1)^2}4=\frac{N^2-1}{12} $$
である。また
$$ E[R_jR_{j'}]=\frac{1}{N(N-1)}\sum_{a\ne b}ab=\frac{(\sum_aa)^2-\sum_aa^2}{N(N-1)}=\frac{(N+1)(3N+2)}{12} $$
なので $\mathrm{Cov}(R_j,R_{j'})=\frac{(N+1)(3N+2)}{12}-\frac{(N+1)^2}4=-\frac{N+1}{12}$ である。よって $E[W]=\frac{n(N+1)}2$ であり
$$ V[W]=n\cdot\frac{N^2-1}{12}+n(n-1)\cdot\Bigl(-\frac{N+1}{12}\Bigr)=\frac{n(N+1)}{12}\bigl((N-1)-(n-1)\bigr)=\frac{mn(N+1)}{12} $$
である。
3:写像 $a\mapsto N+1-a$ は $\{1,\dots,N\}$ の全単射なので、$n$ 元部分集合 $S$ を $S':=\{N+1-a\mid a\in S\}$ に移す写像も全単射であり、要素の和は $\sum_{a\in S'}a=n(N+1)-\sum_{a\in S}a$ になる。$S$ が一様分布に従えば $S'$ も一様分布に従うので、$W$ と $n(N+1)-W$ は同じ分布に従う。$\square$

順位の和をとる代わりに、2 群の値の大小を直接数えても同じ検定になる。

順位和と Mann–Whitney の統計量
  1. 合わせた $N$ 個がすべて異なるとき、$U=W-\dfrac{n(n+1)}2$ である。
  2. $X_1,\dots,X_m$ が同じ分布に従い、$Y_1,\dots,Y_n$ が同じ分布に従い、各 $X_i$ と $Y_j$ が独立なら、$E[U]=mn\,P(X_1< Y_1)$ である。したがって $U/(mn)$ は $P(X_1< Y_1)$ の不偏推定量である。

1:$Y_j$ の順位 $R_j$ は、$Y_j$ 以下の値の個数である。その内訳は $Y_j$ 自身の $1$ 個、$Y_j$ より小さい $X$ の個数 $\#\{i\mid X_i< Y_j\}$、$Y_j$ より小さい $Y$ の個数である。$Y$ を小さい順に並べると、$k$ 番目の $Y$ より小さい $Y$ は $k-1$ 個なので、これを $j$ について足すと $0+1+\cdots+(n-1)=\frac{n(n-1)}2$ である。よって $W=n+U+\frac{n(n-1)}2$、すなわち $U=W-\frac{n(n+1)}2$ である。
2:$U=\sum_{i,j}\mathbf 1_{\{X_i< Y_j\}}$ の期待値をとると、各項は $P(X_i< Y_j)=P(X_1< Y_1)$ で、項は $mn$ 個ある。$\square$

2 から、$U/(mn)$ は「$Y$ の側から 1 つ、$X$ の側から 1 つ取り出したとき $Y$ の方が大きい確率」を推定している。2 値の判別で、陽性の群のスコアを $Y$、陰性の群のスコアを $X$ とすれば、この量は ROC 曲線の下の面積と同じものである(ESL17 §9.2.5、p. 317)。帰無仮説のもとでは $P(X_1< Y_1)=\frac12$ で、$E[U]=\frac{mn}2$ は thm-wx-ranksum の 2 と 1 から得られる値 $\frac{n(N+1)}2-\frac{n(n+1)}2=\frac{mn}2$ に一致する。

帰無分布の漸化式

$c_{m,n}(u)$ を、$X$ が $m$ 個・$Y$ が $n$ 個の並び($\binom{m+n}n$ 通り)のうち $U=u$ となるものの数とする。$c_{m,0}(0)=c_{0,n}(0)=1$(ほかの $u$ では $0$)で、$m,n\ge1$ について
$$ c_{m,n}(u)=c_{m,n-1}(u-m)+c_{m-1,n}(u) $$
である。帰無仮説のもとで $P(U=u)=c_{m,n}(u)/\binom{m+n}n$ である。

要点:並びの最も大きい値が $Y$ か $X$ かで分ける。

詳しい証明を開く

最大の値が $Y$ なら、その $Y$ はすべての $X$ より大きいので $U$ に $m$ を寄与し、残りの並び($X$ が $m$ 個・$Y$ が $n-1$ 個)の $U$ は $u-m$ である。最大の値が $X$ なら、その $X$ より大きい $Y$ はないので寄与は $0$ で、残りの並び($X$ が $m-1$ 個・$Y$ が $n$ 個)の $U$ は $u$ である。この 2 つの場合は互いに素で、並びを尽くす。最後の主張は thm-wx-ranksum の 1 と prop-wx-mann-whitney の 1 による。$\square$

主定理 2:符号付き順位和の帰無分布

符号付き順位和の帰無分布

$Z_1,\dots,Z_n$ が独立で、$0$ について対称な同じ連続分布に従うとする。$\varepsilon_1,\dots,\varepsilon_n$ を独立で $P(\varepsilon_k=0)=P(\varepsilon_k=1)=\frac12$ の確率変数とすると
$$ W^+\overset{d}{=}\sum_{k=1}^nk\,\varepsilon_k $$
である。とくに $E[W^+]=\dfrac{n(n+1)}4$、$V[W^+]=\dfrac{n(n+1)(2n+1)}{24}$ であり、$W^+$ の分布は $\frac{n(n+1)}4$ について対称である。

符号と絶対値が独立であることを使う

符号と絶対値の独立性。 $Z$ を $0$ について対称な連続分布に従う確率変数とし、$s:=\mathbf 1_{\{Z>0\}}$ とおく。$P(Z=0)=0$ である。$a\ge0$ について、対称性から $P(0< Z\le a)=P(-a\le Z< 0)$ であり、両者の和は $P(\lvert Z\rvert\le a)$ なので
$$ P(s=1,\ \lvert Z\rvert\le a)=P(0< Z\le a)=\tfrac12P(\lvert Z\rvert\le a) $$
である。$a\to\infty$ として $P(s=1)=\frac12$ を得る。事象 $\{\lvert Z\rvert\le a\}$ の全体は $\lvert Z\rvert$ の生成する $\sigma$ 代数を生成する $\pi$ 系なので、$s$ と $\lvert Z\rvert$ は独立である。
全体の独立性。 $(Z_i)$ が独立なので、$(s_1,\dots,s_n)$ と $(\lvert Z_1\rvert,\dots,\lvert Z_n\rvert)$ は独立で、$s_1,\dots,s_n$ は独立で $0,1$ を $\frac12$ ずつとる。$\lvert Z_i\rvert$ の分布も連続である($P(\lvert Z\rvert=a)=P(Z=a)+P(Z=-a)=0$)から、lem-wx-ranks の前半により確率 $1$ で $\lvert Z_i\rvert$ はすべて異なり、順位 $R_i^+$ は $(\lvert Z_1\rvert,\dots,\lvert Z_n\rvert)$ の関数として決まる。
数え直し。 順位の並べ替え $\rho(i):=R_i^+$ を使うと $W^+=\sum_is_iR_i^+=\sum_{k=1}^nk\,s_{\rho^{-1}(k)}$ である。並べ替え $\rho$ を 1 つ固定したとき、$(s_{\rho^{-1}(1)},\dots,s_{\rho^{-1}(n)})$ は $(s_1,\dots,s_n)$ の並べ替えなので、やはり独立で $0,1$ を $\frac12$ ずつとる。$\rho$ は $(s_i)$ と独立な $(\lvert Z_i\rvert)$ の関数なので、$\rho$ で条件付けても $(s_{\rho^{-1}(k)})_k$ の分布は変わらず、$W^+$ は $\sum_kk\varepsilon_k$ と同じ分布に従う。
平均と分散。 $E[\varepsilon_k]=\frac12$、$V[\varepsilon_k]=\frac14$ と独立性から $E[W^+]=\frac12\sum_kk=\frac{n(n+1)}4$、$V[W^+]=\frac14\sum_kk^2=\frac{n(n+1)(2n+1)}{24}$ である。$\varepsilon_k$ を $1-\varepsilon_k$ に替えても分布は同じなので、$\sum_kk\varepsilon_k$ と $\frac{n(n+1)}2-\sum_kk\varepsilon_k$ は同じ分布に従い、対称性を得る。$\square$

帰無分布は、$\{1,\dots,n\}$ の部分集合 $2^n$ 個を等確率で選んだときの要素の和の分布である。その母関数は $2^{-n}\prod_{k=1}^n(1+x^k)$ で、展開の係数から正確な確率が得られる。
次の表示は、符号付き順位和が何を数えているかを示す。

Walsh 平均による表示

$\lvert Z_1\rvert,\dots,\lvert Z_n\rvert$ がすべて異なり $0$ でないとき
$$ W^+=\#\{(i,j)\mid 1\le i\le j\le n,\ Z_i+Z_j>0\} $$
である。$\frac{Z_i+Z_j}2$($i\le j$)を Walsh 平均 といい、$W^+$ は正の Walsh 平均の個数である。

絶対値の大きい方が符号を決める

$i\ne j$ で $\lvert Z_i\rvert< \lvert Z_j\rvert$ なら、$Z_i+Z_j$ の符号は $Z_j$ の符号と同じである。$i=j$ なら $Z_i+Z_i=2Z_i$ の符号は $Z_i$ の符号である。そこで、$i\le j$ の組 $\{i,j\}$ を、絶対値が大きい方($i=j$ ならその添字)に割り当てる。添字 $j$ に割り当てられる組は、$\lvert Z_i\rvert\le\lvert Z_j\rvert$ となる $i$($j$ 自身を含む)ごとに 1 つずつで、その個数は $R_j^+$ である。これらの組はどれも $Z_j>0$ のときに限って $Z_i+Z_j>0$ となる。よって正の組の個数は $\sum_{j:\,Z_j>0}R_j^+=W^+$ である。$\square$

この表示から、帰無仮説を仮定しなくても、$Z_i$ が独立で同じ連続分布に従えば
$$ E[W^+]=n\,P(Z_1>0)+\binom n2P(Z_1+Z_2>0) $$
である($i=j$ の項と $i< j$ の項に分けて期待値をとる)。中央値が $0$ でも分布が対称でなければ $P(Z_1+Z_2>0)\ne\frac12$ となりうるので、$E[W^+]$ は $\frac{n(n+1)}4$ からずれる(反例の表の 3 行目)。

符号付き順位和の正規近似

thm-wx-signed の仮定のもとで、$\sigma_n^2:=\frac{n(n+1)(2n+1)}{24}$ とおくと、$n\to\infty$ で
$$ \frac{W^+-n(n+1)/4}{\sigma_n}\Rightarrow N(0,1) $$
である。

thm-wx-signed により、$W^+$ の代わりに $\sum_kk\varepsilon_k$ を考えてよい。三角配列 $X_{n,k}:=k(\varepsilon_k-\frac12)/\sigma_n$($k=1,\dots,n$)は各行で独立で平均 $0$、行の分散の和は $1$ である。$\lvert X_{n,k}\rvert\le\frac n{2\sigma_n}$ で、$\sigma_n^2\ge\frac{n^3}{12}$ なので右辺は $\sqrt{3/n}$ 以下となり $0$ に近づく。よって $\varepsilon>0$ を固定すると、$n$ が大きければすべての $\lvert X_{n,k}\rvert$ が $\varepsilon$ 以下になり、Lindeberg の条件の和は $0$ になる。Lindeberg–Fellerの中心極限定理 の定理「Lindeberg–Fellerの定理」の 1 により結論を得る。$\square$

順位和 $W$ の正規近似は、非復元抽出の和についての中心極限定理を要するので、この記事では証明しない。正確な分布との比較は例題で示す。

計算の手順

  1. 2 群の比較なら順位和検定、対になったデータなら差 $Z_i$ をとって符号付き順位検定を選ぶ。差が $0$ のデータは除き、$n$ を数え直す。
  2. 順位和検定:合わせたデータを小さい順に並べ、$Y$ の側の順位の和 $W$ を求める。$U=W-\frac{n(n+1)}2$ でもよい(prop-wx-mann-whitney)。
  3. 符号付き順位検定:$\lvert Z_i\rvert$ を小さい順に並べて順位を付け、$Z_i>0$ の順位の和 $W^+$ を求める。
  4. $p$ 値を求める。小さい標本では正確な分布(prop-wx-recursion の漸化式、または母関数 $\prod_k(1+x^k)$ の係数)から求める。大きい標本では、平均と分散(thm-wx-ranksum・thm-wx-signed)で標準化し、連続補正(統計量が整数値なので $0.5$ ずらす)をして標準正規分布と比べる。
  5. 両側検定の $p$ 値は、帰無分布の対称性から片側の $p$ 値の 2 倍とする($1$ を超えれば $1$)。
    場合統計量帰無分布平均・分散
    2 群(独立な標本)$W$ または $U$$n$ 元部分集合の和$\frac{n(N+1)}2$、$\frac{mn(N+1)}{12}$
    対になったデータ$W^+$部分集合の和($2^n$ 通り)$\frac{n(n+1)}4$、$\frac{n(n+1)(2n+1)}{24}$
    同じ値がある中間順位を使う上の表は使えない(反例の表の 1 行目)補正が要る

例題

順位和検定

肥料なしの苗 $X$:$12,15,17,20,22$($m=5$)、肥料ありの苗 $Y$:$18,24,25,28,30,33$($n=6$)。肥料で高くなるかを片側で検定する。
使う公式:thm-wx-ranksum、prop-wx-mann-whitney、prop-wx-recursion。
答え:$Y$ の順位は $4,7,8,9,10,11$ で $W=49$、$U=49-21=28$($U$ の最大は $mn=30$)。帰無仮説のもとで $P(U\ge28)=\frac4{462}\approx0.008658$ なので、有意水準 $5\%$(片側)で棄却する。両側の $p$ 値は $\approx0.017316$。正規近似($E[W]=36$、$V[W]=30$、連続補正)では $z=\frac{48.5-36}{\sqrt{30}}\approx2.2822$、片側 $p\approx0.011239$。$U/(mn)=\frac{28}{30}\approx0.9333$ は $P(X< Y)$ の推定値である。

途中の計算を開く

合わせた並びは $12X,15X,17X,18Y,20X,22X,24Y,25Y,28Y,30Y,33Y$。$U\ge28$ となる並びは $U=30$($Y$ が上位 6 つ)が 1 通り、$U=29$ が 1 通り、$U=28$ が 2 通りで、計 4 通り。$\binom{11}6=462$。

符号付き順位検定

8 人の治療前後の差 $Z_i$:$1.5,\ -0.4,\ 2.1,\ 0.9,\ 3.2,\ -1.1,\ 1.8,\ 0.6$。差の分布が $0$ について対称かを、正の側への片側で検定する。
使う公式:thm-wx-signed、prop-wx-walsh。
答え:$\lvert Z_i\rvert$ の順位は $0.4\to1,\ 0.6\to2,\ 0.9\to3,\ 1.1\to4,\ 1.5\to5,\ 1.8\to6,\ 2.1\to7,\ 3.2\to8$ で、正の差の順位の和は $W^+=5+7+3+8+6+2=31$(正の Walsh 平均の個数も $31$)。$\{1,\dots,8\}$ の部分集合 $256$ 個のうち和が $31$ 以上のものは $10$ 個で、片側 $p=\frac{10}{256}\approx0.039062$。正規近似(平均 $18$、分散 $51$、連続補正)では $z\approx1.7504$、$p\approx0.040029$。

正規近似の精度

使う公式:prop-wx-signed-normal。
答え:符号付き順位和で、$w$ を平均 $+1.645\sigma_n$ の整数部分とした片側確率 $P(W^+\ge w)$ は、正確な値と連続補正をした正規近似で、$n=8$($w=29$)で正確 $0.074219$/近似 $0.070741$、$n=10$($w=43$)で $0.065430$/$0.063139$、$n=20$($w=149$)で $0.052699$/$0.052191$。$n$ とともに差は小さくなる。

図: n = 10 の符号付き順位和の帰無分布(棒)と、平均 27.5・分散 96.25 の正規分布の密度(曲線)。帰無分布は平均について対称で、最も大きい確率は 0.0391 である。 図: n = 10 の符号付き順位和の帰無分布(棒)と、平均 27.5・分散 96.25 の正規分布の密度(曲線)。帰無分布は平均について対称で、最も大きい確率は 0.0391 である。

使える条件と反例

各行は条件 (ii)(iii) のうち 1 つだけを外し、名目の有意水準 $5\%$(両側)の検定の実際の棄却の確率が $5\%$ からずれることを示す。

外す条件反例成り立たなくなること
(ii) 連続(順位和)$X,Y$ とも値 $0,1$ を $\frac12$ ずつとる($m=n=10$)。同じ値には中間順位を使い、連続の場合の正確な棄却域 $U\le23$ または $U\ge77$(正確な水準 $0.043257$)を使う帰無仮説が正しいのに実際の棄却の確率は $0.011818$(lem-wx-ranks の結論が成り立たない)
(iii) 同じ分布(順位和)$X\sim N(0,1)$、$Y\sim N(0,9)$、$m=n=20$。$P(X< Y)=\frac12$ で中央値も等しい。棄却域 $U\le127$ または $U\ge273$「中央値が等しい」を帰無仮説とみると、棄却の確率は約 $0.067$(100 万回の模擬)で水準を超える
(iii) 対称(符号付き順位)$Z=E-\log2$($E$ は平均 $1$ の指数分布)、$n=20$。中央値は $0$。棄却域 $W^+\le52$ または $W^+\ge158$$E[W^+]=10+190\cdot\frac{1+2\log2}4\approx123.35\ne105$ で、棄却の確率は約 $0.10$(4 万回の模擬)
反例の確かめを開く

1 行目:$X$ の $1$ の個数 $a$、$Y$ の $1$ の個数 $b$ を独立な二項分布 $B(10,\frac12)$ とすると、中間順位での $U$ は $\#\{X< Y\}+\frac12\#\{X=Y\}=(10-a)b+\frac12((10-a)(10-b)+ab)$ で、$121$ 通りの $(a,b)$ について正確に足した値。同じ値が多いと $U$ は中央の $50$ の近くに集まり、端の棄却域に入りにくい。2 行目:$U$ の平均は帰無仮説と同じ $200$ だが、分散が帰無仮説の値 $\frac{mn(N+1)}{12}\approx1366.7$ より大きい。実際、$p:=P(X_1< Y_1)$、$q_1:=P(X_1< Y_1,\ X_1< Y_2)$、$q_2:=P(X_1< Y_1,\ X_2< Y_1)$ とおくと $V[U]=mn\bigl(p(1-p)+(n-1)(q_1-p^2)+(m-1)(q_2-p^2)\bigr)$ であり、$(Y_1-X_1,Y_2-X_1)$ と $(Y_1-X_1,Y_1-X_2)$ は相関 $\frac1{10}$ と $\frac9{10}$ の 2 変量正規分布に従うので $q_1=\frac14+\frac{\arcsin(1/10)}{2\pi}$、$q_2=\frac14+\frac{\arcsin(9/10)}{2\pi}$、$V[U]\approx1575.6$ である。よって $U$ は帰無分布に従わない(模擬によらない)。3 行目:$P(Z>0)=P(E>\log2)=\frac12$。$E_1+E_2$ はガンマ分布で $P(E_1+E_2>2\log2)=e^{-2\log2}(1+2\log2)=\frac{1+2\log2}4\approx0.596574$。$E[W^+]$ は prop-wx-walsh のあとの式による。

よくある誤り

誤り正しくはなぜ
順位和検定を「中央値の検定」とみなす帰無仮説は「2 群が同じ分布」反例の表の 2 行目
符号付き順位検定を「中央値が 0 の検定」とみなす帰無仮説は「差の分布が 0 について対称」反例の表の 3 行目
対になったデータに順位和検定を使う差をとって符号付き順位検定を使う順位和検定は 2 群の独立を仮定する(条件 (i))
同じ値があるのに連続の場合の数表を使う中間順位と、同じ値を考慮した分布を使う反例の表の 1 行目
差が 0 のデータを残したまま $n$ を数える0 を除いてから順位を付けるdef-wx-signed は $Z_i\ne0$ を仮定する
正規近似で連続補正を忘れる統計量は整数値なので $0.5$ ずらすex-wx-ranksum で補正なしの $z=2.3735$ と補正ありの $2.2822$

補足

順位和検定と $U$ 検定は同じ検定であり(prop-wx-mann-whitney)、2 群の分布の全体を比べる検定としては Kolmogorov–Smirnov検定 の 2 標本の場合もある。順位だけを使うので、外れた値の影響を受けにくい。帰無仮説のもとでの分布が分布の形によらないのは、lem-wx-ranks による。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する