CochranのQ検定

同義語:コクランのQ検定Cochran's Q testCochran Q test

概要

CochranのQ検定(Cochran's Q test)とは、同じ $n$ 個の対象に $k\ge2$ 個の処理を当てて得た 2 値のデータで、処理によって結果の分布が違うかを調べる検定である。帰無仮説は、対象どうしが独立で、各対象の中で処理を入れ替えても結果の分布が変わらないことで、そのもとで行和を与えると各対象の $1$ の並びは一様になり、統計量 $Q$ の条件付き平均はちょうど $k-1$ である。帰無仮説のもとで結果が分かれた対象の数が増えると $Q$ は自由度 $k-1$ のカイ二乗分布に分布収束し、$k=2$ では McNemar 統計量に、同順位を補正した Friedman 統計量の 2 値の場合に一致する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: McNemar検定, カイ二乗分布, 中心極限定理, 多変量正規分布

同じ $10$ 人の患者に $3$ 種類の検査を行い、それぞれ陽性か陰性かを記録した。3 つの検査で陽性の割合に差があるだろうか。同じ患者を 3 回調べたので 3 つの結果は独立ではなく、独立な標本の割合を比べる検定は使えない。2 つの検査なら McNemar検定 で調べられる。Cochran の $Q$ 検定(Cochran's Q test)は、これを $k\ge2$ 個の処理に広げたもので、対象ごとに「陽性がどの処理に来たか」の並びだけを使う。Cochran が 1950 年に提案した(Coc50)。
この記事では、帰無仮説を「対象の中で処理を入れ替えても分布が変わらない」と定め、そのもとで各対象の行和を与えたときの置換分布から $Q$ の条件付き平均がちょうど $k-1$ であることを示し、結果が分かれた対象の数が増えると $Q$ が自由度 $k-1$ の カイ二乗分布 に分布収束することを証明する。$k=2$ の場合は McNemar 統計量になること、順位による Friedman検定 との関係、帰無仮説を「周辺の割合が等しい」に弱めると $\chi^2_{k-1}$ への収束が成り立たない反例も示す。

定義と使える条件

$n$ 個の対象のそれぞれに $k\ge2$ 個の処理を当て、2 値の結果 $Y_{mj}\in\{0,1\}$($m=1,\dots,n$、$j=1,\dots,k$)を得る。行ベクトルを $Y_m:=(Y_{m1},\dots,Y_{mk})$ とし、
$$ C_j:=\sum_{m=1}^nY_{mj},\qquad R_m:=\sum_{j=1}^kY_{mj},\qquad T:=\sum_jC_j=\sum_mR_m $$
を列の和・行の和・総和とする。$0< R_m< k$ の対象を 結果が分かれた対象 といい、その個数を $n^*$ とする。

Cochran の Q 検定

$n^*\ge1$ のとき $kT-\sum_mR_m^2>0$ であり(prop-cq-projection)、
$$ Q:=\frac{(k-1)\bigl(k\sum_{j=1}^kC_j^2-T^2\bigr)}{kT-\sum_{m=1}^nR_m^2} $$
を Cochran の $Q$ 統計量 という。帰無仮説
$H_0$:$Y_1,\dots,Y_n$ は独立で、各 $Y_m$ の分布は成分の並べ替えで変わらない($\{1,\dots,k\}$ の任意の置換 $\tau$ について $(Y_{m\tau(1)},\dots,Y_{m\tau(k)})$ と $Y_m$ が同じ分布に従う)
を、$Q$ が大きいときに棄てる検定を Cochran の $Q$ 検定 という。

$H_0$ のもとでは $P(Y_{mj}=1)$ は $j$ によらない。逆は $k\ge3$ では成り立たず、「$k$ 個の割合が等しい」だけを帰無仮説とすると $\chi^2_{k-1}$ による近似は正しくない(反例の表の 2 行目)。対象どうしは同じ分布に従わなくてよく、対象ごとに陽性になりやすさが違ってよい。
使ってよい条件は次のとおりである。

  • (i) 対象どうしは独立である。
  • (ii) 1 つの対象の中では、処理を入れ替えても結果の分布が変わらない($H_0$ そのもの)。
  • (iii) $\chi^2_{k-1}$ による近似(thm-cq-asymp)を使うときは、結果が分かれた対象の数 $n^*$ が大きい。小さいときは置換分布で正確な $p$ 値を求める。

公式の表

量式使える条件根拠
置換分布行和 $R_m=r$ を与えた $Y_m$ は $\binom kr$ 通りの並びの上で一様$H_0$lem-cq-uniform
射影の形$Q=\lvert S\rvert^2/v$、$S=C-\frac Tk\mathbf 1$、$v=\sum_m\frac{R_m(k-R_m)}{k(k-1)}$$n^*\ge1$prop-cq-projection
平均$E[Q\mid R_1,\dots,R_n]=k-1$$H_0$、$n^*\ge1$prop-cq-mean
極限$Q\Rightarrow\chi^2_{k-1}$$H_0$、$n^*\to\infty$thm-cq-asymp
一致性$Q\to\infty$独立同分布、割合が等しくないcor-cq-iid
2 つの処理$Q=\frac{(b-c)^2}{b+c}$$k=2$McNemar検定 の命題「2 つの処理では McNemar 統計量」

帰無仮説のもとの置換分布

行和を与えた並びは一様

$Y=(Y_1,\dots,Y_k)\in\{0,1\}^k$ の分布が成分の並べ替えで変わらないとし、$R:=\sum_jY_j$、$0\le r\le k$、$P(R=r)>0$ とする。$R=r$ を与えたとき、$Y$ は $1$ をちょうど $r$ 個もつ $\binom kr$ 個のベクトルの上の一様分布に従う。

1 が r 個のベクトルは互いに並べ替え

$y,y'$ がともに $1$ をちょうど $r$ 個もてば、$y'_j=y_{\tau(j)}$($j=1,\dots,k$)となる置換 $\tau$ がある。仮定から $P(Y=y')=P\bigl((Y_{\tau(1)},\dots,Y_{\tau(k)})=y'\bigr)=P(Y=y)$ である(1 つ目の等号は並べ替えた $Y$ が $Y$ と同じ分布に従うこと、2 つ目は $Y_{\tau(j)}=y_{\tau(j)}$ がすべての $j$ で成り立つことと $Y=y$ が同じ事象であることによる)。$R=r$ の事象はこれら $\binom kr$ 個の値をとる事象の和なので、条件付き確率はどれも $1/\binom kr$ である。$\square$

したがって $H_0$ のもとでは、行和 $R_1,\dots,R_n$ を与えると、各行は独立に、$1$ の置き場所を一様に選んだ並びになる。これを 置換分布 という。$Q$ の帰無分布は行和だけで決まり、各対象の $\binom k{R_m}$ 通りを数え上げれば正確に求まる。全部 $0$ や全部 $1$ の行($R_m\in\{0,k\}$)は並べ替えても変わらない。

Q の射影の形

$\mathbf 1:=(1,\dots,1)\in\mathbb R^k$、$P:=I_k-\frac1k\mathbf 1\mathbf 1^{\top}$ とし、
$$ X_m:=Y_m-\frac{R_m}k\mathbf 1,\qquad S:=\sum_{m=1}^nX_m=C-\frac Tk\mathbf 1,\qquad v:=\sum_{m=1}^n\frac{R_m(k-R_m)}{k(k-1)} $$
とおく($C:=(C_1,\dots,C_k)$)。このとき $kT-\sum_mR_m^2=k(k-1)v$ で、$n^*\ge1$ なら $v>0$ かつ
$$ Q=\frac{\lvert S\rvert^2}{v} $$
である。さらに $H_0$ のもとで行和を与えると、$X_1,\dots,X_n$ は独立で平均 $0$、共分散行列は
$$ \mathrm{Cov}(X_m\mid R_m)=\frac{R_m(k-R_m)}{k(k-1)}\,P,\qquad\mathrm{Cov}(S\mid R_1,\dots,R_n)=v\,P $$
である。

分子・分母を書き直し、1 行の共分散を求める

$R_m^2$ の和について $\sum_mR_m(k-R_m)=kT-\sum_mR_m^2$ なので、分母は $k(k-1)v$ である。$R_m(k-R_m)\ge k-1>0$($0< R_m< k$ のとき)から、$n^*\ge1$ なら $v>0$ である。分子については $\lvert S\rvert^2=\sum_j(C_j-\frac Tk)^2=\sum_jC_j^2-\frac{T^2}k$ なので $k\sum_jC_j^2-T^2=k\lvert S\rvert^2$ である。よって $Q=\frac{(k-1)k\lvert S\rvert^2}{k(k-1)v}=\frac{\lvert S\rvert^2}v$ である。
共分散:lem-cq-uniform により、$R_m=r$ を与えた $Y_m$ は、$r$ 個の $1$ と $k-r$ 個の $0$ からなるベクトルを一様に並べ替えたものである。Kruskal–Wallis検定 の命題「並べ替えた値の群ごとの和」を、値 $a_1,\dots,a_k$($r$ 個が $1$、残りが $0$)、$N=k$、群の大きさをすべて $1$ として使うと、$E[Y_{mj}]=\frac rk$、$\sigma^2=\frac rk(1-\frac rk)$ で
$$ V[Y_{mj}]=\sigma^2=\frac{r(k-r)}{k^2},\qquad\mathrm{Cov}(Y_{mj},Y_{ml})=-\frac{\sigma^2}{k-1}=-\frac{r(k-r)}{k^2(k-1)}\quad(j\ne l) $$
である。行列で書くと $\frac{r(k-r)}{k(k-1)}\bigl(I_k-\frac1k\mathbf 1\mathbf 1^{\top}\bigr)$ で(対角は $\frac{r(k-r)}{k(k-1)}\cdot\frac{k-1}k$、非対角は $-\frac{r(k-r)}{k(k-1)}\cdot\frac1k$)、$X_m$ は $Y_m$ から行和で決まる定数を引いたものなので同じ共分散をもち、平均は $0$ である。行どうしの独立は $H_0$ と lem-cq-uniform の直後の段落(置換分布)による。$S$ の共分散は独立な和なので足し合わせて $vP$ である。$\square$

$\mathbf 1^{\top}X_m=R_m-R_m=0$ なので、$X_m$ も $S$ も $\mathbf 1$ に直交する $k-1$ 次元の部分空間に入る。$P$ はその部分空間への直交射影である。$Q$ は列の和のばらつき $\lvert S\rvert^2$ を、置換分布のもとでのその大きさの目安 $v$ で割ったものである。$R_m\in\{0,k\}$ の行は $X_m=0$ で、$v$ にも $0$ しか足さないので、$Q$ に寄与しない。

条件付き平均は k−1

$H_0$ のもとで、行和 $R_1,\dots,R_n$ を与え $n^*\ge1$ とすると $E[Q\mid R_1,\dots,R_n]=k-1$ である。

prop-cq-projection により、行和を与えると $v$ は定数で、$E[\lvert S\rvert^2\mid R]=\operatorname{tr}\mathrm{Cov}(S\mid R)=v\operatorname{tr}P=v(k-1)$ である($E[S\mid R]=0$)。よって $E[Q\mid R]=k-1$ である。$\square$

主定理:カイ二乗分布への収束

置換分布のもとでの極限

$k\ge2$ を固定し、$\{0,1,\dots,k\}$ の数の列 $r_1,r_2,\dots$ を与える。各 $n$ について、$Y_1,\dots,Y_n$ は独立で、$Y_m$ は $1$ をちょうど $r_m$ 個もつベクトルの上の一様分布に従うとする($H_0$ のもとで行和を与えた分布)。$n^*_n:=\#\{m\le n:0< r_m< k\}\to\infty$ なら
$$ Q\Rightarrow\chi^2_{k-1}\qquad(n\to\infty) $$
である。

1 次結合ごとの中心極限定理と射影

$v_n:=\sum_{m\le n}c_m$、$c_m:=\frac{r_m(k-r_m)}{k(k-1)}$ とおく。$0< r_m< k$ なら $c_m\ge\frac{k-1}{k(k-1)}=\frac1k$ なので $v_n\ge\frac{n^*_n}k\to\infty$ である。十分大きい $n$ では $n^*_n\ge1$ で、prop-cq-projection により $Q=\lvert S_n/\sqrt{v_n}\rvert^2$($S_n:=\sum_{m\le n}X_m$)である。
$Z\sim N_k(0,P)$ とし、$S_n/\sqrt{v_n}\Rightarrow Z$ を示す。Lévyの連続性定理 の系「Cramér–Wold の方法」により、各 $a\in\mathbb R^k$ について $a^{\top}S_n/\sqrt{v_n}\Rightarrow a^{\top}Z$ を示せばよい。多変量正規分布 の定理「1 次変換で多変量正規分布は保たれる」により $a^{\top}Z\sim N(0,a^{\top}Pa)$ である。

  • $a^{\top}Pa=0$ のとき:$\lvert Pa\rvert^2=a^{\top}P^2a=a^{\top}Pa=0$ で $Pa=0$、すなわち $a$ は $\mathbf 1$ の定数倍である。$\mathbf 1^{\top}X_m=0$ なので $a^{\top}S_n=0$ で、$a^{\top}Z$ も分散 $0$ で $0$ である。
  • $a^{\top}Pa>0$ のとき:$\xi_m:=a^{\top}X_m$ は独立で平均 $0$、分散 $c_m\,a^{\top}Pa$ である(prop-cq-projection)。$\lvert X_m\rvert^2=r_m(1-\frac{r_m}k)^2+(k-r_m)\frac{r_m^2}{k^2}=\frac{r_m(k-r_m)}k\le\frac k4$ なので $\lvert\xi_m\rvert\le\lvert a\rvert\frac{\sqrt k}2$ で、項は一様に有界である。分散の和 $s_n^2=v_n\,a^{\top}Pa\to\infty$ なので、Lindeberg–Fellerの中心極限定理 の系「独立同分布の場合と一様に有界な項の場合」の 2 により $a^{\top}S_n/s_n\Rightarrow N(0,1)$、すなわち $a^{\top}S_n/\sqrt{v_n}\Rightarrow N(0,a^{\top}Pa)$ である。
    よって $S_n/\sqrt{v_n}\Rightarrow Z$ である。$x\mapsto\lvert x\rvert^2$ は $\mathbb R^k$ 上の連続関数なので、有界連続関数 $g$ について $g(\lvert x\rvert^2)$ も有界連続で、$Q\Rightarrow\lvert Z\rvert^2$ である。最後に $\lvert Z\rvert^2$ の分布を求める。$W\sim N_k(0,I_k)$ とすると、同じ定理により $PW\sim N_k(0,PP^{\top})=N_k(0,P)$ なので $\lvert Z\rvert^2$ と $\lvert PW\rvert^2=W^{\top}P^2W=W^{\top}PW$ は同じ分布に従う。$P$ は対称で $P^2=P$、$\operatorname{rank}P=\operatorname{tr}P=k-1$ なので、カイ二乗分布 の定理「2 次形式がカイ二乗分布に従う条件」により $W^{\top}PW\sim\chi^2_{k-1}$ である。$\square$

自由度が $k$ でなく $k-1$ なのは、各行で $\mathbf 1^{\top}X_m=0$ となり、$S$ が $k-1$ 次元の部分空間に入るからである。全部 $0$・全部 $1$ の行がいくら多くても $n^*$ が増えなければ近似はよくならない。

独立同分布の行の場合と一致性

$Y_1,Y_2,\dots$ は独立で同じ分布に従い、$P(0< R_1< k)>0$ とする。

  1. $H_0$ のもとで $Q\Rightarrow\chi^2_{k-1}$。
  2. $p_j:=P(Y_{1j}=1)$ がすべては等しくないなら、$Q\to\infty$(概収束)。とくに Cochran の $Q$ 検定が棄てる確率は $1$ に近づく。
行和で条件付ける

1:大数の強法則 により $n^*_n/n\to P(0< R_1< k)>0$(概収束)なので、確率 $1$ で $n^*_n\to\infty$ である。行どうしが独立なので、行和の列 $(R_m)_{m\ge1}$ を与えると行は独立で、lem-cq-uniform により $Y_m$ は $1$ を $R_m$ 個もつベクトルの上で一様である。よって $\chi^2_{k-1}$ の分布関数を $F$ とすると、確率 $1$ の行和の列について thm-cq-asymp から $P(Q\le x\mid(R_m))\to F(x)$(各 $x$)であり、有界収束定理により $P(Q\le x)\to F(x)$ である。
2:$\bar p:=\frac1k\sum_jp_j$ とおく。大数の強法則により $\frac{S_n}n\to(p_1-\bar p,\dots,p_k-\bar p)\ne0$、$\frac{v_n}n\to E\bigl[\frac{R_1(k-R_1)}{k(k-1)}\bigr]$(概収束)である。$p_j$ がすべては等しくないとき $P(0< R_1< k)>0$ は自動的に成り立ち(行がつねに全部 $0$ か全部 $1$ なら $p_j$ はすべて等しい)、右の極限は正である。よって $\frac Qn=\frac{\lvert S_n/n\rvert^2}{v_n/n}$ は正の数に概収束し、$Q\to\infty$ である。$\square$

ほかの検定との関係

2 つの処理。 $k=2$ では、結果が $(1,0)$ の対象の数を $b$、$(0,1)$ の数を $c$ とすると $Q=\frac{(b-c)^2}{b+c}$ で、McNemar検定 の統計量に一致する(McNemar検定 の命題「2 つの処理では McNemar 統計量」)。このとき $H_0$ は「$(1,0)$ と $(0,1)$ の確率が等しい」で、2 つの割合が等しいことと同じである。thm-cq-asymp と cor-cq-iid は、McNemar 検定の定理「帰無分布の極限と一致性」の $k$ 個の処理への一般化になっている(独立同分布の行での極限と一致性が cor-cq-iid)。
Friedman 検定。 各対象をブロックとみて、行の中で $0$ と $1$ に中間順位を与えて同順位を補正した Friedman検定 の統計量は、$Q$ に等しい(Friedman検定 の命題「2 値のデータでは Cochran の Q」)。Cochran の $Q$ 検定は、2 値のデータに対する Friedman 検定とみることもできる。

計算の手順

  1. 対象ごとに行和 $R_m$、処理ごとに列和 $C_j$、総和 $T$ を求める。
  2. $Q=\frac{(k-1)(k\sum_jC_j^2-T^2)}{kT-\sum_mR_m^2}$ を計算する。全部 $0$・全部 $1$ の対象は除いても $Q$ は変わらない。
  3. 結果が分かれた対象が少ないときは、各対象の $1$ の並び $\binom k{R_m}$ 通りをすべて数え、正確な $p$ 値 $P(Q\ge Q_{\mathrm{obs}})$ を求める。多いときは $\chi^2_{k-1}$ の上側確率で近似する。
  4. $H_0$ を棄てたら、どの 2 つの処理が違うかを McNemar 検定で調べる。そのときは検定の数で水準を調整する(多重検定)。

例題

3 つの検査の比較

$10$ 人に検査 A・B・C を行い、陽性を $1$ とした結果が次のとおりだった(数は作ったものである)。$(1,1,1)$ が $2$ 人、$(0,0,0)$ が $1$ 人、$(1,1,0)$ が $3$ 人、$(1,0,0)$ が $2$ 人、$(1,0,1)$ と $(0,1,0)$ が $1$ 人ずつ。
使う公式:def-cq-main、prop-cq-mean、thm-cq-asymp。
答え:$C=(8,6,3)$、$T=17$、$\sum_mR_m^2=2\cdot9+4\cdot4+3\cdot1=37$ で
$$ Q=\frac{2\,(3\cdot(64+36+9)-289)}{3\cdot17-37}=\frac{2\cdot38}{14}=\frac{38}7\approx5.429 $$
である。結果が分かれた $7$ 人は行和が $2$ の $4$ 人と $1$ の $3$ 人で、それぞれ $3$ 通りの並びがあるので、置換分布は $3^7=2187$ 通りの等確率の並びで決まる。そのうち $Q\ge\frac{38}7$ となるのは $180$ 通りで、正確な $p$ 値は $\frac{20}{243}\approx0.0823$ である。$\chi^2_2$ による近似では $p\approx e^{-Q/2}\approx0.0663$ になる。$2187$ 通りの $Q$ の平均はちょうど $2$ で prop-cq-mean に合い、この行和での正確な水準 $5\%$ の棄却域は $Q>\frac{38}7$(確率 $\frac{22}{729}\approx0.030$)である。

使える条件と反例

各行は条件を 1 つだけ外し、thm-cq-asymp または cor-cq-iid の 1 の結論「$Q\Rightarrow\chi^2_{k-1}$」が成り立たないことを示す。

外す条件反例成り立たなくなる結論
(i) 対象どうしの独立$k=3$。$n$ 個の行がすべて同じ 1 つの行の写しで、その行は $1$ が $1$ 個の 3 通りの並びを $\frac13$ ずつとる(各行は $H_0$ を満たす)$Q=2n$ がつねに成り立ち、$\chi^2_2$ に分布収束しない。$n\ge3$ では $5\%$ 点を超え、棄てる確率は $1$
(ii) 処理の入れ替えで分布が変わらない(割合が等しいだけにする)$k=3$、各行は独立に $(1,1,0)$ か $(0,0,1)$ を $\frac12$ ずつとる。$p_1=p_2=p_3=\frac12$$Q\Rightarrow2\chi^2_1$ で、$\chi^2_2$ に収束しない。$\chi^2_2$ の $5\%$ 点 $5.991$ を超える確率は約 $0.0835$ に近づく
(iii) $n^*\to\infty$行和を $r_1=1$、$r_m=0$($m\ge2$)とする$Q=k-1$ がどの $n$ でも成り立ち(定数)、$\chi^2_{k-1}$ に収束しない
反例の確かめを開く

1 行目:写しの行を $y$ とすると $S=nX_1$、$v=n\cdot\frac{1\cdot2}{3\cdot2}=\frac n3$、$\lvert X_1\rvert^2=\frac{1\cdot2}3=\frac23$ なので $Q=\frac{n^2\cdot\frac23}{n/3}=2n$。2 行目:$(1,1,0)$ の行の数を $N_1$、$(0,0,1)$ の数を $N_2=n-N_1$ とすると、どちらの行も $R_m(3-R_m)=2$ で $kT-\sum R_m^2=2n$。$C=(N_1,N_1,N_2)$、$T=2N_1+N_2$ から $k\sum C_j^2-T^2=2(N_1-N_2)^2$ で、$Q=\frac{2\cdot2(N_1-N_2)^2}{2n}=\frac{2(N_1-N_2)^2}n$。$N_1-N_2$ は独立な $\pm1$ の $n$ 個の和なので 中心極限定理 により $\frac{(N_1-N_2)^2}n\Rightarrow\chi^2_1$。$P(2\chi^2_1>5.991)=P(\lvert Z\rvert>1.731)\approx0.0835$。この分布は処理の入れ替えで変わらない分布ではない($(1,0,1)$ の確率は $0$ だが $(1,1,0)$ は $\frac12$)。3 行目:結果が分かれた行は 1 つだけなので、prop-cq-projection で $Q=\frac{\lvert X_1\rvert^2}{c_1}=\frac{(k-1)/k}{1/k}=k-1$。

よくある誤り

誤り正しくはなぜ
処理と結果の $k\times2$ 表を作って独立性の カイ二乗検定 をするCochran の $Q$ 検定を使う同じ対象の結果は独立でなく、分割表 の検定の前提(対象が別々)が成り立たない
「$k$ 個の割合が等しい」ことの検定とみなす帰無仮説は処理を入れ替えても分布が変わらないこと反例の表の 2 行目:割合が等しくても極限は $2\chi^2_1$
全部 $0$・全部 $1$ の対象が多いから近似がよいと考える結果が分かれた対象の数 $n^*$ を見るそれらの行は $Q$ にも $v$ にも寄与しない(prop-cq-projection)
自由度を $k$ とする$k-1$$S$ は $\mathbf 1$ に直交する $k-1$ 次元に入る(prf-cq-asymp)

関連項目

参考文献

[1]
W. G. Cochran, The Comparison of Percentages in Matched Samples, Biometrika 37 (1950), no. 3–4, pp. 256–266, 1950

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する