多重比較(multiple comparisons)とは、同じデータについて多くの仮説を同時に検定するときに、全体としての誤りの確率や割合を抑える方法の総称である。誤った棄却が 1 つでも起こる確率(族ごとの誤り率、FWER)は、$p$ 値を小さい順に $\alpha/m,\alpha/(m-1),\dots$ と比べる Holm の方法で、$p$ 値の依存関係によらず $\alpha$ 以下に抑えられる。棄却したもののうち誤りの割合の期待値(偽発見率、FDR)は、$p_{(k)}\le kq/m$ となる最大の $k$ まで棄却する Benjamini–Hochberg の方法で、正しい帰無仮説の $p$ 値がほかと独立なら $q$ 以下に抑えられる。正規分布の平均のすべての対比を同時に覆う区間は Scheffé の方法で作れる。
同じデータについて多くの仮説を同時に検定すると、1 つ 1 つの検定の第 1 種の誤りの確率を $\alpha$ に抑えても、「どこかで誤って棄却する」確率は大きくなる。第 1 種の誤りの確率がちょうど $0.05$ の互いに独立な $20$ 個の検定を行えば、すべての帰無仮説が正しくても、少なくとも 1 つを誤って棄却する確率は $1-0.95^{20}=0.6415\ldots$ である(仮説検定(高校数学) の反例「検定をたくさん行う」)。この問題に対処する方法をまとめて 多重比較(multiple comparisons)または 多重検定 という。
この記事では、誤りの尺度として 族ごとの誤り率(FWER:誤った棄却が 1 つでも起こる確率)と 偽発見率(FDR:棄却したもののうち誤りの割合の期待値)を定め、それぞれを抑える代表的な方法を証明つきで述べる。FWER については、$p$ 値どうしの依存関係を何も仮定せずに使える Holm の方法(主定理 1)、FDR については、正しい帰無仮説の各 $p$ 値がほかの $p$ 値と独立なときの Benjamini–Hochberg の方法(主定理 2)である。最後に、正規分布の平均のすべての対比を同時に扱う Scheffé の方法を示す。
データ $X$ の分布が母数 $\theta\in\Theta$ で $P_\theta$ と決まるとし、$m$ 個の帰無仮説 $H_i\colon\theta\in\Theta_i$($i=1,\dots,m$、$\Theta_i\subset\Theta$)を考える。各 $H_i$ について 妥当な $p$ 値 $p_i=p_i(X)$、すなわち $\theta\in\Theta_i$ ならすべての $0\le u\le1$ で $P_\theta(p_i\le u)\le u$ を満たす確率変数が与えられているとする(p値 の定理「$p$ 値の妥当性」)。データから棄却する仮説の番号の集合 $\mathcal R=\mathcal R(X)\subset\{1,\dots,m\}$ を定める規則を 多重検定の手順 という。
母数 $\theta$ について、正しい帰無仮説の番号の集合を $I_0(\theta):=\{i\mid\theta\in\Theta_i\}$、その個数を $m_0:=\lvert I_0(\theta)\rvert$ とし、
$$
R:=\lvert\mathcal R\rvert,\qquad V:=\lvert\mathcal R\cap I_0(\theta)\rvert
$$
とおく。$R$ は棄却した仮説の個数、$V$ はそのうち誤って棄却した(正しい帰無仮説を棄却した)個数である。
FWER を強く制御する手順を使えば、どの帰無仮説が正しくても、棄却したもの全体が誤りを含まない確率が $1-\alpha$ 以上になる。FDR は、棄却したもの(「発見」)のうち誤りの割合の期待値であり、多くの仮説を調べて有望なものを選ぶ場面で使われる(ESL17 §18.7、(18.43)(p. 687))。
どの手順についても、すべての $\theta$ で $\mathrm{FDR}(\theta)\le\mathrm{FWER}(\theta)$ である。すべての帰無仮説が正しい($m_0=m$)なら等号が成り立つ。
$V\le R$ なので、$V\ge1$ なら $\frac V{\max(R,1)}=\frac VR\le1$、$V=0$ なら $0$ である。よって $\frac V{\max(R,1)}\le\mathbf 1_{\{V\ge1\}}$ で、期待値をとれば不等式を得る。$m_0=m$ なら $V=R$ なので、$\frac V{\max(R,1)}=\mathbf 1_{\{V\ge1\}}$ である。$\square$
したがって、FDR を水準 $q$ で抑える手順は FWER を弱く制御するが、強く制御するとは限らない(ex-mc-bh-fwer)。FDR は FWER より緩い尺度で、その分だけ多く棄却できる。
Bonferroni の方法 は、$p_i\le\alpha/m$ となる $H_i$ をすべて棄却する。すべての帰無仮説が正しいときに FWER が $\alpha$ 以下になることは p値 の命題「多重検定の Bonferroni 補正」で示されている。同じ劣加法性の議論で、一般の $\theta$ でも $P_\theta(V\ge1)\le\sum_{i\in I_0(\theta)}P_\theta(p_i\le\frac\alpha m)\le\frac{m_0}m\alpha\le\alpha$ となり、強い制御が成り立つ。ただし $m$ が大きいと閾値 $\alpha/m$ はとても小さく、棄却がほとんど起こらない。次の方法は、同じ保証のまま、Bonferroni の方法が棄却するものをすべて棄却し、ときにはそれより多く棄却する。
$p$ 値を小さい順に $p_{(1)}\le p_{(2)}\le\dots\le p_{(m)}$ と並べ(同じ値は番号の小さい順とする)、対応する仮説を $H_{(1)},\dots,H_{(m)}$ とする。
$$
j^*:=\min\Bigl\{j\Bigm| p_{(j)}>\frac\alpha{m-j+1}\Bigr\}\qquad(\text{そのような }j\text{ がなければ }j^*:=m+1)
$$
とおき、$H_{(1)},\dots,H_{(j^*-1)}$ を棄却する。すなわち、最小の $p$ 値を $\alpha/m$ と、2 番目を $\alpha/(m-1)$ と、…、比べていき、初めて閾値を超えたところで止める。
$p_1,\dots,p_m$ が妥当な $p$ 値なら、それらの依存関係によらず、
1。 $\theta$ を固定し、$I_0:=I_0(\theta)$、$m_0:=\lvert I_0\rvert$ とする。$m_0=0$ なら $V=0$ である。$m_0\ge1$ とし、並べた順で最初に現れる正しい帰無仮説の位置を $j_0$ とする。つまり $H_{(1)},\dots,H_{(j_0-1)}$ はどれも正しくない帰無仮説で、$p_{(j_0)}=\min_{i\in I_0}p_i$ である。正しくない帰無仮説は $m-m_0$ 個しかないので $j_0-1\le m-m_0$、すなわち $m-j_0+1\ge m_0$ である。
Holm の方法が正しい帰無仮説を 1 つでも棄却したとする。棄却されるのは並べた順の先頭の $j^*-1$ 個なので、$H_{(j_0)}$ も棄却され、$j_0< j^*$ である。$j^*$ の定義から $p_{(j_0)}\le\frac\alpha{m-j_0+1}\le\frac\alpha{m_0}$ である。したがって
$$
\{V\ge1\}\subset\Bigl\{\min_{i\in I_0}p_i\le\frac\alpha{m_0}\Bigr\}=\bigcup_{i\in I_0}\Bigl\{p_i\le\frac\alpha{m_0}\Bigr\}
$$
であり、劣加法性と妥当性から $P_\theta(V\ge1)\le\sum_{i\in I_0}P_\theta(p_i\le\frac\alpha{m_0})\le m_0\cdot\frac\alpha{m_0}=\alpha$ である。
2。 $p_i\le\alpha/m$ とし、$H_i$ が並べた順で $j$ 番目にあるとする。$j'\le j$ なら $p_{(j')}\le p_i\le\frac\alpha m\le\frac\alpha{m-j'+1}$ なので、$j^*>j$ であり、$H_i$ は棄却される。$\square$
1 の証明で鍵になるのは、正しい帰無仮説の $p$ 値の最小値が、閾値 $\alpha/m$ ではなく、それより大きい $\alpha/m_0$ と比べられることである。Holm の方法は「正しい帰無仮説の個数 $m_0$ は分からないが、先に棄却した仮説が正しくないなら残りは高々 $m-j+1$ 個」という情報を順に使っている。2 から、Bonferroni の方法の誤った棄却は Holm の方法の誤った棄却に含まれるので、Bonferroni の方法の強い制御も 1 から従う。
$p$ 値どうしが独立なら、閾値をもう少し大きくできる。
$\theta$ を固定し、正しい帰無仮説の $p$ 値 $p_i$($i\in I_0(\theta)$)が互いに独立であるとする。$c_m:=1-(1-\alpha)^{1/m}$ とおき、$p_i\le c_m$ となる $H_i$ をすべて棄却すると、$P_\theta(V\ge1)\le\alpha$ である。また $m\ge2$ なら $c_m>\alpha/m$ である。
独立性と妥当性から $P_\theta(V=0)=\prod_{i\in I_0}P_\theta(p_i>c_m)\ge(1-c_m)^{m_0}\ge(1-c_m)^m=1-\alpha$ である。後半は、$m\ge2$、$0< \alpha< 1$ なら Bernoulli の不等式 $(1-\frac\alpha m)^m>1-\alpha$ が成り立ち、両辺の $m$ 乗根をとると $1-\frac\alpha m>(1-\alpha)^{1/m}$ となることによる。$\square$
$m=20$、$\alpha=0.05$ では、Bonferroni の閾値は $0.0025$、Šidák の閾値は $c_{20}=0.002561\ldots$ で、差はわずかである。独立性を外すと Šidák の閾値は保証を失う(反例の表)。
$0< q< 1$ を定め、$k=0,1,\dots,m$ について $N(k):=\#\{i\mid p_i\le kq/m\}$ とおく($N(0)=\#\{i\mid p_i\le0\}$)。
$$
R_{\mathrm{BH}}:=\max\{k\in\{0,1,\dots,m\}\mid N(k)\ge k\}
$$
とおき、$p_i\le R_{\mathrm{BH}}\,q/m$ となる $H_i$ をすべて棄却する($R_{\mathrm{BH}}=0$ なら何も棄却しない)。$p$ 値を小さい順に並べると、$N(k)\ge k$ は $p_{(k)}\le kq/m$ と同値なので、$R_{\mathrm{BH}}$ は「$p_{(k)}\le kq/m$ となる最大の $k$」であり、点 $(k,p_{(k)})$ が直線 $y=\frac qmx$ の上側にない最後の $k$ である(ESL17 Algorithm 18.2(p. 688))。
Holm の方法が小さい方から順に調べて初めて閾値を超えたところで止めるのに対し、Benjamini–Hochberg の方法(BH 法)は大きい方から調べて初めて閾値以下になったところで止める。$q=\alpha$ なら、閾値 $kq/m$ は Holm の $\alpha/(m-k+1)$ 以上で(差は $\frac{q(k-1)(m-k)}{m(m-k+1)}$)、$1< k< m$ では真に大きい($k=1$ と $k=m$ では一致する)。
1。 $r:=R_{\mathrm{BH}}$ とおく。棄却する個数は $N(r)$ で、$N(r)\ge r$ である。$N(r)>r$ とすると、$s:=N(r)\le m$ について $N(s)\ge N(r)=s$($N$ は非減少)となり、$r$ の最大性に反する。よって $N(r)=r$ である($r=0$ でも $N(0)\ge0$ と同じ議論で $N(0)=0$)。
2。 置き換えたあとの個数を $N^{(i)}(k)$ とすると、$p_i\le kq/m$ を満たす $k$ では $N^{(i)}(k)=N(k)$、そうでない $k$ では $N^{(i)}(k)=N(k)+1$ である。$p_i\le kq/m$ と仮定すると、$k'\ge k$ でも $p_i\le k'q/m$ なので $N^{(i)}(k')=N(k')$ である。$R=k$ なら $N^{(i)}(k)=N(k)\ge k$ で、$k'>k$ では $N^{(i)}(k')=N(k')< k'$ なので $R^{(i)}=k$ である。逆に $R^{(i)}=k$ なら $N(k)=N^{(i)}(k)\ge k$ で、$k'>k$ では $N(k')=N^{(i)}(k')< k'$ なので $R=k$ である。$\square$
$\theta$ を固定し、正しい帰無仮説の各 $p$ 値 $p_i$($i\in I_0(\theta)$)は妥当で、残りの $p$ 値の組 $(p_j)_{j\ne i}$ と独立であるとする。このとき BH 法は
$$
\mathrm{FDR}(\theta)\le\frac{m_0}m\,q\le q
$$
を満たす。さらに正しい帰無仮説の $p$ 値が $[0,1]$ 上の一様分布に従うなら、$\mathrm{FDR}(\theta)=\frac{m_0}mq$ である。正しくない帰無仮説の $p$ 値の分布には何も仮定しない。
$i\in I_0:=I_0(\theta)$ とする。lem-mc-bh の 1 から、$H_i$ が棄却されて $R=k$ となるのは、$p_i\le kq/m$ かつ $R=k$ のときである。したがって
$$
\frac V{\max(R,1)}=\sum_{i\in I_0}\sum_{k=1}^m\frac1k\,\mathbf 1_{\{p_i\le kq/m,\ R=k\}}=\sum_{i\in I_0}\sum_{k=1}^m\frac1k\,\mathbf 1_{\{p_i\le kq/m,\ R^{(i)}=k\}}
$$
である(2 つめの等号は lem-mc-bh の 2)。$R^{(i)}$ は $(p_j)_{j\ne i}$ の関数なので $p_i$ と独立であり、妥当性から
$$
E_\theta\Bigl[\frac V{\max(R,1)}\Bigr]=\sum_{i\in I_0}\sum_{k=1}^m\frac1k\,P_\theta\Bigl(p_i\le\frac{kq}m\Bigr)P_\theta(R^{(i)}=k)\le\sum_{i\in I_0}\frac qm\sum_{k=1}^mP_\theta(R^{(i)}=k)
$$
である。$p_i$ を $0$ に置き換えると $N^{(i)}(1)\ge1$ なので $R^{(i)}\in\{1,\dots,m\}$ であり、内側の和は $1$ になる。よって $\mathrm{FDR}(\theta)\le m_0q/m$ である。一様分布なら $P_\theta(p_i\le kq/m)=kq/m$ で、不等号は等号になる。$\square$
lem-mc-bh の 2 は、「$p_i$ が閾値以下である限り、$R$ は $p_i$ の値によらない」ことを述べている。これで $p_i$ と $R$ の依存を断ち切れるのが証明の要点である。$m_0$ が $m$ より小さいほど FDR は $q$ より小さくなり、BH 法はその分だけ保守的である。
独立性の仮定は外せない。ex-mc-bh-dependent では、2 つの $p$ 値がどちらも一様分布に従い、すべての帰無仮説が正しいのに、BH 法の FDR は $\frac32q$ になる。
群の平均を比べる場面では、比べ方をデータを見てから選ぶことが多い。$k\ge2$ とし、$X=(X_1,\dots,X_k)^{\mathsf T}$ の成分が独立に $N(\mu_j,\sigma^2)$ に従い、$\sigma>0$ は既知とする(たとえば各群の標本平均)。$\sum_jc_j=0$ を満たす $c\in\mathbb R^k$、$c\ne0$ を 対比 といい、その全体を $\mathcal C$ とする。$\mu_a-\mu_b$($c=e_a-e_b$)のような 2 群の差は対比である。$c_\alpha$ を自由度 $k-1$ の カイ二乗分布 の上側 $\alpha$ 点($P(\chi^2_{k-1}>c_\alpha)=\alpha$)とする。$\|c\|:=\sqrt{c^{\mathsf T}c}$ である。
すべての $\mu\in\mathbb R^k$ について
$$
P_\mu\Bigl(\text{すべての }c\in\mathcal C\text{ について }\bigl\lvert c^{\mathsf T}X-c^{\mathsf T}\mu\bigr\rvert\le\sigma\|c\|\sqrt{c_\alpha}\Bigr)=1-\alpha
$$
である。
$Y:=(X-\mu)/\sigma$ の成分は独立に $N(0,1)$ に従う。$\mathbf 1:=(1,\dots,1)^{\mathsf T}$、$P:=I_k-\frac1k\mathbf 1\mathbf 1^{\mathsf T}$ とおくと、$P$ は対称で $P^2=P$、$\operatorname{rank}P=k-1$ であり、$c\in\mathcal C$ なら $Pc=c$ である。
段 1。 $\sup_{c\in\mathcal C}\frac{\lvert c^{\mathsf T}Y\rvert}{\|c\|}=\|PY\|$ を示す。$c\in\mathcal C$ なら $c^{\mathsf T}Y=(Pc)^{\mathsf T}Y=c^{\mathsf T}PY$ なので、Cauchy–Schwarz の不等式から $\lvert c^{\mathsf T}Y\rvert\le\|c\|\|PY\|$ である。$PY\ne0$ なら $c:=PY$ は $\mathbf 1^{\mathsf T}PY=0$ より対比で、$c^{\mathsf T}PY=\|PY\|^2$ なので等号が成り立つ。$PY=0$ なら両辺は $0$ である。
段 2。 段 1 から、確率を求める事象は $\{\|PY\|^2\le c_\alpha\}$ に等しい。$\|PY\|^2=Y^{\mathsf T}P^{\mathsf T}PY=Y^{\mathsf T}PY$ で、カイ二乗分布 の定理「2 次形式がカイ二乗分布に従う条件」により $Y^{\mathsf T}PY$ は自由度 $k-1$ のカイ二乗分布に従う。カイ二乗分布は連続なので、確率は $1-\alpha$ である。$\square$
対比をいくつ(無限個)考えても、同時に成り立つ確率がちょうど $1-\alpha$ である。そのため、データを見てから選んだ対比にもそのまま使える。代わりに、比べるものが少数に決まっているなら Bonferroni の方法の方が区間が短いことがある(ex-mc-scheffe-bonferroni)。
$m=5$、$\alpha=q=0.05$ とし、$p$ 値が小さい順に $0.001,\ 0.008,\ 0.012,\ 0.035,\ 0.30$ だったとする。
| 順位 $j$ | $p_{(j)}$ | Bonferroni の閾値 $\alpha/m$ | Holm の閾値 $\alpha/(m-j+1)$ | BH の閾値 $jq/m$ |
|---|---|---|---|---|
| 1 | $0.001$ | $0.01$ | $0.01$ | $0.01$ |
| 2 | $0.008$ | $0.01$ | $0.0125$ | $0.02$ |
| 3 | $0.012$ | $0.01$ | $0.0167$ | $0.03$ |
| 4 | $0.035$ | $0.01$ | $0.025$ | $0.04$ |
| 5 | $0.30$ | $0.01$ | $0.05$ | $0.05$ |
Bonferroni の方法は $p_{(1)},p_{(2)}$ の 2 つを棄却する。Holm の方法は $j=1,2,3$ で閾値以下、$j=4$ で $0.035>0.025$ となって止まり、3 つを棄却する。BH 法は $p_{(k)}\le kq/m$ となる最大の $k$ が $4$ なので($0.035\le0.04$、$0.30>0.05$)、4 つを棄却する。同じデータで、FWER を抑える方法より FDR を抑える方法の方が多く棄却する。
$k=3$、$\alpha=0.05$ で、3 つの 2 群の差 $\mu_1-\mu_2$、$\mu_1-\mu_3$、$\mu_2-\mu_3$ の同時信頼区間を作る。どの差も $\|c\|=\sqrt2$ である。Scheffé の方法では、自由度 $2$ のカイ二乗分布の上側 $0.05$ 点が $c_\alpha=-2\log0.05=5.991\ldots$ なので、区間の半幅は $\sigma\sqrt2\sqrt{c_\alpha}=3.461\ldots\sigma$ である。Bonferroni の方法で 3 つの区間をそれぞれ信頼係数 $1-\frac{0.05}3$ で作ると、$X_a-X_b\sim N(\mu_a-\mu_b,2\sigma^2)$ なので半幅は $\sigma\sqrt2\,z$、$z=\Phi^{-1}(1-\frac{0.05}6)=2.393\ldots$ で $3.385\ldots\sigma$ となり、こちらの方が短い。一方 Scheffé の区間は、$\frac12(\mu_1+\mu_2)-\mu_3$ のような、データを見てから思いついた対比にも同時に使える。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 個々の水準を $\alpha/m$ に下げる | 第 1 種の誤りの確率がちょうど $0.05$ の独立な $20$ 個の検定 | FWER が $1-0.95^{20}=0.6415\ldots>0.05$ |
| $p$ 値の独立性(prop-mc-sidak) | 2 つの帰無仮説がどちらも正しく、$p_1$ が一様分布、$p_2=1-p_1$、$m=2$、$\alpha=0.05$ | FWER が $2c_2=2(1-\sqrt{0.95})=0.0506\ldots>0.05$ |
| 正しい帰無仮説の $p$ 値の独立性(thm-mc-bh) | ex-mc-bh-dependent | FDR が $\frac32q>q$ |
| すべての帰無仮説が正しい(prop-mc-fdr-fwer の等号) | ex-mc-bh-fwer | BH 法の FDR は $0.01$ 以下だが、FWER が $0.088>q$ |
$p_2=1-p_1$ の例では、$p_1\le c_2$ と $p_2\le c_2$ が同時には起こらないので($c_2< \frac12$)、FWER は $P(p_1\le c_2)+P(p_1\ge1-c_2)=2c_2$ である。Bonferroni の閾値 $0.025$ なら FWER はちょうど $0.05$ で、thm-mc-holm と矛盾しない。
$m=2$、$0< q\le\frac23$ とし、2 つの帰無仮説がどちらも正しいとする。$U$ を $[0,1]$ 上の一様分布に従う確率変数として $p_1:=U$、また
$$
p_2:=\begin{cases}U+q&(U\le q/2)\\U&(q/2< U\le q)\\U-q&(q< U\le3q/2)\\U&(U>3q/2)\end{cases}
$$
とおく。$p_2$ は長さ $q/2$ の区間 $[0,q/2]$ と $(q,3q/2]$ を平行移動で入れ替えたものなので、$p_2$ も一様分布に従い、どちらの $p$ 値も妥当である。$m=2$ の BH 法は、$\min(p_1,p_2)\le q/2$ または $\max(p_1,p_2)\le q$ のとき 1 つ以上棄却する。$U\le q/2$ なら $p_1\le q/2$、$q/2< U\le q$ なら $p_1=p_2\le q$、$q< U\le3q/2$ なら $p_2\le q/2$ であり、$U>3q/2$ なら $p_1=p_2>q$ なので棄却しない。すべての帰無仮説が正しいので prop-mc-fdr-fwer から $\mathrm{FDR}=\mathrm{FWER}=P(U\le3q/2)=\frac32q$ である($q=0.05$ なら $0.075$)。満たさない仮定:$p_1$ と $p_2$ の独立性。
$m=10$、$q=0.05$ とし、$8$ 個の帰無仮説は正しくなく、その $p$ 値はいつも $0$ であるとする(非常に強い効果)。残りの $2$ 個は正しく、その $p$ 値 $p_9,p_{10}$ は独立に一様分布に従うとする。$N(k)\ge8$ なので $R_{\mathrm{BH}}\ge8$ であり、$R_{\mathrm{BH}}\ge9$ となるのは $\min(p_9,p_{10})\le0.045$ または $\max(p_9,p_{10})\le0.05$ のときである。このとき正しい帰無仮説が少なくとも 1 つ棄却され、そうでなければ $R_{\mathrm{BH}}=8$ で閾値は $0.04$ なので、正しい帰無仮説は棄却されない。よって
$$
\mathrm{FWER}=1-\bigl(0.955^2-0.005^2\bigr)=0.088>0.05
$$
である。一方 thm-mc-bh により $\mathrm{FDR}=\frac{2}{10}\cdot0.05=0.01$ である。満たさない条件:すべての帰無仮説が正しいこと(このとき prop-mc-fdr-fwer の等号が成り立たない)。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する