Simpsonのパラドックス
概要
Simpsonのパラドックス（Simpson's paradox）とは、2 つの層のどちらでも $X$ の成功率が $Y$ より高いのに、層を合わせた全体では $Y$ の成功率の方が高くなる現象である。全体の率は層ごとの率を層の人数の割合で重み付けした平均 $P=wp_1+(1-w)p_2$ なので、$X$ と $Y$ で層の人数の割合が同じなら逆転は起こらない。層 $j$ での率を $X$ は $p_j$、$Y$ は $q_j$ とし $p_1>q_1$、$p_2>q_2$ とすると、層の人数を選んで全体で逆転させられるのは $\min(p_1,p_2)<\max(q_1,q_2)$ のとき、かつそのときに限る。層ごとの率と全体の率のどちらで判断すべきかは、層がどう生まれたかというデータの外の知識で決まる。
前提知識: 平均の大小関係, 確率の定義と条件付き確率
高校での出発点：どちらの畑でも勝つのに、全体では負ける
2 種類の種 X と Y の発芽率を比べたい。日当たりのよい畑 A と、日当たりの悪い畑 B に種をまき、芽が出た数を数えた。
結果は次のとおりだった（数は作ったものである）。
| 畑 A | 畑 B | 全体 | |
|---|---|---|---|
| 種 X | $18/20$（$90\%$） | $30/60$（$50\%$） | $48/80$（$60\%$） |
| 種 Y | $51/60$（$85\%$） | $8/20$（$40\%$） | $59/80$（約 $73.8\%$） |
「$18/20$」は、まいた $20$ 粒のうち $18$ 粒が発芽したことを表す。
- 畑 A では、X の $90\%$ が Y の $85\%$ より高い。
- 畑 B でも、X の $50\%$ が Y の $40\%$ より高い。
- ところが 2 つの畑を合わせると、X は $\dfrac{18+30}{20+60}=\dfrac{48}{80}=60\%$、Y は $\dfrac{51+8}{60+20}=\dfrac{59}{80}=73.75\%$ で、Y の方が高い。
どちらの畑でも X が勝っているのに、合わせると Y が勝つ。計算の間違いではない。表をよく見ると、X は $80$ 粒のうち $60$ 粒を発芽しにくい畑 B にまき、Y は $80$ 粒のうち $60$ 粒を発芽しやすい畑 A にまいている。全体の率は、どの畑に多くまいたかに強く引っ張られる。
このように、グループ（層）ごとに見た傾向と、層を合わせた全体の傾向が逆になる現象を Simpson のパラドックス という。この記事では次の問いに答える。
- 全体の率は、層ごとの率とどんな関係にあるか。→ thm-smp-weighted
- どんなときに逆転が起こらないと保証できるか。→ cor-smp-same-weight、thm-smp-condition
- どんなときに、層の人数の選び方しだいで逆転が起こりうるか。→ thm-smp-condition
- 層ごとの率と全体の率の、どちらで判断すべきか。→ rem-smp-which
高校の計算 この記事の言葉 大学の言葉 $\dfrac{a_1+a_2}{n_1+n_2}$ 層ごとの率の重み付きの平均（thm-smp-weighted） 全確率の公式 層の人数の割合 重み $w$ 条件付き確率 $P(G_j\mid X)$ 全体で比べるか層ごとに比べるか 逆転が起こりうる条件（thm-smp-condition） 層別と交絡
全体の率は層ごとの率の重み付きの平均
まず記号を決める。2 つの層を層 1、層 2 と呼ぶ。
X について、層 $j$（$j=1,2$）の人数を $n_j>0$、そのうち成功した人数を $a_j$ とする（$0\le a_j\le n_j$）。
- 層 $j$ での X の 成功率 を $p_j=\dfrac{a_j}{n_j}$ とする。
- X 全体の成功率を $P=\dfrac{a_1+a_2}{n_1+n_2}$ とする。
- X の人数のうち層 1 にいる割合を $w=\dfrac{n_1}{n_1+n_2}$ とする。$0< w<1$ で、層 2 の割合は $1-w=\dfrac{n_2}{n_1+n_2}$ である。
Y についても同じように、層ごとの率を $q_1,q_2$、全体の率を $Q$、層 1 にいる割合を $v$ とする。
ex-smp-seed では、畑 A を層 1、畑 B を層 2 として、$p_1=0.9$、$p_2=0.5$、$w=\dfrac{20}{80}=\dfrac14$、$q_1=0.85$、$q_2=0.4$、$v=\dfrac{60}{80}=\dfrac34$ である。
def-smp-rates の記号で、
$$
P=wp_1+(1-w)p_2
$$
が成り立つ。とくに、全体の率 $P$ は $p_1$ と $p_2$ の間にある：$\min(p_1,p_2)\le P\le\max(p_1,p_2)$。
段 1（式）．$a_j=p_jn_j$ なので、
$$
P=\frac{a_1+a_2}{n_1+n_2}=\frac{p_1n_1+p_2n_2}{n_1+n_2}=p_1\cdot\underbrace{\frac{n_1}{n_1+n_2}}_{w}+p_2\cdot\underbrace{\frac{n_2}{n_1+n_2}}_{1-w}=wp_1+(1-w)p_2
$$
である。
段 2（間にある）．$p_1\le p_2$ の場合を考える。$w>0$ と $p_1\le p_2$ から $wp_1\le wp_2$ なので、段 1 の式から $P\le wp_2+(1-w)p_2=p_2$ である。同じく $1-w>0$ と $p_1\le p_2$ から $(1-w)p_1\le(1-w)p_2$ なので、$P\ge wp_1+(1-w)p_1=p_1$ である。よって $p_1\le P\le p_2$ である。$p_1>p_2$ の場合は、層 1 と層 2 の名前を入れ替えれば同じ議論になる。
全体の率は、層ごとの率を「その層にいる人数の割合」で重み付けした平均である。重み付きの平均そのものは 平均の大小関係 の定義「重みと重み付きの平均」で扱っている。分数で言えば、$\dfrac{a_1+a_2}{n_1+n_2}$ が $\dfrac{a_1}{n_1}$ と $\dfrac{a_2}{n_2}$ の間にあるという不等式で、この形の不等式は 等式の証明と比例式 でも扱う。
ex-smp-seed の X では $w=\dfrac14$ なので
$$
P=\frac14\cdot0.9+\frac34\cdot0.5=0.225+0.375=0.6,
$$
Y では $v=\dfrac34$ なので
$$
Q=\frac34\cdot0.85+\frac14\cdot0.4=0.6375+0.1=0.7375
$$
である。ex-smp-seed で直接数えた $\dfrac{48}{80}$、$\dfrac{59}{80}$ と一致する。X の全体の率 $0.6$ は $0.5$ と $0.9$ の間にあるが、重みの $\dfrac34$ が層 2 にかかっているので $0.5$ に近い。Y の $0.7375$ は $0.4$ と $0.85$ の間にあり、重みの $\dfrac34$ が層 1 にかかっているので $0.85$ に近い。
種の数を横、発芽した数を縦にとり、畑ごとの結果を矢印でつないだ図。矢印の傾きが発芽率で、畑ごとの矢印は X（青）の方が急なのに、つないだ全体の破線は Y（橙）の方が急になる
図 1 は、各畑の結果 $(n_j,a_j)$ を矢印として、原点から順につないだものである。矢印の傾き $\dfrac{a_j}{n_j}$ が発芽率である。畑 A の矢印どうし、畑 B の矢印どうしを比べると、どちらも X（青）の方が傾きが大きい。しかし X は傾きの小さい畑 B の矢印が長く、Y は傾きの大きい畑 A の矢印が長い。2 本をつないだ全体の矢印（破線）の傾きは、長い方の矢印の傾きに近くなるので、Y の方が急になる。
重みが同じなら逆転しない
thm-smp-weighted から、逆転の原因が重みの違いにあることがすぐに分かる。
$p_1>q_1$ かつ $p_2>q_2$ とする。X と Y で層 1 にいる割合が同じ（$w=v$）なら、$P>Q$ である。
thm-smp-weighted を X と Y に使い、$v=w$ を代入すると
$$
P-Q=\bigl(wp_1+(1-w)p_2\bigr)-\bigl(wq_1+(1-w)q_2\bigr)=w(p_1-q_1)+(1-w)(p_2-q_2)
$$
である。$w>0$、$p_1-q_1>0$ なので第 1 項は正、$1-w>0$、$p_2-q_2>0$ なので第 2 項も正である。よって $P-Q>0$ である。
ex-smp-seed の Y を、X と同じく畑 A に $20$ 粒、畑 B に $60$ 粒まいたとする。発芽率が同じ $85\%$、$40\%$ なら、発芽数は畑 A で $17$ 粒、畑 B で $24$ 粒で、Y 全体の率は $\dfrac{17+24}{80}=\dfrac{41}{80}=51.25\%$ になる。X の $60\%$ より低く、層ごとの比較と同じ向きになる。
cor-smp-same-weight の式で確かめると、$P-Q=\dfrac14(0.9-0.85)+\dfrac34(0.5-0.4)=0.0125+0.075=0.0875$ で、$0.6-0.5125=0.0875$ と一致する。
実験を計画するときに、X と Y を各層に同じ割合で割り当てるのは、この系の状況を作るためである。
主定理：逆転が起こりうる条件
では、重みが違えばいつでも逆転させられるのだろうか。層ごとの率 $p_1,p_2,q_1,q_2$ を決めたまま、層の人数（重み $w$、$v$）だけを変えたときに、全体の率 $P$ と $Q$ がどこまで動けるかを考える。
thm-smp-weighted より、$w$ を $0$ から $1$ まで動かすと、$P=wp_1+(1-w)p_2$ は $p_2$ から $p_1$ までの値を 1 次関数としてとる。$Q$ も同じで、$q_2$ から $q_1$ までの値をとる。図 2 は、この 2 本の線分を描いたものである。
横軸に層 1 の割合、縦軸に全体の率をとり、X の全体の率（青）と Y の全体の率（橙）を線分で描いた図。左は 2 本の線分の値の範囲が重なっていて逆転が起こる例、右は範囲が離れていて逆転が起こらない例
左の図は ex-smp-seed の率である。同じ横軸の位置では、いつも青の線が橙の線より上にある。これが cor-smp-same-weight である。しかし X は $w=\frac14$、Y は $v=\frac34$ と別の位置をとれるので、青の点が橙の点より下にくることがある。右の図では、青の線分の値の範囲（$0.8$ から $0.9$）が橙の線分の値の範囲（$0.6$ から $0.7$）より上に離れていて、どこをとっても青が上である。境目は、2 本の線分の値の範囲が重なるかどうかにある。
$p_1>q_1$ かつ $p_2>q_2$ とする。次の 2 つは同値である。
(R1) $0< w<1$、$0< v<1$ をうまく選ぶと、$P=wp_1+(1-w)p_2$ と $Q=vq_1+(1-v)q_2$ について $P< Q$ となる。
(R2) $\min(p_1,p_2)<\max(q_1,q_2)$。
条件 (ii) は、「X の悪い方の層の率」が「Y の良い方の層の率」より低いということである。ex-smp-seed では $\min(p_1,p_2)=0.5<0.85=\max(q_1,q_2)$ なので、条件 (ii) が成り立っている。
方針：(ii) でないときは、$P$ と $Q$ のとれる値の範囲が離れていて逆転できない。(ii) のときは、X の重みを率の低い層に、Y の重みを率の高い層に寄せれば逆転する。
段 1（(i) ならば (ii)。対偶を示す）．(ii) が成り立たない、つまり $\min(p_1,p_2)\ge\max(q_1,q_2)$ とする。$0< w<1$、$0< v<1$ をどう選んでも、thm-smp-weighted より $P\ge\min(p_1,p_2)$、$Q\le\max(q_1,q_2)$ なので
$$
P\ge\min(p_1,p_2)\ge\max(q_1,q_2)\ge Q
$$
である。よって $P< Q$ となることはなく、(i) は成り立たない。
段 2（(ii) ならば (i)。準備）．(ii) が成り立つとする。層 1 と層 2 の名前を入れ替えても仮定 $p_1>q_1$、$p_2>q_2$ と (i)、(ii) は変わらないので、$p_2\le p_1$ としてよい。このとき $\min(p_1,p_2)=p_2$ である。$\max(q_1,q_2)$ が $q_2$ だとすると、(ii) は $p_2< q_2$ になり、仮定 $p_2>q_2$ に反する。したがって $\max(q_1,q_2)=q_1$ で、(ii) は
$$
p_2< q_1
$$
である。また $q_1\ge q_2$、$p_1\ge p_2$ である。
段 3（(ii) ならば (i)。重みを寄せる）．X の重みを層 2 に、Y の重みを層 1 に寄せる。正の数 $\varepsilon$（$0<\varepsilon<1$）をとり、$w=\varepsilon$、$v=1-\varepsilon$ とすると
$$
P=\varepsilon p_1+(1-\varepsilon)p_2=p_2+\varepsilon(p_1-p_2),\qquad Q=(1-\varepsilon)q_1+\varepsilon q_2=q_1-\varepsilon(q_1-q_2)
$$
である。よって
$$
Q-P=(q_1-p_2)-\varepsilon\bigl((p_1-p_2)+(q_1-q_2)\bigr)
$$
である。$D=(p_1-p_2)+(q_1-q_2)$ とおく。段 2 より $D\ge0$ である。$D=0$ なら $Q-P=q_1-p_2>0$ で、どの $\varepsilon$ でも $P< Q$ である。$D>0$ なら $\varepsilon$ を $\dfrac{q_1-p_2}{D}$ より小さく（かつ $1$ より小さく）とると、$\varepsilon D< q_1-p_2$ なので $Q-P>0$ である。どちらの場合も (i) が成り立つ。
段 3 の $D=0$ の場合は、実は起こらない（$D=0$ なら $p_1=p_2$、$q_1=q_2$ で、$p_2< q_1=q_2< p_2$ となって矛盾する）。証明では場合を分けておけば十分なので、ここでは確かめるだけにとどめる。
ex-smp-seed の率 $p_1=0.9$、$p_2=0.5$、$q_1=0.85$、$q_2=0.4$ では $p_2\le p_1$ で、$q_1-p_2=0.35$、$D=0.4+0.45=0.85$ である。$\varepsilon<\dfrac{0.35}{0.85}=0.41\ldots$ ならよい。
- ex-smp-seed は $w=\frac14$、$v=\frac34$ で、$\varepsilon=\frac14<0.41\ldots$ の場合に当たる。$Q-P=0.35-\frac14\cdot0.85=0.1375$ で、$0.7375-0.6$ と一致する。
- $\varepsilon=0.4$ でも $Q-P=0.35-0.34=0.01>0$ で逆転する。$\varepsilon=0.5$（X も Y も層 1 と層 2 に半分ずつ）では $Q-P=0.35-0.425=-0.075<0$ で逆転しない。これは重みが等しい場合で、cor-smp-same-weight と合う。
条件 (ii) は層ごとの率だけで決まり、人数によらない。条件 (ii) が成り立つときに実際に逆転するかどうかは、人数の割り振りで決まる。
X の成功率が層 1 で $0.8$、層 2 で $0.3$、Y の成功率が層 1 で $0.7$、層 2 で $0.2$ とする。Y の人数の $90\%$ が層 1 にいる（$v=0.9$）とき、X の層 1 の割合 $w$ がどの範囲なら、全体で Y の成功率の方が高くなるか。
解答を開く
$Q=0.9\cdot0.7+0.1\cdot0.2=0.63+0.02=0.65$ である。$P=0.8w+0.3(1-w)=0.3+0.5w$ なので、$P< Q$ は $0.3+0.5w<0.65$、つまり $w<0.7$ である。答えは $0< w<0.7$。たとえば X が層 1 に $50$ 人（成功 $40$ 人）、層 2 に $50$ 人（成功 $15$ 人）、Y が層 1 に $90$ 人（成功 $63$ 人）、層 2 に $10$ 人（成功 $2$ 人）なら、全体の成功率は X が $\frac{55}{100}$、Y が $\frac{65}{100}$ で逆転する。なお $\min(0.8,0.3)=0.3<0.7=\max(0.7,0.2)$ で、thm-smp-condition の条件 (ii) は成り立っている。
例と反例
「どの層でも X の方が高いなら、全体でも X の方が高い」という主張は、一般には成り立たない（ex-smp-seed がその反例である）。どんな条件を付ければ成り立つかと、その条件を外したときの反例を表にする。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| X と Y で層の割合が等しい（$w=v$） | ex-smp-seed（$w=\frac14$、$v=\frac34$） | 各層で X が高ければ全体でも X が高い（cor-smp-same-weight） |
| $\min(p_1,p_2)\ge\max(q_1,q_2)$ | ex-smp-seed（$0.5<0.85$） | どんな人数でも全体で X が高い（thm-smp-condition） |
| 比べる 2 つの人数が等しい | ex-smp-count（畑 A の $20$ 粒と $60$ 粒） | 成功した人数の多い方が率も高い |
X の率が層 1 で $0.9$、層 2 で $0.8$、Y の率が層 1 で $0.7$、層 2 で $0.6$ とする（図 2 の右）。$\min(0.9,0.8)=0.8\ge0.7=\max(0.7,0.6)$ なので、thm-smp-condition の条件 (ii) が成り立たない。thm-smp-weighted より、人数をどう割り振っても $P\ge0.8$、$Q\le0.7$ なので、$P-Q\ge0.1$ である。逆転は起こらない。
ex-smp-seed の畑 A では、発芽した数は X が $18$ 粒、Y が $51$ 粒で、Y の方がずっと多い。しかし率は X が $90\%$ で高い。まいた数が違うときに発芽した数を比べると、率の比較とは逆の結論になりうる。Simpson のパラドックスは、この「数の多さに引っ張られる」ことが、層を合わせた率の中で起こったものである。
どちらの率で判断すべきか
逆転が起こったとき、層ごとの率と全体の率のどちらを信じればよいかは、数の計算だけからは決まらない。
ex-smp-seed で、畑が発芽のしやすさに影響し、しかもどちらの種をどの畑にまくかは種の性質と関係なく決めた、という事情が分かっているとする。このとき、全体の率の差は「Y を日当たりのよい畑に多くまいた」ことから生まれたもので、種の性質を比べるには同じ畑の中で比べた層ごとの率を使うのが自然である。
一方で、層の分かれ方そのものが比べたいものの結果である場合もある。たとえば、2 つの方法 X、Y のどちらを使ったかによって、その後に入るグループが変わるなら、グループごとに分けて比べると、方法の影響の一部を取り除いてしまう。この場合は全体の率を見る方が自然なことがある。
どちらが適切かは、層がどのように生まれたかという、データの外の知識で決まる。thm-smp-weighted と thm-smp-condition が教えてくれるのは、「逆転が起こりうるかどうか」までである。
層ごとに分けて比べることを 層別 という。どの層にどれだけ割り当てるかを、比べたいもの（種の性質）と関係なく決めれば、cor-smp-same-weight に近い状況になり、逆転は起こりにくくなる。比べたいものと関係なく割り当てる方法の 1 つは、乱数で決めることである（乱数そのものは 乱数とシミュレーション で扱う）。
大学数学で見る：全確率の公式
thm-smp-weighted は、確率の言葉では 全確率の公式 である。
X の種から 1 粒を無作為に選ぶとする。発芽するという事象を $S$、畑 A にまかれたという事象を $G_1$、畑 B にまかれたという事象を $G_2$ とする。確率の定義と条件付き確率 の条件付き確率を使うと、$p_j=P(S\mid G_j)$、$w=P(G_1)$、$1-w=P(G_2)$ で、thm-smp-weighted は
$$
P(S)=P(S\mid G_1)P(G_1)+P(S\mid G_2)P(G_2)
$$
という式になる。X と Y の両方を 1 つの集団として考えるなら、$P(S\mid X)=\displaystyle\sum_jP(S\mid X,G_j)P(G_j\mid X)$ と書ける。逆転の原因は、重み $P(G_j\mid X)$ と $P(G_j\mid Y)$ が違うことである。
交絡という言葉と、確率の独立性との関係を開く
層を表す変数（畑）が、比べたいもの（どちらの種か）とも結果（発芽）とも関係しているとき、層の変数は比べたいものと結果の関係を見かけの上でゆがめる。このような変数を 交絡因子 と呼ぶ。Wei26 は、Simpson のパラドックスが因果の関係を無視したときに生じうること、因果の関係を適切に考慮すると消えることを述べている。
重みが等しいこと（$P(G_1\mid X)=P(G_1\mid Y)$）は、どちらの種かと、どの畑かが独立であることと同じである（独立性(確率論)）。cor-smp-same-weight は、この独立性があれば逆転が起こらないことを述べている。
相関係数でも同じことが起こる。層ごとには右下がりの関係なのに、層を合わせると右上がりになるデータがある。次に読む 相関と因果 で扱う。
さらに先へ
- 層が 3 つ以上あっても、全体の率は層ごとの率の重み付きの平均である（thm-smp-weighted と同じ計算）。thm-smp-condition の条件も「X の最も低い層の率 $<$ Y の最も高い層の率」に広がる（この記事では証明しない）。
- 標本の選び方しだいで全体の率が変わるという問題は、母集団と標本 で扱う標本の偏りと同じ根をもつ。
- 率の差が偶然で説明できるかを確率で判断するのが 仮説検定の考え方 である。層ごとの比較と合わせて使う。
関連項目
- 前提: 平均の大小関係, 確率の定義と条件付き確率
- 前に読む: 度数分布とヒストグラム, 平均の大小関係, 確率の定義と条件付き確率, 等式の証明と比例式
- 次に読む: 相関と因果
- 関連（高校数学）: 相関係数（高校数学）, 仮説検定の考え方, 母集団と標本, 乱数とシミュレーション
- 発展: 条件付き確率, 独立性(確率論)
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
