確率分布の中央値は、確率変数 $X$ について $P(X<a)\le\frac12$ かつ $P(X>a)\le\frac12$ を満たす実数 $a$ であり、確率を左右半分ずつに分ける点である。$E|X|<\infty$ のとき、ずれの絶対値の期待値 $E|X-a|$ を最小にする $a$ 全体は、中央値全体に一致する。たとえば $[0,1]$ 上の密度 $2t$ の分布では、中央値 $\frac1{\sqrt2}$ で $E|X-a|$ が最小になり、期待値 $\frac23$ とは異なる。さいころの目のように中央値が区間 $[3,4]$ になる分布もある。Cauchy 分布のように $E|X|=\infty$ で期待値をもたない分布でも、中央値は定義できる。
前提知識: 確率変数, 期待値, 確率密度関数, 中央値と絶対誤差
確率変数 $X$ のとる値とその確率の対応を、$X$ の確率分布という。値が有限個 $v_1,\dots,v_k$ で、それぞれの確率が $p_1,\dots,p_k$ なら、期待値(平均)は $E[X]=\sum_jv_jp_j$ である。連続的な値をとる確率変数は、確率密度関数 $w(t)\ge0$ で表す。$X$ が $c$ 以上 $d$ 以下になる確率は $P(c\le X\le d)=\int_c^dw(t)\,dt$ であり、期待値は $E[X]=\int t\,w(t)\,dt$ である。
データの中央値は「小さい方から数えて真ん中の値」だった(中央値と絶対誤差)。確率分布では、個数の代わりに確率で真ん中を考える。
公正なさいころの目 $X$ は $1,\dots,6$ を確率 $\frac16$ ずつとり、$E[X]=\frac72$ である。
区間 $[0,1]$ 上の密度関数 $w(t)=2t$ をもつ確率変数 $X$ を考える(区間の外では $w(t)=0$。$\int_0^12t\,dt=1$ である)。
ここで次の問いが生じる。
| データ(中央値と絶対誤差) | 確率分布(この記事) |
|---|---|
| $a$ より小さいデータの個数 $\le\frac n2$ | $P(X< a)\le\frac12$ |
| 絶対誤差の和 $L(a)=\sum\vert x_i-a\vert$ | $E\vert X-a\vert$ |
| $L$ の傾き $=$ 左の個数 $-$ 右の個数 | $E\vert X-a\vert$ の変化 $=$ 左の確率 $-$ 右の確率 |
| 偶数個なら中央値は区間 | 確率が半分ずつに分かれる区間があれば中央値は区間 |
実数 $a$ が確率変数 $X$ の中央値であるとは、
$$
P(X< a)\le\frac12\quad\text{かつ}\quad P(X>a)\le\frac12
$$
が成り立つことをいう。すなわち、$X$ が $a$ より真に小さくなる確率も、真に大きくなる確率も、$\frac12$ を超えない。中央値は 1 つとは限らないので、中央値全体の集合を考える。
$a$ が $X$ の中央値であることは、
$$
P(X\le a)\ge\frac12\quad\text{かつ}\quad P(X\ge a)\ge\frac12
$$
と同値である。
「$X\le a$」は「$X>a$」の余事象なので、$P(X\le a)=1-P(X>a)$ である。よって $P(X>a)\le\frac12$ と $P(X\le a)\ge\frac12$ は同値である。同じように、「$X\ge a$」は「$X< a$」の余事象なので $P(X\ge a)=1-P(X< a)$ であり、$P(X< a)\le\frac12$ と $P(X\ge a)\ge\frac12$ は同値である。2 つを合わせると主張を得る。$\square$
データ $x_1,\dots,x_n$ から 1 つを等しい確率 $\frac1n$ で選んだ値を $X$ とすると、$P(X< a)=\frac1n\#\{i : x_i< a\}$ である(同じ値が何回も現れるときは、その回数だけ確率を足す)。このとき中央値の定義は、中央値と絶対誤差 の記事の「中央値の集合」の定義と一致する。
図1:密度 2t のグラフ。中央値 1/√2 の縦線は面積を 1/2 ずつに分ける。期待値 2/3 はその少し左にある。
以下、$E|X|<\infty$($|X|$ の期待値が有限)とする。値が有限個の場合や、密度関数が有界な区間の外で $0$ の場合は、つねにそうである。このとき、すべての実数 $a$ について $|X-a|\le|X|+|a|$ なので、$E|X-a|\le E|X|+|a|$ も有限である。
証明の準備として、$x$ を 1 つの実数としたときの不等式を用意する。記号 $\mathbf 1_{x\le a}$ で、$x\le a$ のとき $1$、そうでないとき $0$ をとる数を表す($\mathbf 1_{x>a}$ なども同様)。
$a< b$ とする。すべての実数 $x$ について、次の 2 つが成り立つ。
(i) $|x-b|-|x-a|\ge(b-a)\bigl(\mathbf 1_{x\le a}-\mathbf 1_{x>a}\bigr)$
(ii) $|x-a|-|x-b|\ge(b-a)\bigl(\mathbf 1_{x\ge b}-\mathbf 1_{x< b}\bigr)$
(i) を示す。右辺は、$x\le a$ なら $b-a$、$x>a$ なら $-(b-a)$ である。
$a=1$、$b=3$ として (i) を確かめる。右辺は $x\le1$ なら $2$、$x>1$ なら $-2$ である。
$E|X|<\infty$ とし、$a< b$ とする。
(i) $E|X-b|-E|X-a|\ge(b-a)\bigl(2P(X\le a)-1\bigr)$
(ii) $E|X-a|-E|X-b|\ge(b-a)\bigl(2P(X\ge b)-1\bigr)$
lem-mdd-pointwise の (i) に $x=X$ を代入すると、$X$ のどの値についても不等式が成り立つ。いつも「左辺 $\ge$ 右辺」である 2 つの確率変数では、期待値も「左辺の期待値 $\ge$ 右辺の期待値」である。期待値の線形性により左辺の期待値は $E|X-b|-E|X-a|$ である。右辺の期待値は $(b-a)\bigl(E[\mathbf 1_{X\le a}]-E[\mathbf 1_{X>a}]\bigr)$ で、$\mathbf 1_{X\le a}$ は確率 $P(X\le a)$ で $1$、それ以外で $0$ をとるので $E[\mathbf 1_{X\le a}]=P(X\le a)$ である。同じく $E[\mathbf 1_{X>a}]=P(X>a)=1-P(X\le a)$ である。よって右辺の期待値は $(b-a)\bigl(2P(X\le a)-1\bigr)$ となり、(i) を得る。(ii) も同じように、$E[\mathbf 1_{X\ge b}]=P(X\ge b)$、$E[\mathbf 1_{X< b}]=1-P(X\ge b)$ から得られる。$\square$
$E|X|<\infty$ とする。$E|X-a|$ を最小にする $a$ 全体は、$X$ の中央値全体に一致する。
方針:(A) 中央値 $m$ から左右どちらへ動いても $E|X-a|$ は減らないこと、(B) 中央値でない $a$ からは $E|X-a|$ を真に減らせることを、lem-mdd-expectation で示す。(A) により中央値は最小点であり、(B) により中央値でない点は最小点でない。
段 1((A)、右へ動く)。$m$ を中央値、$b>m$ とする。lem-mdd-expectation (i) を $a=m$ として使うと
$$
E|X-b|-E|X-m|\ge(b-m)\bigl(2P(X\le m)-1\bigr)
$$
である。prop-mdd-equivalent により $P(X\le m)\ge\frac12$ なので、右辺は $0$ 以上である。よって $E|X-b|\ge E|X-m|$ である。
段 2((A)、左へ動く)。$b< m$ とする。lem-mdd-expectation (ii) を、そこでの $a,b$ をそれぞれ $b,m$ として使うと
$$
E|X-b|-E|X-m|\ge(m-b)\bigl(2P(X\ge m)-1\bigr)
$$
である。$P(X\ge m)\ge\frac12$ なので右辺は $0$ 以上で、$E|X-b|\ge E|X-m|$ である。
段 3((B)、右の確率が大きすぎる場合)。$a$ が中央値でないとする。prop-mdd-equivalent により $P(X\le a)<\frac12$ または $P(X\ge a)<\frac12$ である。まず $P(X\le a)<\frac12$ の場合を考える。このとき $P(X>a)=1-P(X\le a)>\frac12$ である。$a$ より少し大きい $b$ をとると、$P(X\ge b)$ は $P(X>a)$ に近い。正確には、$P(X\ge b)>\frac12$ となる $b>a$ がとれる。
さいころの目 $X$ について $E|X-a|$ を計算する。
密度 $2t$ の $X$ と $0\le a\le1$ について、絶対値を外すために積分を $a$ の左右で分ける。
$$
E|X-a|=\int_0^a(a-t)\,2t\,dt+\int_a^1(t-a)\,2t\,dt
$$
第 1 項は $\Bigl[at^2-\frac23t^3\Bigr]_0^a=a^3-\frac23a^3=\frac13a^3$ である。第 2 項は $\Bigl[\frac23t^3-at^2\Bigr]_a^1=\Bigl(\frac23-a\Bigr)-\Bigl(\frac23a^3-a^3\Bigr)=\frac23-a+\frac13a^3$ である。よって
$$
E|X-a|=\frac23a^3-a+\frac23
$$
である。$a$ で微分すると $2a^2-1$ で、これが $0$ になるのは $a=\frac1{\sqrt2}$(中央値)である。$a<\frac1{\sqrt2}$ で負、$a>\frac1{\sqrt2}$ で正なので、ここで最小になる。最小値は
$$
\frac23\cdot\frac1{2\sqrt2}-\frac1{\sqrt2}+\frac23=\frac{1-3}{3\sqrt2}+\frac23=\frac{2-\sqrt2}3=0.1952\ldots
$$
である。期待値 $a=\frac23$ では $\frac23\cdot\frac8{27}-\frac23+\frac23=\frac{16}{81}=0.1975\ldots$ で、わずかに大きい。
図2:E|X−a| のグラフ。左はさいころの目で、中央値の区間 [3, 4] で平らになる。右は密度 2t の分布で、中央値 1/√2 で最小になり、期待値 2/3 では少し大きい。
ex-mdd-density-check の導関数 $2a^2-1$ は、$P(X< a)-P(X>a)=a^2-(1-a^2)$ に等しい。データの $L(a)$ の傾きが「左の個数 $-$ 右の個数」だったこと(中央値と絶対誤差)の、確率での言い換えである。導関数が $0$ になる点は、左右の確率が釣り合う点、すなわち中央値である。連続な密度関数をもち $E|X|<\infty$ を満たす一般の分布でも同じ形の式が成り立つが、ここでは証明しない。
密度 $2t$ の分布では、期待値 $\frac23$ が中央値 $\frac1{\sqrt2}$ より左にある。密度は $1$ に近い側で大きく、$0$ に近い側(左側)に長く薄い裾をもつ。期待値はずれの 2 乗で決まるので、左の裾の遠い値に引っぱられる。中央値は確率の釣り合いだけで決まるので、裾の長さの影響を受けにくい。
| 外した仮定 | 崩れる主張 | ボックス |
|---|---|---|
| $E\vert X\vert<\infty$ | $E\vert X-a\vert$ の最小点を考えられる | ex-mdd-cauchy |
| 確率が $\frac12$ ずつに分かれる隙間がない | 中央値がただ 1 つ | ex-mdd-coin |
| ずれを絶対値で測る(2 乗で測る) | 最小点が中央値である(期待値になる) | ex-mdd-bernoulli |
密度関数 $w(t)=\frac1{\pi(1+t^2)}$($t$ はすべての実数)をもつ確率変数 $X$ を考える。$\int_{-\infty}^\infty w(t)\,dt=\frac1\pi\bigl[\arctan t\bigr]_{-\infty}^{\infty}=\frac1\pi\cdot\pi=1$ である。$w$ は偶関数なので $P(X<0)=P(X>0)=\frac12$ で、$0$ は中央値である($a>0$ なら $P(X< a)>\frac12$、$a<0$ なら $P(X>a)>\frac12$ なので、中央値は $0$ だけである)。
一方、$R>0$ について
$$
\int_0^R\frac{t}{\pi(1+t^2)}\,dt=\frac1{2\pi}\log(1+R^2)
$$
は $R\to\infty$ で限りなく大きくなるので、$E|X|=\infty$ である(GS06 Example 6.28)。さらに $|t-a|\ge|t|-|a|$ なので、すべての $a$ で $E|X-a|=\infty$ である。この分布は thm-mdd-main の仮定 $E|X|<\infty$ を満たさず、「$E|X-a|$ の最小点」は意味をもたない。それでも確率の釣り合いによる中央値 $0$ は意味をもつ。期待値がない分布でも中央値は使える、というのが中央値の強みである。
確率 $\frac12$ ずつで $0$ と $1$ をとる $X$ では、$0\le a\le1$ のすべての $a$ で $P(X< a)\le\frac12$ かつ $P(X>a)\le\frac12$ なので、中央値全体は $[0,1]$ である。実際、$0\le a\le1$ で $E|X-a|=\frac12a+\frac12(1-a)=\frac12$ と一定であり、$a<0$ では $E|X-a|=\frac12-a>\frac12$、$a>1$ では $a-\frac12>\frac12$ である。「中央値はただ 1 つ」という主張は、確率がちょうど半分ずつに分かれる隙間があると成り立たない。
確率 $0.3$ で $1$、確率 $0.7$ で $0$ をとる $X$ は、期待値 $0.3$、中央値 $0$ である(ex-mdd-median-examples)。$E|X-a|=0.7|a|+0.3|1-a|$ なので、$E|X-0|=0.3$、$E|X-0.3|=0.21+0.21=0.42$、$E|X-1|=0.7$ である。期待値 $0.3$ では最小にならず、最小点は中央値 $0$ である。逆に $E[(X-a)^2]$ を最小にするのは期待値 $0.3$ である(平均値と二乗誤差)。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する