分位点(quantile)とは、$0<\tau<1$ について、確率変数 $X$ が $a$ より小さい確率が $\tau$ 以下、$a$ より大きい確率が $1-\tau$ 以下となる実数 $a$ のことで、$\tau=\frac12$ なら中央値である。$\tau$ 分位点の全体は空でない有界閉区間で、左端は分布関数 $F$ の分位点関数 $Q(\tau)=\inf\{x\mid F(x)\ge\tau\}$ である。$Q(\tau)\le x$ と $\tau\le F(x)$ は同値で、ここから逆関数法や、連続な $F$ について $F(X)$ が一様分布に従うことが出る。$E\lvert X\rvert<\infty$ なら、折れ線 $\rho_\tau$ による $E[\rho_\tau(X-a)]$ を最小にする $a$ の全体が $\tau$ 分位点の全体になる。
確率変数 $X$ の値が小さい方から割合 $\tau$ のところで分かれる位置を、$X$ の $\tau$ 分位点 という。$\tau=\frac12$ なら確率分布の中央値、$\tau=\frac14,\frac34$ なら四分位点である。分位点は、分布関数 $F(x)=P(X\le x)$ の「逆関数」として求めるのが基本であるが、$F$ には平らな部分(値をとらない区間)と跳び(正の確率をもつ点)があるので、ふつうの逆関数はとれない。この記事では、分位点を不等式で定義し、そのすべてが閉区間をなすこと、分位点関数 $Q(\tau)=\inf\{x\mid F(x)\ge\tau\}$ が「$Q(\tau)\le x\iff\tau\le F(x)$」という切り替えの規則をもつことを示す。
この規則から、一様分布に従う確率変数 $U$ を $Q$ で写すと分布関数 $F$ の確率変数になること(乱数の生成の基本)、連続な分布関数 $F$ について $F(X)$ が一様分布に従うこと(p値 の基本)が出る。さらに、ずれの測り方を左右で傾きの違う折れ線 $\rho_\tau$ にすると、期待値 $E[\rho_\tau(X-a)]$ を最小にする $a$ がちょうど $\tau$ 分位点になる(主定理)。高校数学の 中央値と絶対誤差・四分位数と箱ひげ図 で見た「絶対値の和を最小にする値」の一般化である。
この記事を通して、$X$ は確率空間 $(\Omega,\mathcal F,P)$ の上の実数値の確率変数、$F(x):=P(X\le x)$ はその分布関数とする。確率変数 の定理「分布関数の性質」により、$F$ は単調非減少かつ右連続で、$x\to-\infty$ で $0$、$x\to\infty$ で $1$ に近づく。また左極限 $F(x-0):=\lim_{y\to x-0}F(y)$ は $P(X< x)$ に等しい。
$0< \tau< 1$ とする。実数 $a$ が
$$
P(X< a)\le\tau\quad\text{かつ}\quad P(X>a)\le1-\tau
$$
を満たすとき、$a$ を $X$(または $X$ の分布)の $\tau$ 分位点(quantile)という。分布関数で書けば、この条件は
$$
F(a-0)\le\tau\le F(a)
$$
と同値である($P(X>a)=1-F(a)$ だから)。$\tau=\frac12$ の分位点を 中央値、$\tau=\frac14,\frac34$ の分位点を 第 1・第 3 四分位点、$\tau=\frac k{100}$ の分位点を $k$ パーセント点(百分位点)という。
$\tau=\frac12$ のとき、この定義は 確率分布の中央値 の定義「確率変数の中央値」と一致する。中央値と同じく、$\tau$ 分位点は 1 つとは限らない。
$0< \tau< 1$ について
$$
Q(\tau):=\inf\{x\in\mathbb R\mid F(x)\ge\tau\},\qquad Q^+(\tau):=\sup\{x\in\mathbb R\mid F(x)\le\tau\}
$$
とおく。$Q\colon(0,1)\to\mathbb R$ を $X$(または $F$)の 分位点関数(quantile function)といい、$F^{-1}$ とも書く。
$F(x)\to0$($x\to-\infty$)と $\tau>0$ から、集合 $\{x\mid F(x)\ge\tau\}$ は下に有界であり、$F(x)\to1$($x\to\infty$)と $\tau< 1$ からこの集合は空でない。よって $Q(\tau)$ は実数である。同じ理由で $Q^+(\tau)$ も実数である。$F$ が連続で狭義増加なら、$Q$ はふつうの逆関数 $F^{-1}$ に一致する。
統計の表でよく使う 上側 $100\alpha$ パーセント点 は、$P(X>z)=\alpha$ となる $z$ のことで、$F$ が連続なときは $Q(1-\alpha)$ がその 1 つ(最小のもの)である(thm-qtl-transform の 2 の $F(Q(u))=u$ による)。標準正規分布の上側 $2.5$ パーセント点が $1.96$ である、というのは $Q(0.975)=1.959\ldots$ ということである。
次の定理が、分位点についての計算のほとんどすべての出発点になる。
$0< \tau< 1$、$x\in\mathbb R$ とする。
$S_\tau:=\{y\in\mathbb R\mid F(y)\ge\tau\}$ とおくと、$Q(\tau)=\inf S_\tau$ である。$F$ は非減少なので、$y\in S_\tau$ かつ $y'\ge y$ なら $y'\in S_\tau$ である。
1:$\tau\le F(x)$ なら $x\in S_\tau$ なので $Q(\tau)=\inf S_\tau\le x$ である。逆を示すため、まず $Q(\tau)\in S_\tau$ を示す。下限の定義から、$S_\tau$ の元の列 $y_n$ で $y_n\to Q(\tau)$、$y_n\ge Q(\tau)$ となるものがとれる。$F$ は右連続なので $F(Q(\tau))=\lim_nF(y_n)\ge\tau$ であり、$Q(\tau)\in S_\tau$ である($y_n=Q(\tau)$ となる $n$ があれば直ちに従う)。よって $S_\tau=[Q(\tau),\infty)$ で、$Q(\tau)\le x$ なら $x\in S_\tau$、すなわち $\tau\le F(x)$ である。
2:$F(Q(\tau))\ge\tau$ は 1 で $x=Q(\tau)$ とおけばよい。$y< Q(\tau)$ なら $y\notin S_\tau$ なので $F(y)< \tau$ であり、$y\to Q(\tau)-0$ として $F(Q(\tau)-0)\le\tau$ を得る。これは def-qtl-quantile の条件そのものである。
3:$\tau\le\tau'$ なら $S_{\tau'}\subset S_\tau$ なので $Q(\tau)\le Q(\tau')$ である。左連続性を示す。$\tau_n\uparrow\tau$ とすると、$Q(\tau_n)$ は非減少で $Q(\tau)$ 以下なので、極限 $L:=\lim_nQ(\tau_n)\le Q(\tau)$ がある。各 $n$ で $Q(\tau_n)\le L$ だから、1 により $\tau_n\le F(L)$ であり、$n\to\infty$ として $\tau\le F(L)$ を得る。再び 1 により $Q(\tau)\le L$ である。よって $L=Q(\tau)$ である。$\square$
1 は「$Q$ と $F$ は互いに逆向きの切り替えをする」という意味で、$F$ が狭義増加で連続なら $F^{-1}(\tau)\le x\iff\tau\le F(x)$ という当たり前の式である。$F$ に平らな部分や跳びがあっても、この形の式だけは正しく残る。
$0< \tau< 1$ とする。$X$ の $\tau$ 分位点全体の集合は、空でない有界閉区間 $[Q(\tau),Q^+(\tau)]$ に等しい。また $Q^+(\tau)=\inf\{x\mid F(x)>\tau\}$ である。
def-qtl-quantile により、$a$ が $\tau$ 分位点であることは「$\tau\le F(a)$ かつ $F(a-0)\le\tau$」と同値である。前半は thm-qtl-galois の 1 により $a\ge Q(\tau)$ と同値である。後半が $a\le Q^+(\tau)$ と同値であることを示す。
$T:=\{x\mid F(x)\le\tau\}$ とおく。$F$ は非減少なので、$x\in T$ かつ $x'\le x$ なら $x'\in T$ である。$a\le Q^+(\tau)=\sup T$ とし、$y< a$ をとると、上限の定義から $y< t$ となる $t\in T$ があるので $F(y)\le F(t)\le\tau$ であり、$y\to a-0$ として $F(a-0)\le\tau$ を得る。逆に $a>Q^+(\tau)$ なら、$Q^+(\tau)< y< a$ となる $y$ は $T$ に属さないので $F(y)>\tau$ であり、$F(a-0)\ge F(y)>\tau$ である。
thm-qtl-galois の 2 により $Q(\tau)$ は $\tau$ 分位点なので、区間は空でない。最後に、$\mathbb R$ は $T$ とその補集合 $T^c=\{x\mid F(x)>\tau\}$ に分かれ、$T$ の元はどれも $T^c$ の元より小さいので、$\sup T=\inf T^c$ である。$\square$
区間 $[Q(\tau),Q^+(\tau)]$ が 1 点より長くなるのは、$F$ が長さ正の区間でちょうど値 $\tau$ をとるとき、すなわちその区間の内部に $X$ がほとんど値をとらないときである。これは 確率分布の中央値 の反例「中央値が区間になる分布」の一般化である。$Q^+(\tau)$ は、確率論の教科書では $F(y)>\tau$ となる $y$ の下限として現れる(Dur19 Theorem 3.2.8 の証明)。
thm-qtl-galois の 1 から、分布関数と一様分布を行き来する 2 つの事実が得られる。
1:$Q$ は単調なので Borel 可測であり、$Q(U)$ は確率変数である。thm-qtl-galois の 1 により、すべての $x$ で $\{Q(U)\le x\}=\{U\le F(x)\}$ であるから、$P(Q(U)\le x)=P(U\le F(x))=F(x)$ である。
2:$0< u< 1$ とする。thm-qtl-galois の 2 により $F(Q(u)-0)\le u\le F(Q(u))$ であり、$F$ が連続なら両端は等しいので $F(Q(u))=u$ である。次に、thm-qtl-galois の 1 を $x=X(\omega)$ に使うと $\{F(X)\ge u\}=\{X\ge Q(u)\}$ なので
$$
P(F(X)\ge u)=1-P(X< Q(u))=1-F(Q(u)-0)=1-F(Q(u))=1-u
$$
である。よって $P(F(X)< u)=u$ であり、$u< v< 1$ をとって $v\downarrow u$ とすれば、確率空間 の命題「確率の連続性」により $P(F(X)\le u)=\lim_{v\downarrow u}P(F(X)< v)=u$ である。$u=0$ のときは $P(F(X)\le0)\le P(F(X)< v)=v$ がすべての $v>0$ で成り立つので $0$、$u=1$ のときは明らかに $1$ である。$\square$
1 の証明は Dur19 Theorem 1.2.2 の証明と同じ考え方で、$F$ の 3 つの性質(非減少・極限・右連続)しか使わない。したがって、この 3 つの性質をもつ関数はどれも、ある確率変数の分布関数である。計算機で一様乱数から指数分布や正規分布の乱数を作る 逆関数法 はこの定理による。$F$ が連続でないとき 2 は成り立たないが、不等式 $P(F(X)\le u)\le u$ はいつも成り立つ(信頼区間 の補題「分布関数の値の分布」)。
$0< \tau< 1$ について、折れ線の関数
$$
\rho_\tau(u):=\begin{cases}\tau u&(u\ge0)\\ (\tau-1)u&(u< 0)\end{cases}
$$
を考える(チェック関数、ピンボール損失 ともいう)。$\rho_\tau(u)\ge0$ で、正のずれは傾き $\tau$、負のずれは傾き $1-\tau$ で数える。$\tau=\frac12$ なら $\rho_{1/2}(u)=\frac12\lvert u\rvert$ である。また $\rho_\tau(u)\le\lvert u\rvert$ である。
$a< b$ とする。すべての実数 $x$ について
$$
\rho_\tau(x-b)-\rho_\tau(x-a)=\int_a^b\bigl(\mathbf 1_{\{x\le t\}}-\tau\bigr)\,dt
$$
である。したがって $E\lvert X\rvert< \infty$ なら、$\psi(a):=E[\rho_\tau(X-a)]$ は有限で
$$
\psi(b)-\psi(a)=\int_a^b\bigl(F(t)-\tau\bigr)\,dt
$$
である。
右辺の積分は $(b-\max(a,x))^+-\tau(b-a)$ に等しい。ここで $c^+:=\max(c,0)$。$x$ の位置で場合を分ける。$x\le a$ なら左辺は $(\tau-1)(x-b)-(\tau-1)(x-a)=(1-\tau)(b-a)$、右辺は $(b-a)-\tau(b-a)$ で等しい。$x\ge b$ なら左辺は $\tau(x-b)-\tau(x-a)=-\tau(b-a)$、右辺は $0-\tau(b-a)$ で等しい。$a< x< b$ なら左辺は $(\tau-1)(x-b)-\tau(x-a)=(b-x)-\tau(b-a)$、右辺も $(b-x)-\tau(b-a)$ である。
$\rho_\tau(X-a)\le\lvert X\rvert+\lvert a\rvert$ なので $\psi(a)$ は有限である。被積分関数 $(\omega,t)\mapsto\mathbf 1_{\{X(\omega)\le t\}}-\tau$ は可測で絶対値が $1$ 以下なので、Fubiniの定理 により期待値と $t$ についての積分を入れ替えてよく、$E[\mathbf 1_{\{X\le t\}}]=F(t)$ から 2 つめの式を得る。$\square$
$0< \tau< 1$ とし、$E\lvert X\rvert< \infty$ とする。$a\mapsto E[\rho_\tau(X-a)]$ を最小にする $a$ の全体は、$X$ の $\tau$ 分位点の全体 $[Q(\tau),Q^+(\tau)]$ に一致する。
$\psi(a):=E[\rho_\tau(X-a)]$ とおき、lem-qtl-difference を使う。
分位点は最小点である。 $a$ を $\tau$ 分位点とする。$b>a$ なら、$t\in[a,b]$ で $F(t)\ge F(a)\ge\tau$ なので $\psi(b)-\psi(a)=\int_a^b(F(t)-\tau)\,dt\ge0$ である。$b< a$ なら、$t\in[b,a)$ で $F(t)\le F(a-0)\le\tau$ なので $\psi(b)-\psi(a)=-\int_b^a(F(t)-\tau)\,dt\ge0$ である。よって $\psi(a)$ は最小値である。
分位点でない点は最小点でない。 $a$ が $\tau$ 分位点でなければ、$F(a)< \tau$ または $F(a-0)>\tau$ である。
$\tau=\frac12$ のとき $\rho_{1/2}(u)=\frac12\lvert u\rvert$ なので、この定理は 確率分布の中央値 の定理「中央値は $E\lvert X-a\rvert$ を最小にする」を含む。証明で使った $\psi(b)-\psi(a)=\int_a^b(F-\tau)\,dt$ は、$\psi$ の傾きが「$a$ 以下になる確率 $-\,\tau$」であることを表している。傾きが負から正に変わる場所が分位点である。
$E\lvert X\rvert=\infty$ のときは $E[\rho_\tau(X-a)]=\infty$ となることがあり、最小化は意味を失う(下の反例の表)。しかし差 $\rho_\tau(X-a)-\rho_\tau(X)$ は絶対値が $\lvert a\rvert$ 以下なので期待値が有限で、lem-qtl-difference と同じ計算により $E[\rho_\tau(X-a)-\rho_\tau(X)]=\int_0^a(F(t)-\tau)\,dt$ である($a< 0$ では $\int_0^a=-\int_a^0$)。この関数を $\psi_0(a)$ とおくと $\psi_0(b)-\psi_0(a)=\int_a^b(F(t)-\tau)\,dt$ であり、thm-qtl-main の証明はこの式しか使わないので、$\psi_0$ を最小にする $a$ の全体も $\tau$ 分位点の全体になる。
$\lambda>0$ とし、$X$ が率 $\lambda$ の指数分布に従うとする(一様分布と指数分布)。$F(x)=1-e^{-\lambda x}$($x\ge0$)、$F(x)=0$($x< 0$)は $[0,\infty)$ で連続かつ狭義増加なので、$F(x)=\tau$ を解いて
$$
Q(\tau)=-\frac{\log(1-\tau)}\lambda\qquad(0< \tau< 1)
$$
である。中央値は $\frac{\log2}\lambda=\frac{0.693\ldots}\lambda$ で、期待値 $\frac1\lambda$ より小さい。thm-qtl-transform の 1 により、$U$ が $(0,1)$ 上の一様分布に従えば $-\frac1\lambda\log(1-U)$ は率 $\lambda$ の指数分布に従う。
標準正規分布の分布関数を $\Phi$ とすると、$\Phi$ は連続で狭義増加なので、$N(\mu,\sigma^2)$ の分位点関数は $Q(\tau)=\mu+\sigma\Phi^{-1}(\tau)$ である。四分位点は $\mu\pm0.674\ldots\sigma$、上側 $2.5$ パーセント点は $\mu+1.959\ldots\sigma$ である(正規分布)。
位置 $\mu$、尺度 $\gamma>0$ の Cauchy分布 の分布関数は $F(x)=\frac12+\frac1\pi\arctan\frac{x-\mu}\gamma$ なので、$Q(\tau)=\mu+\gamma\tan\bigl(\pi(\tau-\tfrac12)\bigr)$ であり、四分位点は $\mu\pm\gamma$ である。Cauchy 分布は期待値をもたないが、分位点はどの $\tau$ でも定まる。
$P(X=0)=P(X=1)=\frac12$ とする。$F$ は $x< 0$ で $0$、$0\le x< 1$ で $\frac12$、$x\ge1$ で $1$ である。
データ $x_1,\dots,x_n$ を小さい順に並べたものを $x_{(1)}\le\dots\le x_{(n)}$ とし、各値に確率 $\frac1n$ を割り当てた分布(経験分布)を考える。その分布関数は $F_n(t)=\frac1n\#\{i\mid x_i\le t\}$ である。$0< \tau< 1$、$k:=\lceil n\tau\rceil$ とすると、
$k-1< n\tau\le k$ である。$t\ge x_{(k)}$ なら $x_{(1)},\dots,x_{(k)}$ が $t$ 以下なので $F_n(t)\ge\frac kn\ge\tau$ であり、$t< x_{(k)}$ なら $t$ 以下の値は高々 $k-1$ 個なので $F_n(t)\le\frac{k-1}n< \tau$ である。よって $Q_n(\tau)=x_{(k)}$ である。$n\tau$ が整数でないとき、$t\ge x_{(k)}$ で $F_n(t)\ge\frac kn>\tau$ なので $Q_n^+(\tau)=x_{(k)}$ である。$n\tau=k$ が整数のとき($\tau< 1$ より $k\le n-1$)、$t< x_{(k+1)}$ なら $t$ 以下の値は高々 $k$ 個で $F_n(t)\le\tau$、$t\ge x_{(k+1)}$ なら $F_n(t)\ge\frac{k+1}n>\tau$ なので $Q_n^+(\tau)=x_{(k+1)}$ である。あとは thm-qtl-interval による。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $0< \tau< 1$ | 正規分布で $\tau=1$ | $\{x\mid F(x)\ge1\}$ が空集合で、$Q(1)$ は実数として定まらない(thm-qtl-galois) |
| $F$ が連続 | 公平な硬貨(ex-qtl-coin) | $F(X)$ は値 $\frac12,1$ しかとらず、$P(F(X)\le\frac14)=0\ne\frac14$(thm-qtl-transform の 2) |
| $F$ が狭義増加 | $[0,1]\cup[2,3]$ 上の一様分布 | 中央値が $[1,2]$ 全体になり、$Q$ は $\tau=\frac12$ で跳ぶ($Q$ は $F$ のふつうの逆関数でない) |
| $E\lvert X\rvert< \infty$ | 標準 Cauchy 分布 | すべての $a$ で $E[\rho_\tau(X-a)]=\infty$ となり、最小点の全体が $\mathbb R$ 全体になる(thm-qtl-main) |
$X$ が $[0,1]\cup[2,3]$ 上の一様分布(密度 $\frac12$)に従うとする。$F$ は $[0,1]$ で $\frac x2$、$[1,2]$ で $\frac12$、$[2,3]$ で $\frac{x-1}2$ であり、連続だが $[1,2]$ で狭義増加でない。$Q(\tau)=2\tau$($\tau\le\frac12$)、$Q(\tau)=2\tau+1$($\tau>\frac12$)で、$Q(\frac12)=1$、$Q^+(\frac12)=2$ である。中央値の全体は $[1,2]$ で、$Q$ は $\frac12$ で左連続だが跳びをもつ。満たす性質:$F$ は連続。満たさない性質:$F$ が狭義増加。破る主張:「連続な分布の中央値は 1 つ」。
$X$ を標準 Cauchy 分布($\mu=0$、$\gamma=1$)とする。$\rho_\tau(u)\ge\min(\tau,1-\tau)\lvert u\rvert$ なので、$E[\rho_\tau(X-a)]\ge\min(\tau,1-\tau)E\lvert X-a\rvert=\infty$ がすべての $a$ で成り立つ(Cauchy分布 の命題「積率」)。値がすべて $\infty$ なので、すべての $a$ が「最小点」になり、thm-qtl-main の結論は成り立たない。満たさない仮定:$E\lvert X\rvert< \infty$。この場合も、rem-qtl-no-mean の差の形にすれば最小点の全体は分位点の全体に戻る。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する