Pareto分布(Pareto distribution)とは、下限 $c>0$ と形 $\alpha>0$ について $P(X>x)=(c/x)^\alpha$($x\ge c$)で定まる、裾が冪で減る確率分布である。$\log(X/c)$ は率 $\alpha$ の指数分布に従い、$\alpha$ 次未満の積率だけが有限で、閾値を超えた値の比の条件付き分布が閾値によらないことで特徴づけられる。$\alpha>1$ では Gini 係数は $1/(2\alpha-1)$、上位 $20\%$ が $80\%$ を持つのは $\alpha=\log5/\log4$ のときである。指数の最尤推定量には正確な信頼区間があり、所得・保険の損害・極値のモデルに使う。
所得や資産の大きさ、都市の人口、保険の大口の損害額のように、ある値を超える割合が値の冪で減っていく量がある。「$x$ を超える割合が $x^{-\alpha}$ に比例する」という形の分布を、19 世紀末に資産の分布をこの形で調べた V. Pareto にちなんで Pareto 分布 という(CSN09 p. 5)。
この記事では、定義と密度、$\alpha$ 次未満の積率だけが有限であること、尺度を変えても同じ形の分布が残るという性質による特徴づけ、指数分布との対数変換による対応、Lorenz 曲線と Gini 係数、最尤推定と正確な信頼区間を証明する。極値の理論での役割(Fréchet 型の吸引域、一般化 Pareto 分布)は 極値理論、裾の一般的な扱いは 正則変動関数 で扱い、ここでは対応を述べるだけにする。記法は 確率分布の一覧 と 対数正規分布 にそろえる。
$\alpha>0$、$c>0$ とする。確率変数 $X$ が
$$
P(X>x)=\Bigl(\frac cx\Bigr)^{\alpha}\quad(x\ge c),\qquad P(X\ge c)=1
$$
を満たすとき、$X$ は Pareto 分布 $\mathrm{Par}(\alpha,c)$ に従うという。$\alpha$ を 形(裾の指数)、$c$ を 下限(尺度)のパラメータという。
$P(X>x)$ を 裾(生存関数)とよび $\bar F(x)$ と書く。$\log\bar F(x)=\alpha\log c-\alpha\log x$ なので、裾を両対数の目盛りで描くと傾き $-\alpha$ の直線になる。使える条件は次のとおりである。
$X\sim\mathrm{Par}(\alpha,c)$ とする。
3 から、Pareto 分布についての主張は指数分布の主張に読み替えられる。たとえば「指数分布の無記憶性」に当たるのが、次節の尺度についての性質である。
$X\sim\mathrm{Par}(\alpha,c)$ とする。
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| 実数次の積率 | $E[X^r]=\dfrac{\alpha c^r}{\alpha-r}$ | $r< \alpha$($r\ge\alpha$ では $\infty$) | thm-par-moments |
| 平均 | $\dfrac{\alpha c}{\alpha-1}$ | $\alpha>1$ | thm-par-moments |
| 分散 | $\dfrac{\alpha c^2}{(\alpha-1)^2(\alpha-2)}$ | $\alpha>2$ | thm-par-moments |
| 平均超過 | $E[X-u\mid X>u]=\dfrac u{\alpha-1}$ | $\alpha>1$、$u\ge c$ | thm-par-char の後 |
| 定数倍・冪 | $aX\sim\mathrm{Par}(\alpha,ac)$、$X^b\sim\mathrm{Par}(\alpha/b,c^b)$ | $a,b>0$ | prop-par-closure |
| 最小値 | $\min_iX_i\sim\mathrm{Par}(\sum_i\alpha_i,c)$ | 独立、$X_i\sim\mathrm{Par}(\alpha_i,c)$ | prop-par-closure |
| 最大値の極限 | $P\bigl(\max_{i\le n}X_i\le cn^{1/\alpha}x\bigr)\to e^{-x^{-\alpha}}$ | 独立同分布、$x>0$ | prop-par-closure |
| Lorenz 曲線・Gini 係数 | $L(p)=1-(1-p)^{1-1/\alpha}$、$G=\dfrac1{2\alpha-1}$ | $\alpha>1$ | prop-par-lorenz |
| 上位 $q$ の占める割合 | $q^{1-1/\alpha}$ | $\alpha>1$、$0< q< 1$ | prop-par-lorenz |
| 最尤推定量 | $\hat\alpha=n\Big/\sum_i\log(x_i/c)$ | $c$ が既知 | thm-par-mle |
$X\sim\mathrm{Par}(\alpha,c)$、$r$ を実数とする。$r< \alpha$ なら $E[X^r]=\dfrac{\alpha c^r}{\alpha-r}$ であり、$r\ge\alpha$ なら $E[X^r]=\infty$ である。特に、平均は $\alpha>1$ のときに限り有限で $\frac{\alpha c}{\alpha-1}$、分散は $\alpha>2$ のときに限り有限で $\frac{\alpha c^2}{(\alpha-1)^2(\alpha-2)}$ である。また $t>0$ なら $E[e^{tX}]=\infty$ である。
prop-par-basic の密度から
$$
E[X^r]=\int_c^\infty x^r\frac{\alpha c^\alpha}{x^{\alpha+1}}\,dx=\alpha c^\alpha\int_c^\infty x^{r-\alpha-1}\,dx
$$
である。被積分関数は正で、$\int_c^\infty x^{s-1}dx$ は $s< 0$ のとき $c^s/(-s)$、$s\ge0$ のとき $\infty$ である。$s=r-\alpha$ とおけば前半を得る。分散は $E[X^2]-E[X]^2=\frac{\alpha c^2}{\alpha-2}-\frac{\alpha^2c^2}{(\alpha-1)^2}=\frac{\alpha c^2}{(\alpha-1)^2(\alpha-2)}$ である。$t>0$ なら $e^{tX}\ge(tX)^m/m!$ で、整数 $m\ge\alpha$ をとれば右辺の期待値が $\infty$ である。$\square$
対数正規分布はすべての次数の積率が有限で、積率母関数だけが発散した(対数正規分布 の定理「積率と積率母関数」)。Pareto 分布はそれより裾が重く、$\alpha$ 次以上の積率がすべて発散する。$1< \alpha\le2$ では平均は有限だが分散は無限で、標本平均のゆらぎは $n^{-1/2}$ より遅くしか小さくならない(反例の表の 4 行目)。
$c>0$ とし、確率変数 $X$ は $P(X\ge c)=1$ を満たし、すべての $x$ で $P(X>x)>0$ とする。次の 2 つは同値である。
1 ⇒ 2。 $\frac{(c/(uv))^\alpha}{(c/u)^\alpha}=v^{-\alpha}=\bigl(\frac c{cv}\bigr)^\alpha$ である。
2 ⇒ 1。 $u=c$ とおくと $P(X>cv)/P(X>c)=P(X>cv)$ で、仮定から $P(X>cv)>0$ なので $P(X>c)=1$ である。$s\ge0$ について $g(s):=-\log P(X>ce^s)$ とおく。$g$ は有限、広義増加で、$g(0)=0$ である。2 を $u=ce^s$、$v=e^t$($s,t\ge0$)に使うと $P(X>ce^{s+t})=P(X>ce^s)P(X>ce^t)$、すなわち
$$
g(s+t)=g(s)+g(t)\qquad(s,t\ge0)
$$
である。帰納法で正の整数 $n$ について $g(ns)=ng(s)$ であり、$s=\frac1m$ とおけば正の有理数 $q$ について $g(q)=qg(1)$ を得る。$s\ge0$ に対して $q< s< q'$ となる有理数をとると、単調性から $qg(1)\le g(s)\le q'g(1)$ で、$q,q'\to s$ として $g(s)=\alpha s$($\alpha:=g(1)$)である(Cauchyの関数方程式 の単調な解)。$X$ は実数値なので $x\to\infty$ で $P(X>x)\to0$、すなわち $g(s)\to\infty$ であり、$\alpha>0$ である。よって $x\ge c$ で $P(X>x)=e^{-g(\log(x/c))}=(c/x)^\alpha$ である。$\square$
prop-par-basic の 3 で $E=\log(X/c)$ に移すと、2 は $P(E>s+t\mid E>s)=P(E>t)$、すなわち 指数分布 の無記憶性そのものである。この定理から、閾値 $u$ を超えた値の比 $X/u$ は閾値によらず $\mathrm{Par}(\alpha,1)$ に従い、超過の平均は $E[X-u\mid X>u]=u\bigl(\frac\alpha{\alpha-1}-1\bigr)=\frac u{\alpha-1}$ と閾値に比例する($\alpha>1$)。平均超過が閾値の 1 次式になることは、極値理論 で裾の形を見分ける手がかりに使われる。
3 の極限は Fréchet 分布で、極値理論 の定理「Fisher–Tippett–Gnedenko の定理」の 3 つの型のうち裾が冪の型に当たる。4 の $Y=X-\beta$ の分布を Lomax 分布(第 2 種の Pareto 分布)とよび、下限が $0$ になるように平行移動した形である。極値理論 で定義される一般化 Pareto 分布 $H_{\gamma,\beta}$ は、$\gamma>0$ なら $1+\gamma Y/\beta\sim\mathrm{Par}(1/\gamma,1)$($Y\sim H_{\gamma,\beta}$)となるので、この記事の Pareto 分布を平行移動・定数倍したものである。
平均 $\mu$ が有限な正の確率変数の分位点関数を $Q(u)$ とする。$L(p):=\frac1\mu\int_0^pQ(u)\,du$($0\le p\le1$)を Lorenz 曲線 といい、小さいほうから割合 $p$ の人が全体のどれだけの割合を持つかを表す。$G:=1-2\int_0^1L(p)\,dp$ を Gini 係数 という。全員が同じ値なら $L(p)=p$、$G=0$ である。
$X\sim\mathrm{Par}(\alpha,c)$、$\alpha>1$ とする。
$$
L(p)=1-(1-p)^{1-1/\alpha},\qquad G=\frac1{2\alpha-1}
$$
であり、大きいほうから割合 $q$($0< q< 1$)の人が持つ割合は $1-L(1-q)=q^{1-1/\alpha}$ で、$c$ によらない。特に、上位 $20\%$ が全体の $80\%$ を持つのは $\alpha=\log5/\log4\approx1.16096$ のときである。
prop-par-basic の 2 から $Q(u)=c(1-u)^{-1/\alpha}$ である。$\beta:=1-1/\alpha\in(0,1)$ とおくと
$$
\int_0^pQ(u)\,du=c\int_0^p(1-u)^{-1/\alpha}du=\frac c\beta\bigl(1-(1-p)^\beta\bigr)
$$
で、thm-par-moments から $\mu=\frac{\alpha c}{\alpha-1}=\frac c\beta$ なので $L(p)=1-(1-p)^\beta$ である。$\int_0^1L(p)\,dp=1-\frac1{1+\beta}$ から $G=\frac2{1+\beta}-1=\frac{1-\beta}{1+\beta}=\frac1{2\alpha-1}$ である。上位 $q$ の割合は $1-L(1-q)=q^\beta$ である。$q^\beta=0.8$、$q=0.2$ を解くと $\beta=\frac{\log0.8}{\log0.2}=1-\frac{\log4}{\log5}$、すなわち $\alpha=\frac{\log5}{\log4}$ である。$\square$
$\alpha\downarrow1$ で $G\uparrow1$ となり、少数への集中が強まる。$\alpha\le1$ では平均が無限で、Lorenz 曲線は定義されない。同じ量の式は New05 pp. 10–11 にも(密度の指数で)ある。
$X_1,\dots,X_n$($n\ge2$)を $\mathrm{Par}(\alpha,c)$ からの独立な標本とする。
prop-par-basic の 3 により $E_i:=\log(X_i/c)$ は独立に率 $\alpha$ の指数分布に従う。
1 から、$\chi^2_{k,a}$ を自由度 $k$ のカイ二乗分布の上側 $a$ 点として、区間 $\bigl[\chi^2_{2n,1-a/2}/(2T),\ \chi^2_{2n,a/2}/(2T)\bigr]$ は $\alpha$ をちょうど確率 $1-a$ で含む。$c$ が未知なら 2 により自由度を $2(n-1)$、$T$ を $\hat T$ に替えた区間が同じく正確である。密度の指数 $\alpha+1$ で書くと、1 の推定量は $1+n/T$ となり、New05 p. 4 の式 (5)、CSN09 p. 5 の式 (3.1) と同じものである。CSN09 は同じ頁で、大きい $n$ での標準誤差を $(\hat\alpha_{\text{密度}}-1)/\sqrt n$(この記事の記法で $\hat\alpha/\sqrt n$)とし、両対数の図の直線の当てはめで指数を推定すると系統的な偏りが生じることを述べている。
正の値のデータに Pareto 分布を当てはめる手順は次のとおり。
上位 $20\%$ が全体の $80\%$ を持つ Pareto 分布について、$\alpha$、Gini 係数、上位 $1\%$ の持つ割合、中央値と平均の比を求めよ。
使う公式:prop-par-lorenz、prop-par-basic の 2、thm-par-moments。
答え:$\alpha=\log5/\log4\approx1.160964$、$G=1/(2\alpha-1)\approx0.756471$、上位 $1\%$ の割合 $0.01^{1-1/\alpha}=0.01^{\log(5/4)/\log5}\approx0.528088$。中央値は $c\,2^{1/\alpha}\approx1.817c$、平均は $\frac{\alpha c}{\alpha-1}\approx7.213c$ で、平均は中央値のおよそ $3.97$ 倍である。
$c=1$ が既知の $\mathrm{Par}(\alpha,1)$ からの標本 $1.2,\ 1.5,\ 3.1,\ 1.05,\ 2.4,\ 8.7,\ 1.8,\ 1.3$ から、$\alpha$ の最尤推定値、不偏推定値、$95\%$ の正確な区間を求めよ。
使う公式:thm-par-mle の 1。$\chi^2_{16,0.975}\approx6.90766$、$\chi^2_{16,0.025}\approx28.8454$。
答え:$T\approx5.65692$、$\hat\alpha=8/T\approx1.41420$、不偏推定値 $7/T\approx1.23742$、区間 $[0.610550,\ 2.54956]$。区間は $1$ と $2$ を含むので、このデータからは平均が有限かどうかも決められない。
1 件の損害額が $\mathrm{Par}(2.5,10^6)$(円)に従うとき、損害が $5\times10^6$ 円を超える確率と、$5\times10^6$ 円を超えたときの超過分の平均を求めよ。
使う公式:def-par-main、thm-par-char の後の段落。
答え:$P(X>5\times10^6)=5^{-2.5}\approx0.0178885$、超過の平均は $5\times10^6/1.5\approx3.33333\times10^6$ 円である。閾値を $10^7$ 円に上げると超過の平均も $6.66667\times10^6$ 円と比例して増える。
各行は、対応する主張の条件を 1 つだけ外したものである。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| thm-par-char の 2 がすべての $u\ge c$ で成り立つこと(大きい $u$ での極限としてだけ成り立つ) | $P(X>x)=\bigl(\frac2{1+x}\bigr)^\alpha$($x\ge1$)。prop-par-closure の 4 で $\beta=1$ の Lomax 分布を $1$ だけずらしたもの | $X/u$ の条件付き分布は $u\to\infty$ で $\mathrm{Par}(\alpha,1)$ に近づくが、$X$ は Pareto 分布でない |
| thm-par-mle の 1 で $c$ が正しいこと | 真の分布が $\mathrm{Par}(\alpha,1)$ なのに $c=\frac12$ として計算する | $2\alpha T$ はカイ二乗分布に従わず、$\hat\alpha\to\alpha/(1+\alpha\log2)$ に確率収束して区間は $\alpha$ を外す |
| prop-par-closure の 3 の独立性 | $X_i=X_1$(すべての $i$) | $M_n/(cn^{1/\alpha})=X_1/(cn^{1/\alpha})\to0$ で、Fréchet 分布に近づかない |
| 中心極限定理 の分散の有限性 | 独立に $\mathrm{Par}(1.5,1)$ に従う列 | $(X_1+\dots+X_n-n\mu)/\sqrt n$ は分布収束しない。$n^{2/3}$ で割ると退化しない分布に近づく |
| prop-par-lorenz の $\alpha>1$ | $\mathrm{Par}(1,1)$ | 平均が無限で Lorenz 曲線と Gini 係数が定義されない |
1 行目:$X\ge1$ で $P(X>x)>0$。$P(X>uv\mid X>u)=\bigl(\frac{1+u}{1+uv}\bigr)^\alpha\to v^{-\alpha}$($u\to\infty$)である。一方 $u=2$、$v=2$ では $P(X>4\mid X>2)=(3/5)^\alpha$ で、$P(X>2)=(2/3)^\alpha$ と一致しないので 2 は成り立たない。$\bar F$ も $(1/x)^\alpha$ の形でない($x=3$ で $(1/2)^\alpha\ne3^{-\alpha}$)。
2 行目:$T_{1/2}=\sum\log(2X_i)=T+n\log2$ で、大数の法則から $T_{1/2}/n\to1/\alpha+\log2$。したがって $n/T_{1/2}\to\alpha/(1+\alpha\log2)< \alpha$ で、区間の幅は $n^{-1/2}$ の速さで $0$ に近づくので、やがて $\alpha$ を含まなくなる。
3 行目:$M_n=X_1$ である。
4 行目:$\alpha=1.5$ なら分散は無限である(thm-par-moments)。安定分布 の定理「吸引域の判定(十分条件)」を $L=1$、$\theta=1$ で使うと $a_n=n^{2/3}$ で、$(S_n-b_n)/n^{2/3}$ は退化しない分布に収束する。$b_n=n\mu-nE[X_11_{\{X_1>n^{2/3}\}}]=n\mu-3n^{2/3}$ なので、$(S_n-n\mu)/n^{2/3}$ も退化しない分布に収束する。$\sqrt n$ で割ったものがある分布に収束すると、$\sqrt n/n^{2/3}\to0$ を掛けて(Slutsky の定理)$(S_n-n\mu)/n^{2/3}$ は $0$ に確率収束し、退化しない分布への収束と矛盾する。
5 行目:thm-par-moments で $r=\alpha=1$。
| 誤り | 正しくは | なぜ |
|---|---|---|
| 密度の指数 $\alpha+1$ と裾の指数 $\alpha$ を取り違える | 文献ごとにどちらの指数かを確かめる | 使える条件 (iii) |
| 両対数の図の直線の傾きで指数を推定する | 最尤推定を使う | thm-par-mle の後の段落 |
| 標本平均が有限の値に出たので平均も有限とする | $\alpha\le1$ なら平均は無限。標本平均は $n$ とともに増え続ける | thm-par-moments |
| 下限のない Lomax 分布と Pareto 分布を同じ式で扱う | 下限が $0$ になるよう平行移動したもので、尺度の性質をもたない | prop-par-closure の 4、反例の表の 1 行目 |
| どの量にも 80 対 20 の法則が成り立つとする | $\alpha=\log5/\log4$ のときに限る | prop-par-lorenz |
冪乗則。 裾が $x^{-\alpha}$ に比例する分布を総称して冪乗則の分布という。値を横軸、超える割合を縦軸にとる代わりに、順位と値の関係として同じデータを描いたものは Zipf の法則とよばれ、両者は表し方の違いである(New05 p. 4)。裾が冪に近い分布。 Student の $t$ 分布や指数 $2$ 未満の対称な安定分布のように、裾が正確な冪ではなく $x^{-\alpha}L(x)$($L$ は緩やかに変動する関数)の形のものは 正則変動関数 で扱い、極値理論 の Fréchet 型の吸引域に入る。Pareto 分布はその最も単純な例である。指数分布との関係。 prop-par-basic の 3 により、Pareto 分布の推定・検定は指数分布の推定・検定に帰着する。thm-par-mle の 2 の証明は指数分布の順序統計量の間隔の性質で、指数分布の無記憶性による。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する