Gumbel分布

同義語:Gumbel distribution第1種極値分布type I extreme value distribution

概要

Gumbel分布(Gumbel distribution)とは、分布関数 $\exp(-e^{-(x-\mu)/\beta})$ をもつ実数上の分布で、指数分布・正規分布などに従う独立同分布の変数の最大値を正規化した極限として現れ、極値理論の 3 つの型の 1 つである。独立な指数分布 $n$ 個の最大値から $\log n$ を引くと Gumbel 分布に分布収束し、平均の極限が Euler の定数 $\gamma$ になる。積率母関数はガンマ関数で $e^{\mu t}\Gamma(1-\beta t)$ と書け、平均は $\mu+\gamma\beta$、分散は $\pi^2\beta^2/6$ である。独立な Gumbel 分布の雑音を対数の重みに足して最大をとる添字は softmax の確率に従い(Gumbel-max の技法)、2 つの差はロジスティック分布をなす。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 極値理論, 指数分布, ガンマ関数

川の水位の年ごとの最大値、1 日の最大の風速、多くの部品の中で最も遅く壊れるものの寿命。こうした「多くの値の最大」の分布として最もよく使われるのが Gumbel 分布(Gumbel distribution)で、分布関数は
$$ F(x)=\exp\bigl(-e^{-(x-\mu)/\beta}\bigr) $$
である。指数関数が 2 重に重なるので「二重指数分布」とも呼ばれる(Dur19 Exercise 3.2.2(p. 123))。
極値理論 の定理「Fisher–Tippett–Gnedenko の定理」により、独立同分布の最大値を正規化した極限は Gumbel 型・Fréchet 型・Weibull 型の 3 つの型に限られ、Gumbel 分布はそのうち、指数分布・正規分布・対数正規分布など、右の裾がどの冪よりも速く減る多くの分布の最大値の極限である(裾の減り方だけでは決まらず、幾何分布 のように極限をもたない分布もある)。この記事では、その定理の分類の側は繰り返さず、分布そのものの性質を扱う。指数分布の最大値の収束と平均(thm-gum-exp)、積率母関数がガンマ関数で書けて平均が Euler 定数 $\gamma$、分散が $\pi^2/6$ になること(thm-gum-mgf)、最大をとる添字が softmax の確率に従う Gumbel-max の技法(thm-gum-max)を証明する。

定義と使える条件

Gumbel 分布

$\mu\in\mathbb R$、$\beta>0$ とする。分布関数
$$ F(x;\mu,\beta)=\exp\bigl(-e^{-(x-\mu)/\beta}\bigr)\qquad(x\in\mathbb R) $$
をもつ分布を 位置 $\mu$、尺度 $\beta$ の Gumbel 分布 といい、$\mathrm{Gum}(\mu,\beta)$ と書く。$\mathrm{Gum}(0,1)$ を 標準 Gumbel 分布 という。密度は $z:=(x-\mu)/\beta$ として
$$ f(x;\mu,\beta)=\frac1\beta e^{-z}\exp(-e^{-z}) $$
である。

$F$ は連続で狭義増加し、$x\to-\infty$ で $0$、$x\to\infty$ で $1$ に近づくので分布関数である(標準形の密度が確率密度であることは ER10 Problem 2.4.23(p. 61)にもある)。$X\sim\mathrm{Gum}(\mu,\beta)$ なら $(X-\mu)/\beta\sim\mathrm{Gum}(0,1)$ である。分位点関数は $F^{-1}(u)=\mu-\beta\log(-\log u)$($0< u< 1$)で、中央値は $\mu-\beta\log\log2\approx\mu+0.3665\beta$ である。密度の対数 $-z-e^{-z}$ の導関数は $-1+e^{-z}$ なので、最頻値は $\mu$ である。分布は右に歪み、右の裾は $1-F(x)\sim e^{-z}$ と指数的に、左の裾は $F(x)=\exp(-e^{-z})$ と 2 重指数的に減る。
使ってよい条件は次のとおりである。

  • (i) 独立(または依存の弱い)同分布の多くの値の 最大値 で、元の分布の裾がどの冪よりも速く減る(極値理論 の定理「von Mises の条件」が使える程度に滑らか)。
  • (ii) 最小値 には、符号を反転した分布 $P(X\le x)=1-\exp(-e^{(x-\mu)/\beta})$ を使う。
  • (iii) 裾が冪で減る分布の最大値は Fréchet 型、右端が有限でその手前の裾が右端までの距離の冪で減る分布(一様分布など)の最大値は Weibull 型になり(極値理論 の定理「裾が正則変動する場合」)、Gumbel 分布は合わない。
  • (iv) 「二重指数分布」の名は Laplace分布 を指す文献もある。

公式の表

量式使える条件根拠
指数分布との関係$T\sim\mathrm{Exp}(1)$ なら $-\log T\sim\mathrm{Gum}(0,1)$prop-gum-family
積率母関数$E[e^{tX}]=e^{\mu t}\Gamma(1-\beta t)$$t< 1/\beta$thm-gum-mgf
平均・分散$\mu+\gamma\beta$、$\pi^2\beta^2/6$$\gamma=0.5772\ldots$thm-gum-mgf
最大値$n$ 個の独立な $\mathrm{Gum}(\mu,\beta)$ の最大は $\mathrm{Gum}(\mu+\beta\log n,\beta)$prop-gum-family
差独立な $\mathrm{Gum}(0,1)$ の差はロジスティック分布 $\frac1{1+e^{-x}}$prop-gum-family
指数分布の最大値$P(M_n-\log n\le x)\to\exp(-e^{-x})$、$E[M_n-\log n]\to\gamma$$X_i\sim\mathrm{Exp}(1)$ 独立thm-gum-exp
Gumbel-max$P(\arg\max_k(a_k+G_k)=k)=\dfrac{e^{a_k}}{\sum_je^{a_j}}$$G_k\sim\mathrm{Gum}(0,1)$ 独立thm-gum-max

基本の性質

指数分布・最大値・差

$G,G_1,G_2,\dots$ を独立で標準 Gumbel 分布に従う確率変数とする。

  1. $T\sim\mathrm{Exp}(1)$ なら $-\log T\sim\mathrm{Gum}(0,1)$ である。逆に $e^{-G}\sim\mathrm{Exp}(1)$ である。
  2. 実数 $c_1,\dots,c_n$ について $\max_i(c_i+G_i)\sim\mathrm{Gum}\bigl(\log\sum_ie^{c_i},1\bigr)$ である。とくに $\max_{i\le n}(\mu+\beta G_i)\sim\mathrm{Gum}(\mu+\beta\log n,\beta)$ である。
  3. $P(G_1-G_2\le x)=\dfrac1{1+e^{-x}}$($x\in\mathbb R$)である。
  4. $\alpha>0$ について $e^{G/\alpha}$ は Fréchet 分布 $P(e^{G/\alpha}\le y)=\exp(-y^{-\alpha})$($y>0$)に従う。

1. $P(-\log T\le x)=P(T\ge e^{-x})=\exp(-e^{-x})$ である。逆も同じ計算である。
2. 独立性から $P(\max_i(c_i+G_i)\le x)=\prod_i\exp(-e^{-(x-c_i)})=\exp\bigl(-e^{-x}\sum_ie^{c_i}\bigr)=\exp\bigl(-e^{-(x-\log\sum_ie^{c_i})}\bigr)$ である。後半は $c_i=0$ として $\mu+\beta(\cdot)$ で写す。
3. $G_2$ の値 $g$ を固定して積分し(Fubiniの定理)、$u=e^{-g}$ と置換すると
$$ P(G_1\le x+G_2)=\int_{-\infty}^\infty\exp(-e^{-x}e^{-g})\,e^{-g}\exp(-e^{-g})\,dg=\int_0^\infty e^{-u(1+e^{-x})}\,du=\frac1{1+e^{-x}} $$
である。
4. $P(e^{G/\alpha}\le y)=P(G\le\alpha\log y)=\exp(-y^{-\alpha})$ である。$\square$

2 は Gumbel 分布が 最大値安定(極値理論 の定義「最大値安定」)であることの具体形で、最大をとると位置が $\beta\log n$ だけずれ、形は変わらない。3 は 2 値の選択の確率がロジスティック関数になる理由で、ロジスティック回帰 の確率模型の 1 つの解釈を与える。4 は、Gumbel 型と Fréchet 型が対数で移り合うことを示している。

主定理 1:指数分布の最大値

指数分布の最大値の極限と平均

$X_1,X_2,\dots$ を独立で $\mathrm{Exp}(1)$ に従う確率変数とし、$M_n:=\max(X_1,\dots,X_n)$、$Y_n:=M_n-\log n$ とする。

  1. すべての $x\in\mathbb R$ で $P(Y_n\le x)\to\exp(-e^{-x})$ である。
  2. $E[Y_n]=H_n-\log n$($H_n:=1+\frac12+\dots+\frac1n$)で、$E[Y_n]\to\gamma$ である。
  3. $G\sim\mathrm{Gum}(0,1)$ なら $E[G]=\gamma$ である。
裾を優関数で抑えて期待値の極限をとる

1. $x\ge-\log n$ では $P(Y_n\le x)=(1-e^{-x-\log n})^n=(1-e^{-x}/n)^n$、$x< -\log n$ では $0$ である。$x$ を固定すると、$n$ が大きければ前者の式が使え、$(1-a/n)^n\to e^{-a}$ から結論を得る(Dur19 Exercise 3.2.2 (iii)(p. 123))。
2. 前半は 順序統計量 の例「指数分布の最小値と最大値」の $E[M_n]=H_n$ による。後半は Euler の定数の定義 $\gamma=\lim(H_n-\log n)$(ガンマ関数 の補題「Euler の定数の存在」)そのものである。
3. $Y_n$ も $G$ も可積分である($Y_n$ は 2 から、$G=-\log T$ は $T\sim\mathrm{Exp}(1)$ について $\int_0^\infty\lvert\log s\rvert e^{-s}\,ds< \infty$ から)。可積分な $Y$ について $E[Y]=\int_0^\infty P(Y>y)\,dy-\int_{-\infty}^0P(Y\le y)\,dy$ である。$a_n(y):=P(Y_n>y)$($y\ge0$)、$c_n(y):=P(Y_n\le y)$($y< 0$)とおく。

  • $y\ge0$:$(1-s)^n\ge1-ns$($0\le s\le1$)から $a_n(y)=1-(1-e^{-y}/n)^n\le e^{-y}$ である。
  • $y< 0$:$1-s\le e^{-s}$ から、$y\ge-\log n$ なら $c_n(y)=(1-e^{-y}/n)^n\le\exp(-e^{-y})$、$y< -\log n$ なら $c_n(y)=0$ である。
    $e^{-y}$ は $[0,\infty)$ で、$\exp(-e^{-y})$ は $(-\infty,0)$ で積分できる($u=e^{-y}$ とすると $\int_1^\infty e^{-u}\,du/u< \infty$)。1 から $a_n(y)\to1-\exp(-e^{-y})$、$c_n(y)\to\exp(-e^{-y})$ なので、優収束定理 により
    $$ E[Y_n]\to\int_0^\infty\bigl(1-\exp(-e^{-y})\bigr)dy-\int_{-\infty}^0\exp(-e^{-y})\,dy=E[G] $$
    である。2 と合わせて $E[G]=\gamma$ である。$\square$

極限の分布の平均が、有限の $n$ の平均の極限 $H_n-\log n$ と一致する。Euler の定数は「$n$ 個の指数分布の最大値が $\log n$ からどれだけはみ出すかの平均」の極限である。$n=10$ では $E[Y_{10}]=H_{10}-\log10\approx0.6264$、$n=1000$ では $0.5777$ で、$\gamma=0.5772$ に $\frac1{2n}$ 程度の速さで近づく(Eulerの定数 の定理「Eulerの定数への収束の速さ」)。分布関数の誤差も小さく、$x=0$ で $P(Y_n\le0)=(1-\frac1n)^n$ は $n=10$ で $0.3487$、$n=100$ で $0.3660$、極限は $e^{-1}\approx0.3679$ である。
ほかの分布の最大値の収束は、極値理論 の定理「von Mises の条件」で調べる。たとえば ロジスティック回帰 に現れるロジスティック分布 $L(x)=\frac1{1+e^{-x}}$ では、$L(x+\log n)^n=(1+e^{-x}/n)^{-n}\to\exp(-e^{-x})$ と直接わかる。正規分布 の最大値も Gumbel 分布に近づくが、正規化の定数は $\sqrt{2\log n}$ の程度で、収束は $\log n$ の速さでしか進まない(極値理論 の例「正規分布の最大値は収束が遅い」)。

主定理 2:積率母関数と積率

積率母関数・平均・分散

$X\sim\mathrm{Gum}(\mu,\beta)$ とする。

  1. $t< 1/\beta$ で $E[e^{tX}]=e^{\mu t}\,\Gamma(1-\beta t)$ で、$t\ge1/\beta$ では $E[e^{tX}]=\infty$ である。
  2. $E[X]=\mu+\gamma\beta$、$V[X]=\dfrac{\pi^2}6\beta^2$ である。ここで $\gamma$ は Eulerの定数 である。
標準形を指数分布の対数に戻す

$X=\mu+\beta G$、$G\sim\mathrm{Gum}(0,1)$ とし、prop-gum-family の 1 により $G=-\log T$、$T\sim\mathrm{Exp}(1)$ と書く。
1. $e^{tX}=e^{\mu t}T^{-\beta t}$ で、$E[T^{-s}]=\int_0^\infty u^{-s}e^{-u}\,du$ は $s< 1$ で $\Gamma(1-s)$ に等しく、$s\ge1$ では $0$ の近くで発散する。$s=\beta t$ とおけばよい。
2. ガンマ関数 の命題「右半平面での正則性と導関数」により $\Gamma$ は $\operatorname{Re}z>0$ で正則で、$\Gamma'(1)=\int_0^\infty(\log u)e^{-u}\,du$ である。同じ命題の証明の切断 $\Gamma_n(z)=\int_{1/n}^nu^{z-1}e^{-u}\,du$ は $\Gamma$ に局所一様に収束するので、Weierstrass の定理により $\Gamma_n''(1)=\int_{1/n}^n(\log u)^2e^{-u}\,du$ も $\Gamma''(1)$ に収束し、単調収束定理から $\Gamma''(1)=\int_0^\infty(\log u)^2e^{-u}\,du$ である。よって
$$ E[G]=-\Gamma'(1),\qquad E[G^2]=\Gamma''(1),\qquad V[G]=\Gamma''(1)-\Gamma'(1)^2=\psi'(1) $$
である。最後は $\Gamma(1)=1$ と、$\psi:=\Gamma'/\Gamma$ について $\psi'=\Gamma''/\Gamma-\psi^2$ による。
ガンマ関数 の命題「対数微分の級数表示」により $\Gamma'(1)=\psi(1)=-\gamma$ なので $E[G]=\gamma$ である(thm-gum-exp の 3 と一致する)。同じ命題の級数 $\psi(z)=-\gamma-\frac1z+\sum_{n\ge1}\bigl(\frac1n-\frac1{z+n}\bigr)$ は $z=1$ の近くで正則な関数の局所一様に収束する級数なので、項ごとに微分してよく、$\psi'(z)=\frac1{z^2}+\sum_{n\ge1}\frac1{(z+n)^2}$ である。$z=1$ で $\psi'(1)=\sum_{n\ge1}\frac1{n^2}=\frac{\pi^2}6$(Basel問題 の定理「平方数の逆数の和」)である。$X=\mu+\beta G$ に戻して結論を得る。$\square$

標準 Gumbel 分布では、平均 $\gamma\approx0.5772$ は最頻値 $0$ と中央値 $0.3665$ より右にある。標準偏差は $\pi/\sqrt6\approx1.2825$ である。この 2 つの式から、データの平均 $\bar x$ と標準偏差 $s$ による 積率法 の推定量 $\hat\beta=\sqrt6\,s/\pi$、$\hat\mu=\bar x-\gamma\hat\beta$ が得られる(ex-gum-annual)。

主定理 3:Gumbel-max の技法

離散分布 $p=(p_1,\dots,p_K)$($p_k>0$)から標本を引くとき、各添字の対数の重みに独立な Gumbel 分布の雑音を足して最大をとってもよい。重みを正規化する必要がないので、$p_k\propto e^{a_k}$ の形で与えられた分布(softmax の分布)からの標本に使われる。

Gumbel-max の技法

$a_1,\dots,a_K\in\mathbb R$ とし、$G_1,\dots,G_K$ を独立で $\mathrm{Gum}(0,1)$ に従う確率変数とする。$V_k:=a_k+G_k$、$V^*:=\max_kV_k$ とし、$V_k=V^*$ となる添字を $I$ とする(確率 $1$ でただ 1 つに決まる)。$S:=\sum_je^{a_j}$ とおくと

  1. $P(I=k)=e^{a_k}/S$($k=1,\dots,K$)である。
  2. $V^*\sim\mathrm{Gum}(\log S,1)$ である。
  3. $I$ と $V^*$ は独立である。
最大をとる添字と値の同時分布を書き下す

$V_k$ は連続分布に従い独立なので、$j\ne k$ で $P(V_j=V_k)=0$ で、$I$ は確率 $1$ で定まる。$\Lambda(y):=\exp(-e^{-y})$ とおくと、$V_j$ の分布関数は $\Lambda(v-a_j)=\exp(-e^{a_j}e^{-v})$、密度は $e^{a_j}e^{-v}\exp(-e^{a_j}e^{-v})$ である。$V_k$ の値 $v$ を固定して積分すると、$x\in\mathbb R$ について
$$ P(I=k,\ V^*\le x)=\int_{-\infty}^xe^{a_k}e^{-v}\exp(-e^{a_k}e^{-v})\prod_{j\ne k}\exp(-e^{a_j}e^{-v})\,dv=\int_{-\infty}^xe^{a_k}e^{-v}\exp(-Se^{-v})\,dv $$
である。$\frac d{dv}\exp(-Se^{-v})=Se^{-v}\exp(-Se^{-v})$ なので、右辺は
$$ \frac{e^{a_k}}S\exp(-Se^{-x})=\frac{e^{a_k}}S\,\Lambda(x-\log S) $$
である。$x\to\infty$ として 1 を、$k$ について足して 2 を得る。右辺が $P(I=k)P(V^*\le x)$ の形なので 3 を得る。$\square$

1 は LS20 Exercise 11.7(p. 163)の主張で、Mur25 §6.3.6(p. 278)は、one-hot ベクトルの標本をこの形で作ることを Gumbel-max の技法と呼んでいる。$G_k$ は一様乱数 $U_k$ から $-\log(-\log U_k)$ で作れる。$\max$ を温度つきの softmax に替えて微分できるようにしたものが Gumbel-softmax 分布である。$K=2$ で 1 を読むと $P(I=1)=\frac1{1+e^{-(a_1-a_2)}}$ で、prop-gum-family の 3 と同じことである。
2 から $E[V^*]=\log\sum_je^{a_j}+\gamma$ で、Gumbel 分布の雑音を足した最大の平均が log-sum-exp に等しい(定数 $\gamma$ を除く)。

例題

年最大値と再現水準

ある川の年最大の流量(単位は省く)の記録が、平均 $\bar x=120$、標準偏差 $s=30$ で、$\mathrm{Gum}(\mu,\beta)$ に従うとみなす。
使う公式:thm-gum-mgf、prop-gum-family の 2。
答え:積率法で $\hat\beta=\sqrt6\cdot30/\pi\approx23.39$、$\hat\mu=120-\gamma\hat\beta\approx106.50$ である。100 年に 1 度超える水準(年最大値の分布の $0.99$ 分位点)は
$$ z_{100}=\hat\mu-\hat\beta\log(-\log0.99)\approx106.50+23.39\times4.600\approx214.1 $$
である。年ごとに独立なら、30 年間の最大は prop-gum-family の 2 から $\mathrm{Gum}(\hat\mu+\hat\beta\log30,\hat\beta)$、位置は約 $186.1$ で、30 年のうちに $z_{100}$ を超える確率は $1-0.99^{30}\approx0.260$ である。極値指数が $0$ でない一般極値分布との比較は 極値理論 の例「再現水準」にある。

Gumbel-max による標本

$p=(0.5,0.3,0.2)$ から標本を引く。$a_k=\log p_k$ とし、一様乱数 $U_k$ から $G_k=-\log(-\log U_k)$ を作って $\arg\max_k(a_k+G_k)$ をとる。
使う公式:thm-gum-max。
答え:$S=\sum_ke^{a_k}=1$ なので、$P(I=k)=p_k$ である。たとえば $U=(0.3,0.9,0.6)$ なら $G\approx(-0.186,\ 2.250,\ 0.672)$、$a+G\approx(-0.879,\ 1.046,\ -0.938)$ で、$I=2$ である。$a_k$ を一斉に定数だけずらしても $I$ は変わらないので、正規化していない対数の重み $\log(5,3,2)$ をそのまま使ってよい。最大値 $V^*$ は $\mathrm{Gum}(\log S,1)$ に従い、$S=1$ なら標準 Gumbel 分布である。

使える条件と反例

定理外す仮定例成り立たなくなる結論
thm-gum-exp の 1独立性$X_i=X_1\sim\mathrm{Exp}(1)$($i\ge2$)$P(M_n-\log n\le x)\to\exp(-e^{-x})$ が成り立たない
thm-gum-exp の 1同じ分布独立で $X_i\sim\mathrm{Exp}(i)$(率 $i$)$P(M_n-\log n\le x)\to\exp(-e^{-x})$ が成り立たない
thm-gum-max の 1雑音の独立性$G_1=\dots=G_K\sim\mathrm{Gum}(0,1)$、$a_1>a_k$($k\ge2$)$P(I=k)=e^{a_k}/S$ が成り立たない
thm-gum-max の 1雑音が Gumbel 分布$K=2$、$a=(\log2,0)$、$G_k$ は独立な $N(0,1)$$P(I=1)=\frac23$ が成り立たない
表の確かめ

1 行目:$M_n=X_1$ なので $P(M_n-\log n\le x)=P(X_1\le x+\log n)=1-e^{-x}/n$($n$ が大きいとき)で、すべての $x$ で $1$ に近づき、$\exp(-e^{-x})< 1$ と違う。
2 行目:$x$ を固定し、$q_n:=e^{-x}/n$ が $\frac12$ 未満になる $n$ をとる。$P(M_n\le x+\log n)=\prod_{i\le n}(1-q_n^i)\ge1-\sum_{i\ge1}q_n^i=1-\frac{q_n}{1-q_n}$ は $1$ に近づき、$\exp(-e^{-x})< 1$ と違う。
3 行目:$I=\arg\max_ka_k=1$ が確率 $1$ で成り立ち、$P(I=1)=1\ne e^{a_1}/S$ である。
4 行目:$P(I=1)=P(G_2-G_1< \log2)$ で、$G_2-G_1\sim N(0,2)$ なので値は $\Phi(\log2/\sqrt2)\approx0.688$ であり、$\frac23$ と違う($\Phi$ は標準正規分布の分布関数)。

よくある誤り

誤り正しくはなぜ
位置母数 $\mu$ を平均とみる平均は $\mu+\gamma\beta$、$\mu$ は最頻値thm-gum-mgf の 2
尺度 $\beta$ を標準偏差とみる標準偏差は $\pi\beta/\sqrt6\approx1.28\beta$thm-gum-mgf の 2
最小値にもそのまま使う最小値には $-X$ の分布 $1-\exp(-e^{(x-\mu)/\beta})$最小値は $-\max(-X_i)$
裾の重いデータの最大値にも当てはめる冪の裾なら Fréchet 型極値理論 の定理「裾が正則変動する場合」。Pareto分布 の最大値は Gumbel 分布に近づかない
正規分布の最大値を小さい $n$ でも Gumbel 分布で近似する収束は $\log n$ の速さで遅い極値理論 の例「正規分布の最大値は収束が遅い」

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する