Chebyshevの不等式

同義語：チェビシェフの不等式Chebyshev's inequalityBienaymé–Chebyshevの不等式Bienaymé–Chebyshev inequality

概要

前提知識: 確率空間, 期待値, 分散, Lebesgue積分

Chebyshev の不等式（Chebyshev's inequality）は、確率変数 $X$ が期待値 $\mu$ から $a$ 以上離れる確率を、分散だけを使って
$$ P\bigl(\lvert X-\mu\rvert\ge a\bigr)\le\frac{V[X]}{a^2} $$
と押さえる不等式である。標準偏差を $\sigma$ とすれば「平均から $k\sigma$ 以上離れる確率は $\frac1{k^2}$ 以下」となる。分布の形を何も知らなくても、期待値と分散だけから散らばりの範囲が保証される点に価値がある。
この記事では、一般の確率空間と測度空間の上で不等式を述べて証明し（thm-cb-markov、thm-cb-main）、期待値と分散だけを使う評価としては改良できないこと（thm-cb-sharp）、片側だけを見るとよりよい評価があること（thm-cb-cantelli）、大数の弱法則や $L^p$ 収束への応用を扱う。結果が有限個または可算個の場合の不等式とその証明は分散の記事の定理「Chebyshevの不等式」に、データの散らばりについての高校向けの扱いは Chebyshevの不等式（高校数学）にある。

定義と主定理

設定

$(\Omega,\mathcal F,P)$ を確率空間（確率空間の定義「確率空間」）、$X$ をその上の確率変数とする。期待値 $E[X]=\int_\Omega X\,dP$ は Lebesgue積分として定まる。$E[X^2]<\infty$ なら、$\lvert X\rvert\le\frac{1+X^2}2$ から $E[\lvert X\rvert]<\infty$ であり、$\mu:=E[X]$ と分散
$$ V[X]:=E\bigl[(X-\mu)^2\bigr]=E[X^2]-\mu^2 $$
は有限である（$E[X^2]=\infty$ のときは、$E[\lvert X\rvert]<\infty$ なら $V[X]=\infty$ とおく）。分散の基本的な公式は分散の記事と同じ計算で示される。
より一般に、$(S,\mathcal S,m)$ を測度空間とし、$f\colon S\to\mathbb R$ を可測関数とする。確率空間は $m(S)=1$ の場合である。

Markov の不等式

$(S,\mathcal S,m)$ を測度空間、$f$ を $S$ 上の実数値可測関数、$\psi\colon[0,\infty)\to[0,\infty)$ を単調非減少な関数とする。$t>0$ で $\psi(t)>0$ なら
$$ m\bigl(\{s\in S:\lvert f(s)\rvert\ge t\}\bigr)\le\frac1{\psi(t)}\int_S\psi(\lvert f\rvert)\,dm $$
である。とくに $p>0$ について $m(\{\lvert f\rvert\ge t\})\le t^{-p}\int_S\lvert f\rvert^p\,dm$ である。

指示関数で下から押さえる

$A:=\{\lvert f\rvert\ge t\}$ は可測集合である。$\psi$ は単調なので、各 $c$ について $\{x\ge0:\psi(x)\ge c\}$ は区間であり、$\psi$ は Borel 可測、したがって $\psi(\lvert f\rvert)$ は値が $0$ 以上の可測関数である。
各点 $s$ で $\psi(t)\mathbf 1_A(s)\le\psi(\lvert f(s)\rvert)$ が成り立つ。実際、$s\in A$ なら $\lvert f(s)\rvert\ge t$ と $\psi$ の単調性から $\psi(\lvert f(s)\rvert)\ge\psi(t)$ であり、$s\notin A$ なら左辺は $0$ で右辺は $0$ 以上である。値が $0$ 以上の可測関数の積分は単調で定数倍と交換できる（Lebesgue積分の定理「積分の線形性と単調性」の 1 から、$g\le h$ なら $\int h=\int g+\int(h-g)\ge\int g$）ので、
$$ \psi(t)\,m(A)=\int_S\psi(t)\mathbf 1_A\,dm\le\int_S\psi(\lvert f\rvert)\,dm $$
である。両辺を $\psi(t)>0$ で割ればよい。$\psi(x)=x^p$ とすれば後半を得る。$\blacksquare$

$\psi(x)=x$ の場合は Lebesgue積分の補題「零集合と積分」の 1 にあり、期待値の記事の定理「Markovの不等式」はその離散の場合である。Dur19 Theorem 1.6.4（p. 29）は同じ主張を $\psi$ の形で述べ、この一般形を Chebyshev の不等式と呼んでいる（同書 p. 30 の注意）。

Chebyshev の不等式

確率変数 $X$ が $E[X^2]<\infty$ を満たすとし、$\mu:=E[X]$ とする。すべての $a>0$ について
$$ P\bigl(\lvert X-\mu\rvert\ge a\bigr)\le\frac{V[X]}{a^2} $$
である。$X$ の標準偏差 $\sigma:=\sqrt{V[X]}$ が正なら、$k>0$ について
$$ P\bigl(\lvert X-\mu\rvert\ge k\sigma\bigr)\le\frac1{k^2},\qquad P\bigl(\lvert X-\mu\rvert< k\sigma\bigr)\ge1-\frac1{k^2} $$
である。

2 乗のずれに Markov の不等式を使う

thm-cb-markov を、確率空間 $(\Omega,\mathcal F,P)$、関数 $f=X-\mu$、$\psi(x)=x^2$、$t=a$ に使うと
$$ P(\lvert X-\mu\rvert\ge a)\le\frac1{a^2}E\bigl[(X-\mu)^2\bigr]=\frac{V[X]}{a^2} $$
である。$a=k\sigma$ とおけば 2 つ目の式を得て、補事象をとれば 3 つ目の式を得る。$\blacksquare$

$k\le1$ では右辺 $\frac1{k^2}\ge1$ なので、評価は何も言っていない。意味をもつのは $k>1$ のときで、たとえば「平均から $2\sigma$ 以上離れる確率は $25\%$ 以下、$3\sigma$ 以上なら $\frac19=11.1\ldots\%$ 以下」が、分散が有限などんな分布についても成り立つ。この不等式は GrS06 Theorem 8.1（p. 305、離散の場合）と Theorem 8.3（p. 316、密度をもつ場合）にもある。同書 p. 310 によれば、この不等式は Chebyshev より前に Bienaymé が得ており、Bienaymé–Chebyshev の不等式とも呼ばれる。なお、数列の積の和についての Chebyshev の和の不等式（不等式の証明の技法）は別のものである。

評価の最良性

等号が成り立つ場合

等号の条件と最良性

$E[X^2]<\infty$、$\mu=E[X]$、$a>0$ とする。$P(\lvert X-\mu\rvert\ge a)=\frac{V[X]}{a^2}$ となるのは、$P\bigl(\lvert X-\mu\rvert\in\{0,a\}\bigr)=1$ のとき、かつそのときに限る。
$\mu\in\mathbb R$、$\sigma>0$、$a\ge\sigma$ を任意にとると、$E[X]=\mu$、$V[X]=\sigma^2$、$P(\lvert X-\mu\rvert\ge a)=\frac{\sigma^2}{a^2}$ を満たす確率変数 $X$ がある。したがって、期待値と分散だけから $P(\lvert X-\mu\rvert\ge a)$ を上から押さえる評価として、$\frac{\sigma^2}{a^2}$ はこれ以上小さくできない。
$0< a<\sigma$ なら、$E[X]=\mu$、$V[X]=\sigma^2$、$P(\lvert X-\mu\rvert\ge a)=1$ を満たす $X$ がある。

積分を事象で分ける

1：$Y:=(X-\mu)^2\ge0$、$A:=\{Y\ge a^2\}=\{\lvert X-\mu\rvert\ge a\}$ とおく。
$$ V[X]-a^2P(A)=E[Y]-E[a^2\mathbf 1_A]=E\bigl[(Y-a^2)\mathbf 1_A\bigr]+E\bigl[Y\mathbf 1_{A^c}\bigr] $$
であり、右辺の 2 つの被積分関数はどちらも $0$ 以上である。したがって等号 $V[X]=a^2P(A)$ は、両方の期待値が $0$ であること、すなわち（Lebesgue積分の補題「零集合と積分」の 2 により）確率 $1$ で $(Y-a^2)\mathbf 1_A=0$ かつ $Y\mathbf 1_{A^c}=0$ であることと同値である。これは「確率 $1$ で、$A$ の上では $Y=a^2$、$A^c$ の上では $Y=0$」、つまり $P(Y\in\{0,a^2\})=1$ と同値である。
2：$q:=\frac{\sigma^2}{a^2}\in(0,1]$ とおき、$X$ が $\mu+a$、$\mu-a$ をそれぞれ確率 $\frac q2$、$\mu$ を確率 $1-q$ でとるようにする。$E[X]=\mu+\frac q2a-\frac q2a=\mu$、$V[X]=qa^2=\sigma^2$ で、$P(\lvert X-\mu\rvert\ge a)=q=\frac{\sigma^2}{a^2}$ である。
3：$X$ が $\mu\pm\sigma$ を確率 $\frac12$ ずつとるようにすれば、$E[X]=\mu$、$V[X]=\sigma^2$ で、$\lvert X-\mu\rvert=\sigma>a$ が常に成り立つ。$\blacksquare$

最良性は、「どんな分布にも通用する」評価であることの裏返しである。2 で作った分布は、$\mu$ から $0$ か $a$ だけ離れた値しかとらない極端なものである。

個々の分布では粗い

一方、分散が有限な確率変数を 1 つ固定すると、$a\to\infty$ で $P(\lvert X-\mu\rvert\ge a)$ は $\frac{V[X]}{a^2}$ よりも速く $0$ に近づく。

固定した分布での改良

$E[X^2]<\infty$、$\mu=E[X]$ なら、$a\to\infty$ のとき $a^2P(\lvert X-\mu\rvert\ge a)\to0$ である。

優収束定理

$Y:=(X-\mu)^2$ とおく。$\{Y\ge a^2\}$ の上で $a^2\le Y$ なので $a^2P(Y\ge a^2)\le E\bigl[Y\mathbf 1_{\{Y\ge a^2\}}\bigr]$ である。$a\to\infty$ のとき各 $\omega$ で $Y(\omega)\mathbf 1_{\{Y\ge a^2\}}(\omega)\to0$ であり（$Y(\omega)$ は有限）、これらは可積分な $Y$ で押さえられる。Lebesgue積分の定理「優収束定理」（$a$ を任意の数列 $a_n\to\infty$ に替えて使う）により右辺は $0$ に近づく。$\blacksquare$

Dur19 Exercise 1.6.3（p. 35）は、thm-cb-sharp の 2 と prop-cb-little-o の 2 つを「Chebyshev の不等式は最良であり、かつ最良でない」としてまとめている。実際の分布での確率を比べると、次のようになる。

分布（期待値 $\mu$、標準偏差 $\sigma$）	$k=1.5$	$k=2$	$k=3$
評価 $\frac1{k^2}$	$0.4444$	$0.25$	$0.1111$
thm-cb-sharp の 2 の 3 点分布（$a=k\sigma$）	$0.4444$	$0.25$	$0.1111$
正規分布	$0.1336$	$0.0455$	$0.0027$
指数分布（密度 $e^{-x}$、$x\ge0$）	$0.0821$	$0.0498$	$0.0183$
区間 $[0,1]$ 上の一様分布	$0.1340$	$0$	$0$

表の値は $P(\lvert X-\mu\rvert\ge k\sigma)$ である。指数分布では $\mu=\sigma=1$ で、$\lvert X-1\rvert\ge k$ は $X\ge1+k$ と同値なので確率は $e^{-(1+k)}$、一様分布では $\sigma=\frac1{\sqrt{12}}$ で確率は $\max\{0,1-2k\sigma\}$ である。正規分布の値は正規分布の記事で求めている。

片側の不等式

$X$ が期待値より大きい側にだけ離れる確率を知りたいときは、thm-cb-main の右辺をそのまま使うより、よい評価がある。

片側の Chebyshev の不等式（Cantelli の不等式）

$E[X^2]<\infty$、$\mu=E[X]$、$\sigma^2=V[X]$ とする。すべての $a>0$ について
$$ P(X-\mu\ge a)\le\frac{\sigma^2}{\sigma^2+a^2} $$
である。$\sigma>0$ なら、$X-\mu$ が $a$ を確率 $\frac{\sigma^2}{\sigma^2+a^2}$、$-\frac{\sigma^2}a$ を確率 $\frac{a^2}{\sigma^2+a^2}$ でとるとき等号が成り立つ。$X$ を $-X$ に替えれば $P(X-\mu\le-a)$ にも同じ評価が成り立つ。

ずらしてから 2 乗する

$Y:=X-\mu$ とおくと $E[Y]=0$、$E[Y^2]=\sigma^2$ である。$u\ge0$ を任意にとる。$Y\ge a$ なら $Y+u\ge a+u>0$ なので $(Y+u)^2\ge(a+u)^2$ である。よって thm-cb-markov（$f=Y+u$、$\psi(x)=x^2$、$t=a+u$）により
$$ P(Y\ge a)\le P\bigl(\lvert Y+u\rvert\ge a+u\bigr)\le\frac{E[(Y+u)^2]}{(a+u)^2}=\frac{\sigma^2+u^2}{(a+u)^2} $$
である（$E[(Y+u)^2]=E[Y^2]+2uE[Y]+u^2$）。$u=\frac{\sigma^2}a$ とおくと
$$ \frac{\sigma^2+\sigma^4/a^2}{(a+\sigma^2/a)^2}=\frac{\sigma^2(a^2+\sigma^2)/a^2}{(a^2+\sigma^2)^2/a^2}=\frac{\sigma^2}{\sigma^2+a^2} $$
となり、評価を得る。
等号：$q:=\frac{\sigma^2}{\sigma^2+a^2}$ とおくと、$E[Y]=aq-\frac{\sigma^2}a(1-q)=\frac{a\sigma^2-a\sigma^2}{\sigma^2+a^2}=0$、$E[Y^2]=a^2q+\frac{\sigma^4}{a^2}(1-q)=\frac{a^2\sigma^2+\sigma^4}{\sigma^2+a^2}=\sigma^2$ であり、$-\frac{\sigma^2}a< a$ なので $P(Y\ge a)=q$ である。$\blacksquare$

$a=\sigma$ では、両側の評価 thm-cb-main からは「$P(X-\mu\ge\sigma)\le1$」しか出ないが、片側の評価は $\frac12$ を与える。$a$ が大きいときは $\frac{\sigma^2}{\sigma^2+a^2}<\frac{\sigma^2}{a^2}$ だが比は $1$ に近づく。この不等式は Dur19 Exercise 1.6.4（p. 36）にある。

応用

大数の弱法則

Chebyshev の不等式の最も重要な使い道は、平均が期待値の近くに集まることの証明である。独立性の代わりに無相関性だけを仮定し、分散が一様に有界ならよい。確率変数 $X_i,X_j$ が $E[X_i^2],E[X_j^2]<\infty$ と $E[X_iX_j]=E[X_i]E[X_j]$ を満たすとき、無相関 であるという。

$L^2$ の弱法則

確率変数 $X_1,X_2,\dots$ が互いに無相関（$i\ne j$ ならいつも $X_i$ と $X_j$ が無相関）で、ある定数 $C$ について $V[X_i]\le C$ を満たすとする。$S_n:=X_1+\cdots+X_n$、$\mu_i:=E[X_i]$ とおくと、すべての $\varepsilon>0$ について
$$ P\Bigl(\Bigl\lvert\frac{S_n}n-\frac1n\sum_{i=1}^n\mu_i\Bigr\rvert\ge\varepsilon\Bigr)\le\frac C{n\varepsilon^2}\xrightarrow[n\to\infty]{}0 $$
である。とくに $\mu_i=\mu$ がすべて等しければ $\frac{S_n}n$ は $\mu$ に確率収束する。

無相関な和の分散と Chebyshev の不等式

$Y_i:=X_i-\mu_i$ とおくと $E[Y_i]=0$ で、$i\ne j$ なら $E[Y_iY_j]=E[X_iX_j]-\mu_i\mu_j=0$ である。和を展開すると、期待値の線形性により
$$ V[S_n]=E\Bigl[\Bigl(\sum_{i=1}^nY_i\Bigr)^2\Bigr]=\sum_{i=1}^nE[Y_i^2]+\sum_{i\ne j}E[Y_iY_j]=\sum_{i=1}^nV[X_i]\le nC $$
である。$\frac{S_n}n-\frac1n\sum_i\mu_i=\frac1n\sum_iY_i$ の分散は $\frac{V[S_n]}{n^2}\le\frac Cn$ なので、thm-cb-main により確率は $\frac{C}{n\varepsilon^2}$ 以下である。$\blacksquare$

独立で分散が有限なら無相関である（Dur19 Theorem 2.1.12、p. 48。離散の場合は分散の補題「独立な確率変数の積の期待値」）ので、大数の法則の定理「大数の弱法則」はこの定理の特別な場合にあたる。thm-cb-wlln は、平均がすべて等しい場合は Dur19 Theorem 2.2.3（p. 57）にある。

必要な試行の回数

表の出る確率 $p$ が分からない硬貨を $n$ 回投げ、表の割合 $\bar X$ で $p$ を推定する。$V[\bar X]=\frac{p(1-p)}n\le\frac1{4n}$ なので、thm-cb-main により
$$ P\bigl(\lvert\bar X-p\rvert\ge0.05\bigr)\le\frac{1}{4n\cdot0.05^2}=\frac{100}n $$
であり、$p$ によらず $n\ge2000$ ならこの確率は $0.05$ 以下と保証される。$p=\frac12$、$n=2000$ で二項分布から直接求めた確率は $8.46\times10^{-6}$ ほどで、保証はかなり控えめである。中心極限定理による近似では $n\approx\bigl(\frac{1.96}{2\cdot0.05}\bigr)^2\approx384.1$ で足りる見込みになるが、これは近似であって保証ではない（$p=\frac12$、$n=385$ での実際の確率は $0.0526$ ほどで、$0.05$ をわずかに超える）。

同じ評価は Weierstrassの近似定理の Bernstein 多項式による証明（同記事の定理「Bernstein 多項式の一様収束」）の中心にもある（Dur19 Example 2.2.4、p. 58）。

$L^p$ 収束と測度収束

$L^p$ 収束から測度収束へ

$(S,\mathcal S,m)$ を測度空間、$0< p<\infty$ とする。

$f\in L^p$ なら、すべての $t>0$ について $t^p\,m(\{\lvert f\rvert\ge t\})\le\int\lvert f\rvert^p\,dm$ である。
$\int\lvert f_n-f\rvert^p\,dm\to0$ なら、すべての $t>0$ について $m(\{\lvert f_n-f\rvert\ge t\})\to0$ である（$f_n$ は $f$ に測度収束する）。確率空間では、$E[\lvert X_n-X\rvert^p]\to0$ なら $X_n$ は $X$ に確率収束する。

1 は thm-cb-markov で $\psi(x)=x^p$ とした式に $t^p$ を掛けたものである。2 は 1 を $f_n-f$ に使えば $m(\{\lvert f_n-f\rvert\ge t\})\le t^{-p}\int\lvert f_n-f\rvert^p\,dm\to0$ となる。$\blacksquare$

1 の左辺の $t$ についての上限は、関数の大きさを分布だけで測る量で、これが有限な関数の全体を弱 $L^p$ 空間という。1 は $L^p$ が弱 $L^p$ に含まれることを述べており、Marcinkiewiczの補間定理の議論の出発点になる。2 は Dur19 Lemma 2.2.2（p. 57）にある。逆は成り立たず、Lp空間の例「反例：各点で収束するが $L^p$ では収束しない列」の列 $n\mathbf 1_{(0,1/n)}$ は $0$ に測度収束するが、$p\ge1$ では $L^p$ で収束しない。

高次の積率と指数型の評価

thm-cb-markov の $\psi$ を替えると、さまざまな評価が得られる。

$\psi(x)=x^p$（$p>2$）とすると $P(\lvert X-\mu\rvert\ge a)\le\frac{E[\lvert X-\mu\rvert^p]}{a^p}$ である。高次の積率が有限なら、$a$ が大きいときの減り方が速くなる。
$s>0$ について、$\{X\ge a\}$ の上で $e^{sX}\ge e^{sa}$ なので $P(X\ge a)\le e^{-sa}E[e^{sX}]$ である。$s$ を選んで右辺を最小にすると、独立な和について指数関数的に小さい評価が得られる（Dur19 (2.7.2)、p. 106）。標準正規分布ではこれから $P(Z\ge a)\le e^{-a^2/2}$ が出る（正規分布の命題「裾の確率の評価」）。
値が $\mathbb R^d$ の確率変数 $X$ で $E[\lvert X\rvert^2]<\infty$ なら、成分ごとの期待値を並べた $\mu$ について $P(\lvert X-\mu\rvert\ge a)\le\frac{1}{a^2}\sum_{i=1}^dV[X_i]$ である（$\lvert X-\mu\rvert$ に thm-cb-markov を使い、$E[\lvert X-\mu\rvert^2]=\sum_iE[(X_i-\mu_i)^2]$ とする）。

条件を外したときの反例

外す条件	反例	成り立たなくなること
Markov の不等式を $\lvert f\rvert$ でなく $f$ そのものに使うとき $f\ge0$	$X=\pm10$（確率 $\frac12$ ずつ）	$P(X\ge1)=\frac12$ だが $\frac{E[X]}1=0$
thm-cb-main で分散が有限	$P(\lvert X\rvert\ge a)=a^{-3/2}$（$a\ge1$）となる対称な $X$	$a^2P(\lvert X-\mu\rvert\ge a)\to\infty$ で、$\frac{C}{a^2}$ の形の評価はない
thm-cb-wlln で無相関	$X_i=X_1$（$X_1=\pm1$ を確率 $\frac12$ ずつ）	$\frac{S_n}n=X_1$ で、$P(\lvert S_n/n\rvert\ge1)=1$
thm-cb-wlln で分散が一様に有界	独立な $X_i=\pm3^i$（確率 $\frac12$ ずつ）	$\lvert S_n/n\rvert\ge1$ が常に成り立つ

表の反例の確かめ

4 つの反例の確かめを開く

1 行目：$E[X]=0$ で、$P(X\ge1)=P(X=10)=\frac12>0=\frac{E[X]}{1}$ である。$\lvert X\rvert$ に使えば $P(\lvert X\rvert\ge1)=1\le\frac{E[\lvert X\rvert]}1=10$ で正しい。外れているのは「値が $0$ 以上」という条件だけである。

2 行目：$\lvert X\rvert$ が密度 $\frac32a^{-5/2}$（$a\ge1$）をもち、符号が確率 $\frac12$ ずつで $\lvert X\rvert$ と独立になるようにとる。$E[\lvert X\rvert]=\int_1^\infty a\cdot\frac32a^{-5/2}\,da=3$ で、対称性から $\mu=0$ である。$E[X^2]=\int_1^\infty\frac32a^{-1/2}\,da=\infty$ で分散は有限でない。$a\ge1$ では $a^2P(\lvert X\rvert\ge a)=a^{1/2}\to\infty$ なので、どんな定数 $C$ についても $P(\lvert X-\mu\rvert\ge a)\le\frac C{a^2}$ は $a$ が大きいと破れる。

3 行目：$i\ne j$ で $E[X_iX_j]=E[X_1^2]=1\ne0=E[X_i]E[X_j]$ なので無相関でない。分散は $1$ で一様に有界である。$\frac{S_n}n=X_1$ は $n$ によらず $\pm1$ をとるので、$0$ に確率収束しない。

4 行目：互いに独立なので無相関で、期待値はすべて $0$ だが、$V[X_i]=9^i$ は有界でない。$\lvert S_n\rvert\ge3^n-\sum_{i< n}3^i=\frac{3^n+3}2$ から $\lvert S_n/n\rvert\ge1$ が常に成り立つことは、大数の法則の例「反例：分散が共通でない場合」で示されている。

補足

名前。 確率論の文献では、thm-cb-markov の一般形を Chebyshev の不等式と呼ぶこともあり（Dur19 p. 30）、Markov の不等式と Chebyshev の不等式の呼び分けは文献によって異なる。どちらの場合も、2 乗のずれに使った形 thm-cb-main は Chebyshev の不等式と呼ばれる。
位置づけ。 Chebyshev の不等式は、分散の定義だけから出る最も単純な集中の評価である。分布について追加の情報（独立な和であること、積率母関数が有限であること、正規分布に近いこと）があれば、指数型の評価や中心極限定理による近似のほうがずっと精密になる。それでも、仮定が少なく必ず成り立つ上界として、大数の法則の証明、標本の大きさの見積もり、$L^p$ 収束から測度収束への移行など、確率論と解析学の基本的な議論の多くで使われる。