分散

同義語：variance

概要

前提知識: 期待値, 確率空間, 独立性(確率論)

定義

2 つの賭けを比べる。賭け A では何が起きても賞金は $0$ 円、賭け B では公平な硬貨を投げて表なら $+100$ 円、裏なら $-100$ 円である。どちらも賞金の期待値は $0$ 円だが、B のほうが結果が大きく散らばる。この散らばりを、期待値からのずれの 2 乗の期待値で測ったものが分散である。A の分散は $0$、B の分散は $\frac12\cdot100^2+\frac12\cdot(-100)^2=10000$ である。
さいころ 1 個の目 $X$ では、期待値は $\frac72=3.5$ で、目の 2 乗の期待値は $\frac{1+4+9+16+25+36}6=\frac{91}6$ なので、分散は $\frac{91}6-\bigl(\frac72\bigr)^2=\frac{35}{12}=2.916\ldots$ である（prop-variance-formula）。さいころ 100 個を独立に振ったときの目の和は、期待値が $350$、分散が $100\cdot\frac{35}{12}=\frac{875}3=291.6\ldots$ で、その平方根（標準偏差）は $17.07\ldots$ である（thm-variance-sum）。和はおおむね $350$ から $17$ 程度の幅に散らばり、たとえば $300$ 以下または $400$ 以上になる確率は $\frac{875/3}{50^2}=\frac7{60}$ 以下である（thm-variance-chebyshev）。
以下、期待値の記事と同じく、結果が有限個または可算個の場合に限って定義し、性質を証明する。$(\Omega,p)$ を離散確率空間（空でない有限集合または可算集合 $\Omega$ と、$\sum_{\omega}p(\omega)=1$ を満たす $p\colon\Omega\to[0,1]$ の組）とし、$\Omega$ 上の実数値関数を確率変数という。確率変数 $X$ が有限な期待値をもつとは $\sum_\omega|X(\omega)|p(\omega)<\infty$ のことで、そのとき $E[X]:=\sum_\omega X(\omega)p(\omega)$ である。$0$ 以上の値だけをとる確率変数については、和が発散する場合も含めて $E[X]\in[0,\infty]$ をこの式で定める（期待値の記事の定義「確率変数と期待値」）。

分散と標準偏差

確率変数 $X$ が有限な期待値 $\mu:=E[X]$ をもつとき、
$$ V[X]:=E\bigl[(X-\mu)^2\bigr]=\sum_{\omega\in\Omega}\bigl(X(\omega)-\mu\bigr)^2p(\omega)\in[0,\infty] $$
を $X$ の分散（variance）という。$V[X]<\infty$ のとき $X$ は有限な分散をもつといい、$\sigma_X:=\sqrt{V[X]}$ を $X$ の標準偏差（standard deviation）という。

$(X-\mu)^2$ は $0$ 以上の値だけをとるので、分散は $\infty$ になる場合も含めて定まり、つねに $V[X]\geq0$ である。分散は $V(X)$、$\mathrm{Var}[X]$、$\sigma^2$ とも書かれる。標準偏差は $X$ と同じ単位（円、センチメートルなど）をもつので、散らばりの幅の目安として使いやすい。この定義は Sho08 §8.4（p. 235）と KT17 §10.5.1（p. 222）にあり、どちらも有限の標本空間で述べている。
統計で $n$ 個のデータ $x_1,\dots,x_n$ の分散を $\frac1n\sum_i(x_i-\bar x)^2$（$\bar x$ は平均）と定めるのは、各データを確率 $\frac1n$ で選ぶ一様な確率空間での分散にあたる。$n-1$ で割る「標本分散」はこれとは別の量で、独立な観測から分散を推定するときに使う（prop-variance-sample）。また、不等式の分野の Chebyshev の総和不等式（大小の順にそろえた数列の積の和についての不等式）は、本記事の Chebyshev の不等式とは別のものである。

直感

分散は「期待値のまわりにどれだけ散らばっているか」を 1 つの数で表す。期待値から遠い値ほど、ずれの 2 乗で大きく数えられる。ずれの絶対値の期待値 $E[|X-\mu|]$ でも散らばりは測れるが、2 乗を使うと $V[X]=E[X^2]-E[X]^2$ のような計算のしやすい公式が成り立ち、独立な確率変数の和の分散が分散の和になる（thm-variance-sum）。この加法性のおかげで、独立に $n$ 回繰り返した平均の分散は $1/n$ 倍に縮み、平均が期待値の近くに集まること（大数の法則）が導かれる。
分散が分かれば、Chebyshev の不等式により、期待値から標準偏差の $k$ 倍以上離れる確率は $1/k^2$ 以下と押さえられる。分布の形を知らなくても、期待値と分散だけから散らばりの範囲が保証される。

例と反例

一様な分布と指示確率変数

$\{1,2,\dots,m\}$ 上の一様な確率で $X(\omega)=\omega$ とすると、$E[X]=\frac{m+1}2$、$E[X^2]=\frac{(m+1)(2m+1)}6$ なので
$$ V[X]=\frac{(m+1)(2m+1)}6-\frac{(m+1)^2}4=\frac{m^2-1}{12} $$
である（Sho08 Example 8.29、pp. 237–238）。$m=6$ ならさいころの $\frac{35}{12}$ である。事象 $A$ の指示確率変数 $\mathbf{1}_A$（$A$ 上で $1$、その外で $0$）は $\mathbf{1}_A^2=\mathbf{1}_A$ を満たすので、$q:=P(A)$ として $V[\mathbf{1}_A]=q-q^2=q(1-q)$ である（同書 Theorem 8.21、p. 237）。これは $q=\frac12$ で最大値 $\frac14$ をとる。

二項分布の分散

表の出る確率が $q$ の硬貨を独立に $n$ 回投げ、表の回数を $X$ とする。独立性(確率論) の記事の定理「積の確率空間の座標は互いに独立」の設定（$\{0,1\}$ の $n$ 個の積）で、$i$ 回目が表なら $1$ となる確率変数 $X_i$ は互いに独立で、$X=X_1+\cdots+X_n$ である。ex-variance-basic により $V[X_i]=q(1-q)$ なので、thm-variance-sum により
$$ V[X]=nq(1-q) $$
である（Sho08 Example 8.31、p. 238、KT17 Example 10.22、p. 222）。公平な硬貨を $10000$ 回投げると $V[X]=2500$、標準偏差は $50$ である。

反例：独立でない確率変数の和

thm-variance-sum は独立性（対ごとに独立）を仮定している。$Y=X$ とすると $X+Y=2X$ なので、prop-variance-formula により $V[X+Y]=4V[X]$ であり、$V[X]>0$ なら $V[X]+V[Y]=2V[X]$ と異なる。$Y=-X$ なら $X+Y=0$ で $V[X+Y]=0$ である。たとえば $X$ がさいころの目なら、$V[X]+V[Y]=\frac{35}6$ に対し、$V[2X]=\frac{35}3$、$V[X-X]=0$ である。$X$ と $Y$ は有限な分散をもつという性質を満たすが、独立であるという性質を満たさない（$P(X=1,Y=1)=\frac16\ne\frac1{36}$）ので、「分散の和の公式」が破れる。

反例：期待値は有限だが分散が無限

$\Omega=\{1,2,3,\dots\}$、$p(k)=2^{-k}$ とし、$X(k)=2^{k/2}$ とする。$E[X]=\sum_k2^{-k/2}=\frac1{\sqrt2-1}=\sqrt2+1$ は有限だが、$X(k)^2p(k)=1$ なので $E[X^2]=\infty$ であり、prop-variance-finite により $V[X]=\infty$ である。この $X$ は有限な期待値をもつという性質を満たすが、有限な分散をもつという性質を満たさない。このような確率変数には Chebyshev の不等式（thm-variance-chebyshev）から意味のある評価が得られない。

反例：分散が等しくても分布は等しくない

$X$ を $\pm1$ を確率 $\frac12$ ずつとる確率変数、$Y$ を $-2,0,2$ をそれぞれ確率 $\frac18,\frac34,\frac18$ でとる確率変数とすると、$E[X]=E[Y]=0$、$V[X]=1$、$V[Y]=\frac18\cdot4+\frac18\cdot4=1$ である。期待値と分散は等しいが、$Y$ は確率 $\frac34$ で $0$ をとり、$X$ は $0$ をとらない。期待値と分散は分布の要約であり、この 2 つが一致するという性質から分布が一致するという性質は従わない。

性質

以下、$(\Omega,p)$ を離散確率空間とする。

基本的な公式

分散が有限であるための条件

確率変数 $X$ が有限な期待値をもつとき、$V[X]<\infty$ であることと $E[X^2]<\infty$ であることは同値である。

2 乗の不等式で比べる

$\mu:=E[X]$ とする。実数 $s,t$ について $(s+t)^2\leq2s^2+2t^2$（$(s-t)^2\geq0$ を整理したもの）なので、各 $\omega$ で
$$ \bigl(X(\omega)-\mu\bigr)^2\leq2X(\omega)^2+2\mu^2,\qquad X(\omega)^2\leq2\bigl(X(\omega)-\mu\bigr)^2+2\mu^2 $$
である。両辺に $p(\omega)$ を掛けて足すと、$V[X]\leq2E[X^2]+2\mu^2$、$E[X^2]\leq2V[X]+2\mu^2$ を得る（項が $0$ 以上の級数の比較）。一方が有限なら他方も有限である。

逆に $E[X^2]<\infty$ ならば、$|x|\leq\frac{1+x^2}2$ から $\sum_\omega|X(\omega)|p(\omega)\leq\frac{1+E[X^2]}2<\infty$ なので、$X$ は自動的に有限な期待値をもつ。したがって「有限な分散をもつ」ことは「$E[X^2]<\infty$」と同じことである。$\Omega$ が有限なら、すべての確率変数が有限な分散をもつ。

分散の基本公式

確率変数 $X$ が有限な分散をもち、$\mu:=E[X]$ とし、$a,b$ を実数とする。

$V[X]=E[X^2]-\mu^2$。
$V[aX+b]=a^2V[X]$。特に $V[X+b]=V[X]$、標準偏差は $\sigma_{aX+b}=|a|\,\sigma_X$。
実数 $c$ について $E[(X-c)^2]=V[X]+(\mu-c)^2$。特に $E[(X-c)^2]$ は $c=\mu$ のときに限り最小値 $V[X]$ をとる。
$V[X]=0$ であることと $P(X=\mu)=1$ であることは同値である。

期待値の線形性による

$X^2$、$X$、定数はどれも有限な期待値をもつ（prop-variance-finite の後の注意）ので、期待値の記事の定理「期待値の線形性」が使える。
3：$(X-c)^2=X^2-2cX+c^2$ なので $E[(X-c)^2]=E[X^2]-2c\mu+c^2$ である。$c=\mu$ とおくと $V[X]=E[X^2]-\mu^2$ となり、これが 1 である。1 を代入すると $E[(X-c)^2]=V[X]+\mu^2-2c\mu+c^2=V[X]+(\mu-c)^2$ となり、$(\mu-c)^2\geq0$ で等号は $c=\mu$ のときに限る。
2：$aX+b$ の期待値は $a\mu+b$ なので、$(aX+b)-(a\mu+b)=a(X-\mu)$ であり、$V[aX+b]=E[a^2(X-\mu)^2]=a^2V[X]$ である。
4：$V[X]=\sum_\omega(X(\omega)-\mu)^2p(\omega)$ は $0$ 以上の項の和なので、$0$ であることは、$p(\omega)>0$ となるすべての $\omega$ で $X(\omega)=\mu$ となることと同値である。これは $P(X\ne\mu)=\sum_{X(\omega)\ne\mu}p(\omega)=0$、すなわち $P(X=\mu)=1$ と同値である。

1 は分散の計算に最もよく使う形で、Sho08 Theorem 8.18（p. 236）と KT17 Proposition 10.23（p. 223）にある。1 と $V[X]\geq0$ から $E[X^2]\geq E[X]^2$ が従う（Sho08 Theorem 8.19）。3 は、$X$ の値を 1 つの定数 $c$ で予想するとき、2 乗の誤差の期待値を最小にする予想が期待値 $\mu$ であり、そのときの誤差が分散であることを表す。

独立な確率変数の和

分散の加法性の証明には、独立な確率変数の積の期待値が要る。期待値の記事の命題「独立な確率変数の積の期待値」は有限個の値をとる場合に述べられているので、可算個の値をとる場合も含めて示しておく。

独立な確率変数の積の期待値

確率変数 $X,Y$ が有限な期待値をもち、独立であるとする（すべての実数 $x,y$ について $P(X=x,Y=y)=P(X=x)P(Y=y)$）。このとき $XY$ も有限な期待値をもち、$E[XY]=E[X]\,E[Y]$ である。

値の組ごとにまとめる

$X,Y$ のとる値の集合を $V_X,V_Y$（有限集合または可算集合）とする。$\Omega$ は互いに交わらない事象 $\{X=x\}\cap\{Y=y\}$（$x\in V_X$、$y\in V_Y$）の和集合で、その上で $|XY|=|x|\,|y|$ である。項が $0$ 以上の級数はまとめ方や順序によらない（Sho08 付録 A6・A7、p. 564）ので
$$ \sum_\omega|X(\omega)Y(\omega)|\,p(\omega)=\sum_{x\in V_X}\sum_{y\in V_Y}|x|\,|y|\,P(X=x)P(Y=y)=\Bigl(\sum_{x}|x|P(X=x)\Bigr)\Bigl(\sum_{y}|y|P(Y=y)\Bigr) $$
であり、右辺は $E[|X|]\,E[|Y|]<\infty$ である（期待値の記事の命題「値ごとにまとめた期待値」を $|X|$、$|Y|$ に使う）。よって $XY$ は有限な期待値をもち、絶対収束する級数も和のまとめ方や順序によらない（同付録）ので、同じ計算を絶対値なしで行って $E[XY]=\sum_x\sum_yxy\,P(X=x)P(Y=y)=E[X]\,E[Y]$ を得る。

共分散

確率変数 $X,Y$ が有限な分散をもつとき、
$$ \mathrm{Cov}[X,Y]:=E\bigl[(X-E[X])(Y-E[Y])\bigr]=E[XY]-E[X]\,E[Y] $$
を $X$ と $Y$ の共分散という。$\mathrm{Cov}[X,X]=V[X]$ である。

$|st|\leq\frac{s^2+t^2}2$ から $E[|XY|]\leq\frac{E[X^2]+E[Y^2]}2<\infty$ なので、$XY$ は有限な期待値をもち、定義の 2 つの式は線形性により等しい。lem-variance-product により、独立な $X,Y$ では $\mathrm{Cov}[X,Y]=0$ である。逆は成り立たない：$X$ が $-1,0,1$ を確率 $\frac13$ ずつとり、$Y=X^2$ のとき、$E[X]=0$、$E[XY]=E[X^3]=0$ なので $\mathrm{Cov}[X,Y]=0$ だが、$P(X=0,Y=0)=\frac13\ne\frac13\cdot\frac13$ で独立でない。

独立な確率変数の和の分散

確率変数 $X_1,\dots,X_n$ がどれも有限な分散をもつならば、$X_1+\cdots+X_n$ も有限な分散をもち
$$ V\Bigl[\sum_{i=1}^nX_i\Bigr]=\sum_{i=1}^nV[X_i]+2\sum_{1\leq i< j\leq n}\mathrm{Cov}[X_i,X_j] $$
である。特に $X_1,\dots,X_n$ が対ごとに独立（$i\ne j$ ならば $X_i$ と $X_j$ が独立）ならば
$$ V[X_1+\cdots+X_n]=V[X_1]+\cdots+V[X_n] $$
である。

ずれの和を展開する

$\mu_i:=E[X_i]$、$S:=\sum_iX_i$ とおく。$\bigl(\sum_ix_i\bigr)^2\leq n\sum_ix_i^2$（Cauchy–Schwarzの不等式、または $\sum_{i< j}(x_i-x_j)^2\geq0$ の整理）から $E[S^2]\leq n\sum_iE[X_i^2]<\infty$ なので、$S$ は有限な分散をもつ（prop-variance-finite）。線形性により $E[S]=\sum_i\mu_i$ なので $S-E[S]=\sum_i(X_i-\mu_i)$ であり、
$$ \bigl(S-E[S]\bigr)^2=\sum_{i=1}^n(X_i-\mu_i)^2+2\sum_{i< j}(X_i-\mu_i)(X_j-\mu_j) $$
である。右辺の各項は有限な期待値をもつ（定義の後の注意）ので、線形性により両辺の期待値をとって前半を得る。対ごとに独立なら、$i< j$ で $X_i,X_j$ は独立なので lem-variance-product により $\mathrm{Cov}[X_i,X_j]=E[X_iX_j]-\mu_i\mu_j=0$ であり、後半を得る。

この定理は Sho08 Theorem 8.20（pp. 236–237。有限の標本空間で、対ごとに独立な族について）と、共分散による形は同書 Exercise 8.26（p. 240）にある。「互いに独立」まで仮定する必要はなく、「対ごとに独立」で足りる。独立性を外すと成り立たない（ex-variance-dependent-sum）。

平均の分散

確率変数 $X_1,\dots,X_n$ が対ごとに独立で、どれも期待値 $\mu$、有限な分散 $\sigma^2$ をもつならば、平均 $\bar X:=\frac1n(X_1+\cdots+X_n)$ について
$$ E[\bar X]=\mu,\qquad V[\bar X]=\frac{\sigma^2}n $$
である。

線形性と加法性

線形性により $E[\bar X]=\frac1n\cdot n\mu=\mu$ である。prop-variance-formula の 2 と thm-variance-sum により $V[\bar X]=\frac1{n^2}V\bigl[\sum_iX_i\bigr]=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}n$ である。

平均の標準偏差は $\sigma/\sqrt n$ で、回数を 100 倍にすると散らばりの幅は $\frac1{10}$ になる。これが大数の法則の核心である。

Chebyshevの不等式

確率変数 $X$ が有限な期待値 $\mu$ をもつとき、すべての $a>0$ について
$$ P\bigl(|X-\mu|\geq a\bigr)\leq\frac{V[X]}{a^2} $$
である（$V[X]=\infty$ なら右辺を $\infty$ とみて自明に成り立つ）。特に $X$ の標準偏差が $\sigma>0$ なら、$k>0$ について $P(|X-\mu|\geq k\sigma)\leq\frac1{k^2}$ である。

Markovの不等式を 2 乗のずれに使う

$Y:=(X-\mu)^2$ は $0$ 以上の値だけをとる確率変数で、$E[Y]=V[X]$ である。$|X(\omega)-\mu|\geq a$ と $Y(\omega)\geq a^2$ は同値なので、期待値の記事の定理「Markovの不等式」を $Y$ と $a^2>0$ に使うと
$$ P(|X-\mu|\geq a)=P(Y\geq a^2)\leq\frac{E[Y]}{a^2}=\frac{V[X]}{a^2} $$
である。後半は $a=k\sigma$ とおけばよい。

この不等式は Sho08 Theorem 8.23（p. 241）と KT17 Theorem 10.24（pp. 223–224。補事象の形 $P(|X-\mu|\leq k\sigma)\geq1-1/k^2$ で述べている）にある。

評価が等号になる場合と粗い場合

$X$ が $\pm1$ を確率 $\frac12$ ずつとるとき、$\mu=0$、$V[X]=1$ で、$P(|X|\geq1)=1=\frac11$ なので、$a=1$ で等号が成り立つ。したがって、期待値と分散だけを使う評価としては、少なくとも $V[X]/a^2=1$ となる場合に、右辺をこれより小さい値に一般に置き換えることはできない。
一方、個々の分布に対しては粗いことが多い。冒頭のさいころ 100 個の和 $S$（$E[S]=350$、$V[S]=\frac{875}3$）では、$P(|S-350|\geq50)\leq\frac{875/3}{2500}=\frac7{60}=0.116\ldots$ だが、目の和の分布を直接数えると実際の確率は $0.0036\ldots$ である。公平な硬貨 $10000$ 回の表の回数 $X$（$V[X]=2500$）では、$P(|X-5000|\geq100)\leq\frac{2500}{100^2}=\frac14$ に対し、二項係数を直接足した実際の確率は $0.0465\ldots$ である。

標本分散

標本分散の期待値

$n\geq2$ とし、確率変数 $X_1,\dots,X_n$ が対ごとに独立で、どれも期待値 $\mu$、有限な分散 $\sigma^2$ をもつとする。$\bar X:=\frac1n\sum_iX_i$ とおくと
$$ E\Bigl[\sum_{i=1}^n(X_i-\bar X)^2\Bigr]=(n-1)\sigma^2 $$
である。したがって $\frac1{n-1}\sum_i(X_i-\bar X)^2$ の期待値は $\sigma^2$ に等しい。

平均のまわりの平方和を分ける

$\sum_i(X_i-\mu)=n(\bar X-\mu)$ を使って展開すると
$$ \sum_{i=1}^n(X_i-\bar X)^2=\sum_{i=1}^n\bigl((X_i-\mu)-(\bar X-\mu)\bigr)^2=\sum_{i=1}^n(X_i-\mu)^2-2(\bar X-\mu)\cdot n(\bar X-\mu)+n(\bar X-\mu)^2=\sum_{i=1}^n(X_i-\mu)^2-n(\bar X-\mu)^2 $$
である。各項は有限な期待値をもち、$E[(X_i-\mu)^2]=\sigma^2$、cor-variance-mean により $E[(\bar X-\mu)^2]=V[\bar X]=\frac{\sigma^2}n$ なので、線形性により期待値は $n\sigma^2-\sigma^2=(n-1)\sigma^2$ である。

データの平均 $\bar X$ のまわりの平方和は、本当の期待値 $\mu$ のまわりの平方和より平均して $\sigma^2$ だけ小さい。$\bar X$ がデータ自身に合わせて選ばれているからである（各 $\omega$ ごとに、データ $X_1(\omega),\dots,X_n(\omega)$ を確率 $\frac1n$ ずつとる一様な確率に prop-variance-formula の 3 を使うと、平方和は $c=\bar X$ で最小になる）。そのため、観測から分散を推定するときは $n$ ではなく $n-1$ で割った値（標本分散、不偏分散）を使うことが多い。

補足

一般の確率空間での分散

測度論に基づく一般の確率空間でも、分散は同じ式 $V[X]=E[(X-E[X])^2]$ で定義され、期待値はLebesgue積分として定まる。本記事は有限または可算の標本空間の場合に限って証明した。一般の場合には、特に独立な確率変数の積の期待値（lem-variance-product）を、値ごとの和ではなく積分の議論で示す必要がある。なお、圏論で関手が共変か反変かの別を英語で variance と呼ぶことがあるが、本記事の分散とは関係がない。