共分散行列

同義語:分散共分散行列covariance matrixvariance-covariance matrix

概要

共分散行列(covariance matrix)とは、2 次の積率が有限な確率変数 $X_1,\dots,X_n$ を並べた確率ベクトル $X$ について、共分散 $\mathrm{Cov}[X_i,X_j]$ を $(i,j)$ 成分とする $n$ 次正方行列 $\Sigma_X=E[(X-\mu)(X-\mu)^{\top}]$($\mu=E[X]$)のことである。1 次結合の分散は $V[a^{\top}X]=a^{\top}\Sigma_Xa$ で与えられ、1 次変換では $\Sigma_{AX+b}=A\Sigma_XA^{\top}$ と変わる。共分散行列は対称な半正定値行列で、逆にそのような行列はすべて共分散行列になる。$\Sigma_X$ が正則でないことは、$X$ が確率 $1$ である超平面に載ることと同値である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 共分散, 正定値行列, 期待値, 行列

いくつかの量を同時に観測するとき、それぞれのばらつき(分散)だけでなく、どの 2 つが一緒に増減しやすいか(共分散)も知りたくなる。2 乗の期待値が有限な $n$ 個の確率変数 $X_1,\dots,X_n$ のすべての組の共分散を並べた $n$ 次正方行列が 共分散行列(covariance matrix)である。定数を係数とする 1 次結合 $a_1X_1+\cdots+a_nX_n$ の分散は、この行列 $\Sigma$ の 2 次形式 $a^{\top}\Sigma\,a$ として読み取れるので、共分散行列は「どの方向にどれだけばらつくか」を 1 つにまとめて記録した行列である。
この記事では、1 次変換での変換則(prop-covmat-basic)、共分散行列は対称な半正定値行列で、逆にそのような行列はすべて共分散行列になること(thm-covmat-char)、核と像が確率ベクトルの値の載るアフィン部分空間を決めること(thm-covmat-support)、2 次形式の期待値(prop-covmat-quadratic)、標本共分散行列の不偏性(prop-covmat-sample)を証明する。対ごとの相関係数がどれも $-1$ 以上 $1$ 以下でも、並べた行列が相関行列になるとは限らない。

定義

以下、$(\Omega,\mathcal F,P)$ を確率空間とし、確率変数は実数値とする。$E[X^2]< \infty$ を満たす確率変数 $X$ の全体を $\mathcal L^2$ と書く。$\lvert x\rvert\le\frac{1+x^2}2$ から $\mathcal L^2$ の元は有限な期待値をもち、$\lvert xy\rvert\le\frac{x^2+y^2}2$ から $\mathcal L^2$ の 2 つの元の積は可積分である。ベクトルは列ベクトルとし、$a^{\top}$ で転置を表す。
成分が可積分な確率変数である行列 $M=(M_{kl})$ について、その期待値 $E[M]$ を成分ごとの期待値を並べた行列 $(E[M_{kl}])$ と定める。期待値の線形性から、定数の行列 $A,B$(積が定義される型)について $E[AMB]=A\,E[M]\,B$、$E[M^{\top}]=E[M]^{\top}$ である。

共分散行列と相互共分散行列

$X_1,\dots,X_n\in\mathcal L^2$ を並べた確率ベクトル $X=(X_1,\dots,X_n)^{\top}$ について、$\mu:=E[X]=(E[X_1],\dots,E[X_n])^{\top}$ を $X$ の 平均ベクトル といい、$n$ 次正方行列
$$ \Sigma_{X}:=E\bigl[(X-\mu)(X-\mu)^{\top}\bigr]=\bigl(\mathrm{Cov}[X_i,X_j]\bigr)_{1\le i,j\le n} $$
を $X$ の 共分散行列(分散共分散行列)という。ここで $\mathrm{Cov}[X_i,X_j]=E\bigl[(X_i-E[X_i])(X_j-E[X_j])\bigr]$ は $X_i$ と $X_j$ の共分散である。
さらに $Y_1,\dots,Y_m\in\mathcal L^2$ を並べた $Y=(Y_1,\dots,Y_m)^{\top}$ について、$n\times m$ 行列
$$ \mathrm{Cov}[X,Y]:=E\bigl[(X-E[X])(Y-E[Y])^{\top}\bigr]=\bigl(\mathrm{Cov}[X_i,Y_k]\bigr)_{1\le i\le n,\ 1\le k\le m} $$
を $X$ と $Y$ の 相互共分散行列 という。$\Sigma_{X}=\mathrm{Cov}[X,X]$ である。

$(X-\mu)(X-\mu)^{\top}$ の各成分 $(X_i-\mu_i)(X_j-\mu_j)$ は上の注意により可積分なので、$\Sigma_{X}$ は実数を成分とする行列として定まる。対角成分は分散 $V[X_i]$ であり、跡は分散の和
$$ \operatorname{tr}\Sigma_{X}=\sum_{i=1}^nV[X_i]=E\bigl[\|X-\mu\|^2\bigr] $$
である。$\Sigma_{X}$ は $X$ の分布だけで決まる。$n=1$ なら $\Sigma_{X}$ は $1\times1$ 行列 $(V[X_1])$ である。

2 変量の共分散行列

$V[X_1]=\sigma_1^2>0$、$V[X_2]=\sigma_2^2>0$ とし、相関係数を $\rho:=\mathrm{Cov}[X_1,X_2]/(\sigma_1\sigma_2)$ とすると
$$ \Sigma_{X}=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix},\qquad\det\Sigma_{X}=\sigma_1^2\sigma_2^2(1-\rho^2) $$
である。$\lvert\rho\rvert\le1$(共分散 の系「共分散の大きさの上限」)なので $\det\Sigma_{X}\ge0$ で、正則でないのは $\rho=\pm1$、すなわち同じ系の等号条件により、$(a,b)\ne(0,0)$ で確率 $1$ で $aX_1+bX_2$ が定数になるものがあるときに限る。

直観

$X$ の値を何度も描くと、点の雲は平均ベクトルのまわりに広がる。単位ベクトル $u$ の方向の座標 $u^{\top}X$ の分散は $u^{\top}\Sigma_{X}u$ である(thm-covmat-char の 1)。$\Sigma_{X}=U\,\mathrm{diag}(\lambda_1,\dots,\lambda_n)\,U^{\top}$($U$ は直交行列、$\lambda_1\ge\cdots\ge\lambda_n$)と対角化し、$w:=U^{\top}u$ とおくと $\|w\|=1$ で $u^{\top}\Sigma_{X}u=\sum_k\lambda_kw_k^2$ なので、方向ごとの分散の最大値は $\lambda_1$、最小値は $\lambda_n$ で、固有ベクトルの方向が雲のいちばん伸びた方向と縮んだ方向になる。この見方でデータを要約するのが 主成分分析 である。
共分散行列は 2 次までの情報しかもたず、平均ベクトルと共分散行列が同じでも分布は違いうる(ex-covmat-counterexamples)。ただし 多変量正規分布 は、この 2 つで分布が決まる。

基本性質

共分散行列の計算規則

$X$ を $\mathcal L^2$ の成分をもつ $n$ 次元の確率ベクトル、$Y$ を $\mathcal L^2$ の成分をもつ $m$ 次元の確率ベクトルとし、$\mu:=E[X]$ とする。

  1. $\Sigma_{X}=E[X X^{\top}]-\mu \mu^{\top}$。
  2. $\Sigma_{X}$ は対称行列であり、$\mathrm{Cov}[Y,X]=\mathrm{Cov}[X,Y]^{\top}$。
  3. $k\times n$ 実行列 $A$、$l\times m$ 実行列 $C$、$b\in\mathbb R^k$、$d\in\mathbb R^l$ について
    $$ \mathrm{Cov}[A X+b,\ C Y+d]=A\,\mathrm{Cov}[X,Y]\,C^{\top}. $$
    とくに $\Sigma_{A X+b}=A\,\Sigma_{X}A^{\top}$ である。
  4. $m=n$ のとき $\Sigma_{X+Y}=\Sigma_{X}+\Sigma_{Y}+\mathrm{Cov}[X,Y]+\mathrm{Cov}[Y,X]$。とくに、すべての $i,j$ で $X_i$ と $Y_j$ が無相関なら(たとえば確率ベクトル $X$ と $Y$ が独立なら)$\Sigma_{X+Y}=\Sigma_{X}+\Sigma_{Y}$ である。
期待値を定数の行列の外に出す

要点:偏差 $X-\mu$ は 1 次変換 $A X+b$ で $A(X-\mu)$ に移り、期待値は定数の行列の積の外に出せる。

詳しい証明を開く

$\nu:=E[Y]$ とおく。1:$(X-\mu)(X-\mu)^{\top}=X X^{\top}-\mu X^{\top}-X \mu^{\top}+\mu \mu^{\top}$ の期待値をとる。$E[\mu X^{\top}]=E[X \mu^{\top}]=\mu \mu^{\top}$ なので、$E[X X^{\top}]-\mu \mu^{\top}$ になる。

2:$\bigl((Y-\nu)(X-\mu)^{\top}\bigr)^{\top}=(X-\mu)(Y-\nu)^{\top}$ の期待値をとる。$Y=X$ とすれば $\Sigma_{X}^{\top}=\Sigma_{X}$ である。

3:$(A X+b)-E[A X+b]=A(X-\mu)$、$(C Y+d)-E[C Y+d]=C(Y-\nu)$ なので、左辺は $E\bigl[A(X-\mu)(Y-\nu)^{\top}C^{\top}\bigr]=A\,\mathrm{Cov}[X,Y]\,C^{\top}$ である。$C=A$、$d=b$、$Y=X$ とおけば後半を得る。

4:$(X+Y)-E[X+Y]=(X-\mu)+(Y-\nu)$ の外積を 4 項に展開して期待値をとる。後半では $\mathrm{Cov}[X,Y]$ の成分がすべて $0$ で、2 により $\mathrm{Cov}[Y,X]=O$ でもある。$X$ と $Y$ が独立なら成分 $X_i$ と $Y_j$ も独立なので、共分散 の定理「独立なら無相関」により無相関である。$\blacksquare$

3 で $k=1$、$A=a^{\top}$、$b=0$ とすると、$1\times1$ の共分散行列は分散なので $V[a^{\top}X]=a^{\top}\Sigma_{X}a=\sum_{i,j}a_ia_j\,\mathrm{Cov}[X_i,X_j]$ を得る(共分散 の定理「和の分散と共分散行列の半正定値性」の 1 を行列で書いたもの)。$\Sigma_{X}$ が正定値行列なら、半正定値な平方根の逆行列 $\Sigma_{X}^{-1/2}$ について $\Sigma_{X}^{-1/2}(X-\mu)$ の共分散行列は $I$ であり、1 次変換で成分を互いに無相関で分散 $1$ にそろえられる(白色化)。

半正定値行列と共分散行列

共分散行列になる行列の特徴づけ
  1. $X$ を $\mathcal L^2$ の成分をもつ $n$ 次元の確率ベクトルとする。すべての $a\in\mathbb R^n$ について $V[a^{\top}X]=a^{\top}\Sigma_{X}a$ であり、$\Sigma_{X}$ は対称な半正定値行列である。
  2. 逆に、$n$ 次の対称な半正定値行列 $\Sigma$ と $\mu\in\mathbb R^n$ が与えられると、ある確率空間の上に、平均ベクトルが $\mu$、共分散行列が $\Sigma$ の確率ベクトル $X$ が存在する。しかも $X$ として、$2n$ 個以下の値しかとらないものがとれる。
座標軸の上の一様な点を変換する

1:等式は prop-covmat-basic の 3 のすぐ後で示した。右辺は分散なので $0$ 以上であり、対称性は prop-covmat-basic の 2 による。
2:正定値行列 の定理「半正定値な平方根の存在と一意性」により、$A^2=\Sigma$ となる対称な実行列 $A$ がある。$e_1,\dots,e_n$ を $\mathbb R^n$ の標準基底とし、$2n$ 個の点からなる標本空間 $\Omega:=\{\pm e_1,\dots,\pm e_n\}$ に各点の確率が $\frac1{2n}$ の一様な確率を与え、$Z(\omega):=\sqrt n\,\omega$ とおく。$e_k$ と $-e_k$ が同じ確率で現れるので $E[Z]=0$ であり、$(\pm e_k)(\pm e_k)^{\top}=e_k e_k^{\top}$ から
$$ E[Z Z^{\top}]=\sum_{k=1}^n\frac2{2n}\cdot n\,e_k e_k^{\top}=\sum_{k=1}^n e_k e_k^{\top}=I $$
である。よって prop-covmat-basic の 1 により $\Sigma_{Z}=I$ である。$X:=A Z+\mu$ とおくと、平均ベクトルは $A\,E[Z]+\mu=\mu$ で、prop-covmat-basic の 3 により共分散行列は $AIA^{\top}=A^2=\Sigma$ である。$X$ のとる値は $\mu\pm\sqrt n\,A e_k$ の $2n$ 個以下である。$\blacksquare$

$n=1$ なら 2 は、$m\pm\sigma$ を確率 $\frac12$ ずつでとる確率変数が平均 $m$、分散 $\sigma^2$ をもつという事実である。$Z$ は $\mathbb Z^n$ の上の単純ランダムウォーク(Dur19 Example 3.10.8、p. 201)の 1 歩を $\sqrt n$ 倍したもので、1 歩そのものの共分散行列は $\frac1nI$ である。同じ $\Sigma$ と $\mu$ をもつ多変量正規分布も存在する(多変量正規分布 の定理「多変量正規分布の特性関数と存在」)。

相関行列

$X$ を $\mathcal L^2$ の成分をもつ $n$ 次元の確率ベクトルとし、どの成分の分散も正であるとする。$D:=\mathrm{diag}(V[X_1],\dots,V[X_n])$ として
$$ R_{X}:=D^{-1/2}\,\Sigma_{X}\,D^{-1/2} $$
を $X$ の 相関行列 という。$R_{X}$ の $(i,j)$ 成分は $X_i$ と $X_j$ の相関係数であり、$R_{X}$ は対角成分がすべて $1$ の対称な半正定値行列で、標準化した確率ベクトル $D^{-1/2}(X-E[X])$ の共分散行列に等しい。逆に、対角成分がすべて $1$ の $n$ 次の対称な半正定値行列は、どれもある確率ベクトルの相関行列である。

要点:標準化は対角行列 $D^{-1/2}$ による 1 次変換なので、prop-covmat-basic の 3 と thm-covmat-char の両向きに帰着する。

詳しい証明を開く

$R_{X}$ の $(i,j)$ 成分は $\mathrm{Cov}[X_i,X_j]/\sqrt{V[X_i]V[X_j]}$、すなわち相関係数で、対角成分は $1$ である。prop-covmat-basic の 3 により $D^{-1/2}(X-E[X])$ の共分散行列は $D^{-1/2}\Sigma_{X}D^{-1/2}=R_{X}$ で、thm-covmat-char の 1 によりこれは対称な半正定値行列である。逆に $R$ が対角成分 $1$ の対称な半正定値行列なら、thm-covmat-char の 2 により共分散行列が $R$ の $X$ があり、成分の分散は $1$ なので $D=I$、$R_{X}=R$ である。$\blacksquare$

対角成分が $1$ で非対角成分がどれも $-1$ 以上 $1$ 以下の対称行列でも、半正定値でなければ相関行列ではない(ex-covmat-counterexamples の 1)。2 つずつの相関係数を別々に決めても、3 つ以上をまとめた矛盾のない組になるとは限らない。

核と像:値の載るアフィン部分空間

$\Sigma_{X}$ が正則でないことは、ある 1 次結合が確率 $1$ で定数になることを意味する。これを核と像の言葉で精密にしたのが次の定理である。

共分散行列の核と値の範囲

$X$ を $\mathcal L^2$ の成分をもつ $n$ 次元の確率ベクトルとし、$\mu:=E[X]$、$\Sigma:=\Sigma_{X}$ とする。$\operatorname{Im}\Sigma$ は $\Sigma$ の列ベクトルが張る $\mathbb R^n$ の部分空間を表す。

  1. $a\in\mathbb R^n$ について、$\Sigma a=0$ であることと、確率 $1$ で $a^{\top}X=a^{\top}\mu$ となることは同値である。
  2. 確率 $1$ で $X-\mu\in\operatorname{Im}\Sigma$ である。
  3. $\mathbb R^n$ の部分空間 $W$ と $c\in\mathbb R^n$ について、確率 $1$ で $X\in c+W$ ならば、$\mu\in c+W$ かつ $\operatorname{Im}\Sigma\subset W$ である。
    したがって、$X$ が確率 $1$ で属するアフィン部分空間の次元の最小値は $\operatorname{rank}\Sigma$ であり、その次元のものは $\mu+\operatorname{Im}\Sigma$ ただ 1 つである。とくに $\Sigma$ が正則であることは、$X$ が確率 $1$ で属する超平面がないことと同値である。
半正定値な 2 次形式の零点は核に入る

まず、対称な半正定値行列 $\Sigma$ について、$a^{\top}\Sigma a=0$ なら $\Sigma a=0$ であることを示す。任意の $b\in\mathbb R^n$ と実数 $t$ について、対称性から
$$ 0\le(a+t b)^{\top}\Sigma(a+t b)=2t\,b^{\top}\Sigma a+t^2\,b^{\top}\Sigma b $$
である。$b^{\top}\Sigma a\ne0$ なら、$t$ を $b^{\top}\Sigma a$ と逆の符号で絶対値を十分小さくとると右辺が負になるので、$b^{\top}\Sigma a=0$ である。$b$ は任意なので $\Sigma a=0$ である。逆向きの含意は明らかである。
1:$S:=a^{\top}X$ とおくと $E[S]=a^{\top}\mu$ で、thm-covmat-char の 1 により $a^{\top}\Sigma a=V[S]=E[(S-E[S])^2]$ である。値が $0$ 以上の可測関数の積分が $0$ になるのは、その関数がほとんど至るところ $0$ のときに限る(Lebesgue積分 の補題「零集合と積分」)ので、$V[S]=0$ は確率 $1$ で $S=E[S]$ となることと同値である。これと最初に示したことを合わせればよい。
2:$\Sigma$ は対称なので、$a\in\ker\Sigma$ と $v=\Sigma w\in\operatorname{Im}\Sigma$ について $a^{\top}v=(\Sigma a)^{\top}w=0$ であり、$\operatorname{Im}\Sigma\subset(\ker\Sigma)^{\perp}$ である。次元は $\operatorname{rank}\Sigma=n-\dim\ker\Sigma=\dim(\ker\Sigma)^{\perp}$ で等しいので、$\operatorname{Im}\Sigma=(\ker\Sigma)^{\perp}$ である。$\ker\Sigma$ の基底 $u_1,\dots,u_r$ をとると、1 により事象 $N_l:=\{u_l^{\top}(X-\mu)\ne0\}$ の確率はどれも $0$ である。$N_1\cup\cdots\cup N_r$ の外では $X-\mu$ は $\ker\Sigma$ のすべての元と直交し、$(\ker\Sigma)^{\perp}=\operatorname{Im}\Sigma$ に属する。
3:$a\in W^{\perp}$ とすると、確率 $1$ で $a^{\top}X=a^{\top}c$ である。期待値をとって $a^{\top}\mu=a^{\top}c$ を得る。これがすべての $a\in W^{\perp}$ で成り立つので $\mu-c\in(W^{\perp})^{\perp}=W$ である。また確率 $1$ で $a^{\top}X=a^{\top}\mu$ なので、1 により $a\in\ker\Sigma$ である。よって $W^{\perp}\subset\ker\Sigma$ で、直交補空間をとって $\operatorname{Im}\Sigma=(\ker\Sigma)^{\perp}\subset W$ である。
最後の主張:2 により $\mu+\operatorname{Im}\Sigma$ は確率 $1$ で $X$ を含み、次元は $\operatorname{rank}\Sigma$ である。$c+W$ が確率 $1$ で $X$ を含めば、3 により $\dim W\ge\operatorname{rank}\Sigma$ であり、等号なら $W=\operatorname{Im}\Sigma$ で、$\mu\in c+W$ から $c+W=\mu+\operatorname{Im}\Sigma$ である。超平面は次元 $n-1$ のアフィン部分空間なので、確率 $1$ で $X$ を含む超平面があることは $\operatorname{rank}\Sigma\le n-1$ と同値である。$\blacksquare$

さいころの目を表すベクトル

$p_1,\dots,p_m>0$、$p_1+\cdots+p_m=1$ とし、確率 $p_i$ で標準基底の $e_i\in\mathbb R^m$ をとる確率ベクトル $X$ を考える(公平なさいころの出た目を記録するなら $m=6$、$p_i=\frac16$)。$X_iX_j$ は $i\ne j$ なら $0$、$i=j$ なら $X_i$ なので、$E[X]=p:=(p_1,\dots,p_m)^{\top}$、$E[X X^{\top}]=\mathrm{diag}(p_1,\dots,p_m)$ で、prop-covmat-basic の 1 により
$$ \Sigma_{X}=\mathrm{diag}(p_1,\dots,p_m)-p p^{\top} $$
である。公平なさいころでは対角成分が $\frac5{36}$、非対角成分が $-\frac1{36}$ である(Dur19 Example 3.10.9、p. 201)。
成分の和 $\mathbf 1^{\top}X$($\mathbf 1$ は成分がすべて $1$ の列ベクトル)はつねに $1$ なので、thm-covmat-support の 1 により $\Sigma_{X}\mathbf 1=0$ である(直接にも $(\Sigma_{X}\mathbf 1)_i=p_i-p_i\sum_jp_j=0$)。逆に $\Sigma_{X}a=0$ なら $p_ia_i=p_i\,(p^{\top}a)$ がすべての $i$ で成り立ち、$p_i>0$ で割ると $a_i=p^{\top}a$ はすべて等しい。よって $\ker\Sigma_{X}$ は $\mathbf 1$ で張られ、$\operatorname{rank}\Sigma_{X}=m-1$ であり、thm-covmat-support により $X$ が確率 $1$ で属する最小のアフィン部分空間は超平面 $\{x:x_1+\cdots+x_m=1\}$ である。独立に $N$ 回とった和は 多項分布 に従い、共分散行列は $N$ 倍になる(多項分布 の定理「期待値・共分散と共分散行列の階数」)。

ランダムウォークの位置の共分散行列

$\xi_1,\dots,\xi_n$ を互いに無相関で $E[\xi_k]=0$、$V[\xi_k]=1$ の確率変数とし、$S_k:=\xi_1+\cdots+\xi_k$、$\mathbf S:=(S_1,\dots,S_n)^{\top}$ とおく。$\xi:=(\xi_1,\dots,\xi_n)^{\top}$ の共分散行列は単位行列 $I$ である。$L$ を対角成分とその下の成分がすべて $1$、対角より上の成分が $0$ の $n$ 次下三角行列とすると $\mathbf S=L \xi$ なので、prop-covmat-basic の 3 により
$$ \Sigma_{\mathbf S}=LL^{\top},\qquad(LL^{\top})_{ij}=\sum_{k=1}^nL_{ik}L_{jk}=\#\{k:k\le i,\ k\le j\}=\min\{i,j\} $$
である。たとえば $n=3$ では
$$ \Sigma_{\mathbf S}=\begin{pmatrix}1&1&1\\1&2&2\\1&2&3\end{pmatrix}=\begin{pmatrix}1&0&0\\1&1&0\\1&1&1\end{pmatrix}\begin{pmatrix}1&1&1\\0&1&1\\0&0&1\end{pmatrix} $$
である。$L$ は正則なので、$a\ne 0$ なら $a^{\top}\Sigma_{\mathbf S}a=\|L^{\top}a\|^2>0$ で、$\Sigma_{\mathbf S}$ は正定値である。$LL^{\top}$ は対角成分が正の下三角行列とその転置の積への分解で、この分解はただ 1 つである(正定値行列 の命題「Cholesky 分解の一意性」)。

2 次形式の期待値

2 次形式の期待値

$X$ を $\mathcal L^2$ の成分をもつ $n$ 次元の確率ベクトル、$\mu:=E[X]$、$\Sigma:=\Sigma_{X}$ とし、$A$ を $n$ 次の実正方行列とする。このとき
$$ E[X^{\top}A X]=\operatorname{tr}(A\Sigma)+\mu^{\top}A \mu $$
である。とくに $\Sigma$ が正則なら $E\bigl[(X-\mu)^{\top}\Sigma^{-1}(X-\mu)\bigr]=n$ である。

2 次形式を跡で書く

$\operatorname{tr}(AM)=\sum_{i,j}A_{ij}M_{ji}$ に $M=X X^{\top}$ を入れると $X^{\top}A X=\operatorname{tr}(A X X^{\top})$ である。跡は成分の 1 次式なので期待値と交換でき、prop-covmat-basic の 1 から $E[X^{\top}A X]=\operatorname{tr}(A\Sigma)+\operatorname{tr}(A \mu \mu^{\top})=\operatorname{tr}(A\Sigma)+\mu^{\top}A \mu$ である。後半は、平均ベクトルが $0$、共分散行列が $\Sigma$ の $X-\mu$(prop-covmat-basic の 3)と $A=\Sigma^{-1}$ に前半を使えば $\operatorname{tr}I=n$ となる。$\blacksquare$

$(x-\mu)^{\top}\Sigma^{-1}(x-\mu)$ の平方根は、各方向のばらつきで測った平均ベクトルからの距離(Mahalanobis 距離)で、後半はその 2 乗の期待値が分布によらず $n$ であることを言う。多変量正規分布なら、その 2 乗は自由度 $n$ のカイ 2 乗分布に従う(多変量正規分布 の命題「Mahalanobis 距離の 2 乗の分布」)。

標本共分散行列

データから共分散行列を推定するときは、分散 の不偏分散と同じく、偏差の外積の和を $N-1$ で割る。

標本共分散行列の不偏性

$N\ge2$ とし、$X^{(1)},\dots,X^{(N)}$ を互いに独立で、どれも $X$ と同じ分布に従う $n$ 次元の確率ベクトルとする($X$ の成分は $\mathcal L^2$ の元)。$\bar X:=\frac1N\sum_{k=1}^N X^{(k)}$ とし、
$$ S:=\frac1{N-1}\sum_{k=1}^N(X^{(k)}-\bar X)(X^{(k)}-\bar X)^{\top} $$
とおくと $E[S]=\Sigma_{X}$ である。また $S$ の階数はつねに $N-1$ 以下であり、とくに $N\le n$ なら $S$ は正則でない。

平均の共分散行列を使う

要点:偏差の外積の和は $\sum_k X^{(k)}(X^{(k)})^{\top}-N\bar X\bar X^{\top}$ で、平均 $\bar X$ の共分散行列は $\frac1N\Sigma_{X}$ である。

詳しい証明を開く

$\mu:=E[X]$、$\Sigma:=\Sigma_{X}$ とおく。$\sum_k X^{(k)}=N\bar X$ を使って展開すると、偏差の外積の和は $\sum_k X^{(k)}(X^{(k)})^{\top}-N\bar X\bar X^{\top}$ である。prop-covmat-basic の 1 により $E[X^{(k)}(X^{(k)})^{\top}]=\Sigma+\mu \mu^{\top}$ である。$k\ne l$ なら $X^{(k)}$ と $X^{(l)}$ は独立なので、prop-covmat-basic の 4 を繰り返し使って $\Sigma_{X^{(1)}+\cdots+X^{(N)}}=N\Sigma$、3 により $\Sigma_{\bar X}=\frac1N\Sigma$ であり、1 から $E[\bar X\bar X^{\top}]=\frac1N\Sigma+\mu \mu^{\top}$ である。よって和の期待値は $N(\Sigma+\mu \mu^{\top})-(\Sigma+N \mu \mu^{\top})=(N-1)\Sigma$ で、$E[S]=\Sigma$ である。

階数:$v_k:=X^{(k)}-\bar X$ とおくと $v_1+\cdots+v_N=0$ なので、$v_1,\dots,v_N$ の張る部分空間 $V$ の次元は $N-1$ 以下である。$S w=\frac1{N-1}\sum_k(v_k^{\top}w)v_k\in V$ なので $\operatorname{rank}S\le N-1$ である。$\blacksquare$

$n=1$ とすれば、不偏分散の期待値が分散に等しいことになる(分散 の命題「標本分散の期待値」)。次元 $n$ が標本の大きさ $N$ 以上だと、母集団の共分散行列が正定値であっても標本共分散行列は正則でなくなり、$S^{-1}$ を使う手法はそのままでは使えない。

反例:条件を外すと成り立たないこと

外す条件・誤った推論反例成り立たなくなること
行列全体の半正定値性(対ごとの相関係数が $[-1,1]$ に入ることだけを確かめる)対角成分 $1$、非対角成分がすべて $-0.9$ の $3$ 次対称行列共分散行列(相関行列)である
正規分布であること(平均ベクトルと共分散行列だけで分布を決める)$\pm1$ を確率 $\frac12$ ずつでとる確率変数と標準正規分布分布が同じである
正規分布であること(共分散行列が対角なら独立とする)公平なさいころ 2 回の目の和と差成分が独立である
成分が $\mathcal L^2$ に属すること密度 $2x^{-3}$($x\ge1$)をもつ成分共分散行列が定まる
表の反例の確かめ

1 行目:$R:=(1-\rho)I+\rho J$($J$ は成分がすべて $1$ の $3$ 次正方行列)で $\rho=-0.9$ とすると、非対角成分はどれも $-1$ 以上 $1$ 以下だが $\mathbf 1^{\top}R\,\mathbf 1=3+6\rho=-2.4< 0$ である。$R=\Sigma_{X}$ なら thm-covmat-char の 1 により $V[X_1+X_2+X_3]=-2.4$ となるので、$R$ はどの確率ベクトルの共分散行列でもない。どの 2 つも強く負に相関する 3 つの量はありえない。

2〜4 行目と等相関の行列の一般の場合を開く

等相関の行列:$n$ 次の $(1-\rho)I+\rho J$ の固有値は $1+(n-1)\rho$(固有ベクトル $\mathbf 1$)と $1-\rho$($\mathbf 1$ に直交する方向)なので、これが相関行列であるのは $-\frac1{n-1}\le\rho\le1$ のときに限る($0< \rho< 1$ の場合の計算は 主成分分析 の例「等相関の共分散行列」にもある)。

2 行目:$Z$ を $\pm1$ を確率 $\frac12$ ずつでとる確率変数(thm-covmat-char の 2 の構成で $n=1$ としたもの)、$Y$ を標準正規分布に従う確率変数とする。どちらも平均 $0$、分散 $1$ だが、$P(Z=1)=\frac12$、$P(Y=1)=0$ なので分布は違う。

3 行目:公平なさいころを 2 回独立に投げた目を $D_1,D_2$ とし、$X:=(D_1+D_2,\ D_1-D_2)^{\top}=A(D_1,D_2)^{\top}$、$A=\begin{pmatrix}1&1\\1&-1\end{pmatrix}$ とおく。$(D_1,D_2)^{\top}$ の共分散行列は $\frac{35}{12}I$ なので、prop-covmat-basic の 3 により $\Sigma_{X}=\frac{35}{12}AA^{\top}=\frac{35}6I$ は対角である。しかし成分は独立でない(共分散 の例「反例:無相関だが独立でない組」)。2 変量正規分布に従う組なら、対角な共分散行列から独立が従う(多変量正規分布 の定理「無相関なら独立」)。

4 行目:$X_1$ が密度 $2x^{-3}$($x\ge1$)をもつとすると $E[X_1]=2$ だが $E[X_1^2]=\int_1^{\infty}2x^{-1}\,dx=\infty$ で、対角成分 $V[X_1]$ が有限な値として定まらない。

補足

多変量の中心極限定理。 独立で同じ分布に従い、平均ベクトル $\mu$ と共分散行列 $\Sigma$ をもつ確率ベクトル $X^{(1)},X^{(2)},\dots$ について、$(X^{(1)}+\cdots+X^{(N)}-N \mu)/\sqrt N$ の分布は、平均 $0$、共分散行列 $\Sigma$ の多変量正規分布に近づく(Dur19 Theorem 3.10.7、p. 200)。ex-covmat-die のさいころでは、極限は超平面 $\{x_1+\cdots+x_6=0\}$ に載る(同書 Example 3.10.9)。
使われる場面。 多変量正規分布が密度をもつのは共分散行列が正則なときで(多変量正規分布 の定理「多変量正規分布の密度」)、thm-covmat-support と整合する。推定量の共分散行列を比べて最良の線形不偏推定量を選ぶのが Gauss–Markovの定理 である。

関連項目

参考文献

[1]
Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019, Section 3.10:Theorem 3.10.7(p. 200)、Example 3.10.8・Example 3.10.9(p. 201)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する