多変量正規分布

1：$t$ を固定し、$Y:=t^{\top}X$ とおく。定義により $Y$ は正規分布に従い、その平均は $t^{\top}\mu$、分散は $V[t^{\top}X]=t^{\top}\Sigma t$ である。正規分布 の記事の定理「積率母関数と特性関数」により、$Y\sim N(m,s^2)$ の特性関数は $E[e^{iuY}]=\exp(imu-s^2u^2/2)$ だから、$u=1$ として
$$ \varphi_X(t)=E[e^{iY}]=\exp\Bigl(it^{\top}\mu-\frac12t^{\top}\Sigma t\Bigr) $$
を得る。特性関数が $\mu,\Sigma$ だけで決まるので、分布も決まる。
2：$t$ を固定し、$Y:=t^{\top}X$ とおく。実数 $u$ について
$$ E[e^{iuY}]=\varphi_X(ut)=\exp\Bigl(iu\,t^{\top}\mu-\frac{u^2}2\,t^{\top}\Sigma t\Bigr) $$
であり、これは $N(t^{\top}\mu,t^{\top}\Sigma t)$ の特性関数である（$t^{\top}\Sigma t\ge0$）。1 変数の特性関数は分布を決めるので、$Y\sim N(t^{\top}\mu,t^{\top}\Sigma t)$ である。よって $X$ は多変量正規分布に従う。とくに $E[t^{\top}X]=t^{\top}\mu$ がすべての $t$ で成り立つので $E[X]=\mu$ であり、$t^{\top}\operatorname{Cov}(X)\,t=V[t^{\top}X]=t^{\top}\Sigma t$ がすべての $t$ で成り立つので、定義の節の注意により $\operatorname{Cov}(X)=\Sigma$ である。
3：$\Sigma=B^{\top}B$ となる $r\times d$ 行列 $B$ がとれることは、対称行列 の記事の定理「半正定値な実対称行列の特徴づけ」の 3 による。$t\in\mathbb{R}^d$ について $c:=Bt\in\mathbb{R}^r$ とおくと
$$ t^{\top}X=t^{\top}\mu+(Bt)^{\top}Z=t^{\top}\mu+c_1Z_1+\cdots+c_rZ_r $$
である。正規分布 の記事の定理「独立な正規分布の和」により、これは平均 $t^{\top}\mu$、分散 $c_1^2+\cdots+c_r^2=|Bt|^2=t^{\top}B^{\top}Bt=t^{\top}\Sigma t$ の正規分布に従う。よって $X$ は多変量正規分布に従い、その平均は $\mu$、共分散行列は $\Sigma$ である（2 の最後と同じ議論）。独立に $N(0,1)$ に従う $Z_1,\dots,Z_r$ は、$\mathbb{R}^r$ に $N(0,1)$ の $r$ 個の積測度 $\nu$ を入れた確率空間の座標としてとれる。実際、Borel 集合 $A_1,\dots,A_r$ について $P(Z_1\in A_1,\dots,Z_r\in A_r)=\nu(A_1\times\cdots\times A_r)=\prod_kP(Z_k\in A_k)$ である。

$u\in\mathbb{R}^k$ について $u^{\top}(AX+b)=(A^{\top}u)^{\top}X+u^{\top}b$ である。$(A^{\top}u)^{\top}X$ は定義により正規分布に従い、定数 $u^{\top}b$ を足しても正規分布に従う（正規分布 の記事の定理「1 次変換で正規分布は保たれる」、退化した場合は明らか）。よって $AX+b$ は多変量正規分布に従う。平均と共分散行列は、定義の節で述べた $E[AX+b]=A\mu+b$、$\operatorname{Cov}(AX+b)=A\Sigma A^{\top}$ による。成分の取り出しは、$A$ を単位行列の行のいくつかを並べた行列にとった場合である。

1：$\Sigma$ が正定値なら $\Sigma^{-1}$ も正定値で、$A:=\frac12\Sigma^{-1}$ は正定値な実対称行列である。$t\in\mathbb{R}^d$ について、平行移動 $x=y+\mu$ と Gauss積分 の記事の定理「正定値2次形式によるGauss積分」（$b=it$）により
$$ \int_{\mathbb{R}^d}e^{it^{\top}x}f(x)\,dx=\frac{e^{it^{\top}\mu}}{(2\pi)^{d/2}\sqrt{\det\Sigma}}\int_{\mathbb{R}^d}e^{-y^{\top}Ay+(it)^{\top}y}\,dy=\frac{e^{it^{\top}\mu}}{(2\pi)^{d/2}\sqrt{\det\Sigma}}\cdot\frac{\pi^{d/2}}{\sqrt{\det A}}\exp\Bigl(\frac{(it)^{\top}A^{-1}(it)}{4}\Bigr) $$
である。$\det A=2^{-d}(\det\Sigma)^{-1}$、$A^{-1}=2\Sigma$ なので、右辺は
$$ \frac{e^{it^{\top}\mu}}{(2\pi)^{d/2}\sqrt{\det\Sigma}}\cdot(2\pi)^{d/2}\sqrt{\det\Sigma}\cdot\exp\Bigl(-\frac{t^{\top}\Sigma t}{2}\Bigr)=\exp\Bigl(it^{\top}\mu-\frac12t^{\top}\Sigma t\Bigr) $$
に等しい。$t=0$ とすると $\int f=1$ なので、$f\ge0$ は確率密度であり、その特性関数は thm-mvn-char の 1 の式に等しい。特性関数は分布を決めるので、$X$ の分布は密度 $f$ をもつ分布に等しい。
2：$v\in\ker\Sigma$ なら $V[v^{\top}X]=v^{\top}\Sigma v=0$ なので、確率 $1$ で $v^{\top}X=v^{\top}\mu$ である。$\ker\Sigma$ の基底 $v_1,\dots,v_{d-r}$（$r=\operatorname{rank}\Sigma< d$）についてこれを使うと、確率 $1$ で $X-\mu$ は $(\ker\Sigma)^{\perp}$ に属する。$\Sigma$ は対称なので $(\ker\Sigma)^{\perp}=\operatorname{Im}\Sigma$ であり、これは次元 $r< d$ の部分空間である。真の部分空間の Lebesgue 測度は $0$ なので、$X$ が密度をもてば $P(X-\mu\in\operatorname{Im}\Sigma)=0$ となって矛盾する。

独立なら、2 乗可積分な独立な確率変数の積の期待値は期待値の積なので（Dur19 Theorem 2.1.13（p. 49））、$X^{(1)}$ の成分 $X_i$ と $X^{(2)}$ の成分 $X_j$ について $\operatorname{Cov}(X_i,X_j)=0$、すなわち $\Sigma_{12}=0$ である。
逆に $\Sigma_{12}=0$ とする。thm-mvn-affine により $X^{(k)}\sim N_{d_k}(\mu^{(k)},\Sigma_{kk})$ である。$Y^{(1)}\sim N_{d_1}(\mu^{(1)},\Sigma_{11})$ と $Y^{(2)}\sim N_{d_2}(\mu^{(2)},\Sigma_{22})$ を独立にとる（それぞれの分布の積測度を入れた $\mathbb{R}^{d_1}\times\mathbb{R}^{d_2}$ の座標としてとれる）。$t=(t^{(1)},t^{(2)})$ と分けると、$(Y^{(1)},Y^{(2)})$ の分布は 2 つの分布の積測度なので、Fubiniの定理 により有界な関数の積の期待値は期待値の積になり（実部と虚部に使う）
$$ \varphi_{(Y^{(1)},Y^{(2)})}(t)=\varphi_{Y^{(1)}}(t^{(1)})\,\varphi_{Y^{(2)}}(t^{(2)})=\exp\Bigl(it^{\top}\mu-\frac12\bigl(t^{(1)\top}\Sigma_{11}t^{(1)}+t^{(2)\top}\Sigma_{22}t^{(2)}\bigr)\Bigr) $$
である。$\Sigma_{12}=\Sigma_{21}^{\top}=0$ なので $t^{\top}\Sigma t=t^{(1)\top}\Sigma_{11}t^{(1)}+t^{(2)\top}\Sigma_{22}t^{(2)}$ であり、右辺は thm-mvn-char の 1 により $\varphi_X(t)$ に等しい。特性関数が一致するので $X$ と $(Y^{(1)},Y^{(2)})$ は同じ分布に従い、Borel 集合 $A,B$ について
$$ P(X^{(1)}\in A,X^{(2)}\in B)=P(Y^{(1)}\in A)P(Y^{(2)}\in B)=P(X^{(1)}\in A)P(X^{(2)}\in B) $$
となる。よって $X^{(1)}$ と $X^{(2)}$ は独立である。後半は、$d$ 個の成分に分けて同じ議論をすればよい。

$(X^{(1)},W)$ は $X$ の 1 次式（と定数の和）なので、thm-mvn-affine により多変量正規分布に従う。$E[W]=\mu^{(2)}-\mu^{(2)}-\Sigma_{21}\Sigma_{11}^{-1}(\mu^{(1)}-\mu^{(1)})=0$ である。$C:=\Sigma_{21}\Sigma_{11}^{-1}$（$d_2\times d_1$ 行列）とおくと、共分散の双線形性から
$$ \operatorname{Cov}(X^{(1)},W)=\operatorname{Cov}(X^{(1)},X^{(2)})-\operatorname{Cov}(X^{(1)},X^{(1)})C^{\top}=\Sigma_{12}-\Sigma_{11}\Sigma_{11}^{-1}\Sigma_{12}=0 $$
である（$\Sigma_{11}$ は対称なので $C^{\top}=\Sigma_{11}^{-1}\Sigma_{12}$）。thm-mvn-indep により $X^{(1)}$ と $W$ は独立である。$W$ の共分散行列は
$$ \operatorname{Cov}(W)=\Sigma_{22}-C\Sigma_{12}-\Sigma_{21}C^{\top}+C\Sigma_{11}C^{\top}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}=S $$
である（3 つの項がどれも $\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}$ に等しい）。
$X^{(2)}=m(X^{(1)})+W$ で $W$ は $X^{(1)}$ と独立なので、独立な確率変数の関数の条件付き期待値の公式（Dur19 Example 4.1.7（pp. 209–210）：$X,Y$ が独立で $E|\phi(X,Y)|< \infty$ なら $E[\phi(X,Y)\mid X]=g(X)$、$g(x)=E[\phi(x,Y)]$）を $\phi(x,w)=h(m(x)+w)$ に使うと、$h$ についての主張を得る。$h$ を座標関数にとると（可積分なので同じ公式が使える）、$g(x)=m(x)+E[W]=m(x)$ となり、条件付き期待値の式を得る。

対称行列 の記事の定理「直交対角化できる実行列」により $\Sigma=Q\operatorname{diag}(\lambda_1,\dots,\lambda_d)Q^{\top}$（$Q$ は直交行列、$\lambda_i>0$）と書ける。$R:=Q\operatorname{diag}(\lambda_1^{-1/2},\dots,\lambda_d^{-1/2})Q^{\top}$ は対称で、$R\Sigma R=I_d$、$R^2=\Sigma^{-1}$ を満たす。$Z:=R(X-\mu)$ は thm-mvn-affine により $N_d(0,R\Sigma R^{\top})=N_d(0,I_d)$ に従い、thm-mvn-indep によりその成分は独立に $N(0,1)$ に従う。$(X-\mu)^{\top}\Sigma^{-1}(X-\mu)=(X-\mu)^{\top}R^{\top}R(X-\mu)=Z^{\top}Z=Z_1^2+\cdots+Z_d^2$ である。