共分散

$\mu:=E[X]$、$\nu:=E[Y]$、$\lambda:=E[Z]$ とおく。$XY$ は $\lvert XY\rvert\le\frac{X^2+Y^2}2$ により可積分である。
1：$(X-\mu)(Y-\nu)=XY-\nu X-\mu Y+\mu\nu$ の各項は可積分なので、期待値の線形性（Lebesgue積分 の定理「積分の線形性と単調性」）から $E[XY]-\nu\mu-\mu\nu+\mu\nu=E[XY]-\mu\nu$ である。
2：定義で $Y=X$ とおけば分散の定義 $E[(X-\mu)^2]$ になり、被積分関数が $0$ 以上なので $0$ 以上である。
3：定義の式は $X$ と $Y$ について対称である。
4：$W:=aX+bZ$ とおくと $E[W]=a\mu+b\lambda$ で、$W-E[W]=a(X-\mu)+b(Z-\lambda)$ である。これに $Y-\nu$ を掛けて期待値をとり、線形性を使えばよい。
5：$(X+c)-E[X+c]=X-\mu$、$(Y+d)-E[Y+d]=Y-\nu$ なので、定義の被積分関数は変わらない。$X=0$ とおけば後半を得る。$\blacksquare$

1：prop-cov-basic の 2 により $V[\sum_ia_iX_i]=\mathrm{Cov}[\sum_ia_iX_i,\sum_ja_jX_j]$ であり、4 と 3 で左右の変数をそれぞれ展開すると $\sum_{i,j}a_ia_j\mathrm{Cov}[X_i,X_j]$ になる。これは行列の積 $\mathbf a^{\top}\Sigma\,\mathbf a$ を成分で書いたものである。$a_1=\cdots=a_n=1$ とし、$(i,j)$ と $(j,i)$ の項をまとめれば次の式を得る。互いに無相関なら $i\ne j$ の項がすべて $0$ になる。
2：対称性は prop-cov-basic の 3 から、半正定値性は 1 と分散が $0$ 以上であることから従う。
3：$S:=\sum_ia_iX_i$ とおくと、1 により $\mathbf a^{\top}\Sigma\,\mathbf a=V[S]=E[(S-E[S])^2]$ である。値が $0$ 以上の可測関数の積分が $0$ になるのは、その関数がほとんど至るところ $0$ のときに限る（Lebesgue積分 の補題「零集合と積分」）ので、$V[S]=0$ は確率 $1$ で $S=E[S]$ となることと同値である。$\Sigma$ が対称な半正定値行列のとき、$\Sigma$ が正則でないことは $\mathbf a^{\top}\Sigma\,\mathbf a=0$ となる $\mathbf a\ne0$ があることと同値である（$\Sigma$ を直交行列で対角化すると、固有値は $0$ 以上で、$\mathbf a^{\top}\Sigma\,\mathbf a$ は固有値に $\mathbf a$ の座標の 2 乗を掛けた和になる）。
4：$Y_k=\sum_iA_{ki}X_i+b_k$ なので、prop-cov-basic の 4・5 と 3 により $\mathrm{Cov}[Y_k,Y_l]=\sum_{i,j}A_{ki}A_{lj}\mathrm{Cov}[X_i,X_j]=(A\Sigma A^{\top})_{kl}$ である。$\blacksquare$

不等式は、prop-cov-basic により $\langle X,Y\rangle:=\mathrm{Cov}[X,Y]$ が実ベクトル空間 $\mathcal L^2$ の半内積であることと、Cauchy–Schwarzの不等式 の定理「Cauchy–Schwarzの不等式」の 1 から従う。
等号条件を示す。$V[X]=0$ なら、thm-cov-sum の 3 により確率 $1$ で $X$ は定数で、$(a,b)=(1,0)$ がとれ、両辺とも $0$ である（$X-E[X]=0$ が確率 $1$ で成り立つので $\mathrm{Cov}[X,Y]=0$）。$V[X]>0$ とする。$q(t):=V[tX+Y]=t^2V[X]+2t\,\mathrm{Cov}[X,Y]+V[Y]$ は $0$ 以上の 2 次関数で、判別式は $4(\mathrm{Cov}[X,Y]^2-V[X]V[Y])$ である。等号は判別式が $0$、すなわち $q(t_0)=0$ となる $t_0$ があることと同値であり、thm-cov-sum の 3 によりそれは確率 $1$ で $t_0X+Y$ が定数となることと同値である。逆に確率 $1$ で $aX+bY=c$ となる $(a,b)\ne(0,0)$ があるとき、$b=0$ なら $X$ が確率 $1$ で定数なので両辺とも $0$、$b\ne0$ なら $Y=\frac{c-aX}b$ から $\mathrm{Cov}[X,Y]=-\frac abV[X]$、$V[Y]=\frac{a^2}{b^2}V[X]$ で等号が成り立つ。$\blacksquare$

1 ⇒ 2 は thm-cov-sum の 2 である。
2 ⇒ 1：正定値行列 の定理「半正定値な平方根の存在と一意性」により、$A^2=\Sigma$ となる対称な実行列 $A$ がある。標本空間 $\Omega:=\{1,-1\}^n$ に一様な確率（各点 $2^{-n}$）を与え、$Z_i(\omega):=\omega_i$ とおく。$E[Z_i]=0$、$E[Z_i^2]=1$ であり、$i\ne j$ では $Z_iZ_j=1$ となる点と $-1$ となる点がちょうど半数ずつなので $E[Z_iZ_j]=0$ である。よって $\mathbf Z:=(Z_1,\dots,Z_n)^{\top}$ の共分散行列は単位行列 $I$ である。$\mathbf X:=A\mathbf Z$ とおくと、thm-cov-sum の 4 により共分散行列は $AIA^{\top}=A^2=\Sigma$ である。$\mathbf X$ は $2^n$ 個以下の値しかとらず、$E[\mathbf X]=A\,E[\mathbf Z]=\mathbf 0$ である。$\blacksquare$

段 1（指示関数）。Borel 集合 $A,B$ について $E[\mathbf 1_A(X)\mathbf 1_B(Y)]=P(X\in A,Y\in B)=P(X\in A)P(Y\in B)=E[\mathbf 1_A(X)]\,E[\mathbf 1_B(Y)]$ である。
段 2（$0$ 以上の単関数）。$\varphi=\sum_k\alpha_k\mathbf 1_{A_k}$、$\psi=\sum_l\beta_l\mathbf 1_{B_l}$（有限和、$\alpha_k,\beta_l\ge0$、$A_k,B_l$ は Borel 集合）なら、積を展開して段 1 と線形性を使うと $E[\varphi(X)\psi(Y)]=\sum_{k,l}\alpha_k\beta_lE[\mathbf 1_{A_k}(X)]E[\mathbf 1_{B_l}(Y)]=E[\varphi(X)]\,E[\psi(Y)]$ である。
段 3（$0$ 以上の場合）。$X,Y\ge0$ とする。$\varphi_m(x):=\min\{m,\,2^{-m}\lfloor2^mx\rfloor\}$（$x\ge0$）は $0$ 以上の Borel 可測な単関数で、$m$ について単調に増加し、各 $x\ge0$ で $x$ に収束する。$\varphi_m(X)\varphi_m(Y)$ も単調に増加して $XY$ に収束するので、Lebesgue積分 の定理「単調収束定理」と段 2 により
$$ E[XY]=\lim_mE[\varphi_m(X)\varphi_m(Y)]=\lim_mE[\varphi_m(X)]\,E[\varphi_m(Y)]=E[X]\,E[Y] $$
である（$\infty$ を許す等式で、$0\cdot\infty=0$ と約束する。最後も単調収束定理による。$E[X]=0$ なら各 $E[\varphi_m(X)]$ も $0$ なので、この約束のもとで等式が成り立つ）。
段 4（一般の場合）。$\lvert X\rvert$ と $\lvert Y\rvert$ は独立（$\{\lvert X\rvert\in A\}=\{X\in A\cup(-A)\}$ のように書き直せる）なので、段 3 から $E[\lvert XY\rvert]=E[\lvert X\rvert]E[\lvert Y\rvert]<\infty$ である。$X^{\pm}:=\max\{\pm X,0\}$ と $Y^{\pm}$ も同様に独立で、$XY=X^+Y^+-X^+Y^--X^-Y^++X^-Y^-$ の各項に段 3 を使って線形性でまとめると $E[XY]=(E[X^+]-E[X^-])(E[Y^+]-E[Y^-])=E[X]E[Y]$ である。後半は prop-cov-basic の 1 による。$\blacksquare$

$\sum_i(X_i-\bar X)(Y_i-\bar Y)=\sum_iX_iY_i-n\bar X\bar Y$ である（展開して $\sum_iX_i=n\bar X$ を使う）。$E[X_iY_i]=E[XY]$ である。$i\ne j$ なら $X_i$ と $Y_j$ は独立な組に属するので独立であり、thm-cov-independent により $E[X_iY_j]=E[X]E[Y]$ である。よって
$$ E[n\bar X\bar Y]=\frac1n\sum_{i,j}E[X_iY_j]=\frac1n\bigl(nE[XY]+n(n-1)E[X]E[Y]\bigr)=E[XY]+(n-1)E[X]E[Y] $$
であり、期待値の和は $nE[XY]-E[XY]-(n-1)E[X]E[Y]=(n-1)\,\mathrm{Cov}[X,Y]$ である。$\blacksquare$