主成分分析

1：$\sum_iz_{ij}=v_j^{\mathsf T}\sum_i\tilde x_i=0$ である（中心化したので $\sum_i\tilde x_i=0$）。2：$\frac1n\sum_iz_{ij}z_{il}=v_j^{\mathsf T}\bigl(\frac1n\sum_i\tilde x_i\tilde x_i^{\mathsf T}\bigr)v_l=v_j^{\mathsf T}Sv_l=\lambda_lv_j^{\mathsf T}v_l$ で、$v_1,\dots,v_p$ は正規直交である。3：$\|\tilde x_i\|^2=\operatorname{tr}(\tilde x_i\tilde x_i^{\mathsf T})$ なので左辺は $\operatorname{tr}S$ である。$V:=(v_1\ \cdots\ v_p)$、$\Lambda:=\operatorname{diag}(\lambda_1,\dots,\lambda_p)$ とすると $S=V\Lambda V^{\mathsf T}$、$V^{\mathsf T}V=I$ なので $\operatorname{tr}S=\operatorname{tr}(\Lambda V^{\mathsf T}V)=\operatorname{tr}\Lambda$ である。$\square$

$\frac1n\sum_i(u^{\mathsf T}\tilde x_i)^2=u^{\mathsf T}\bigl(\frac1n\sum_i\tilde x_i\tilde x_i^{\mathsf T}\bigr)u=u^{\mathsf T}Su$ である。$u=\sum_jc_jv_j$ と展開すると $\sum_jc_j^2=\|u\|^2=1$ で、$u^{\mathsf T}Su=\sum_j\lambda_jc_j^2$ である。
1：$\sum_j\lambda_jc_j^2\le\lambda_1\sum_jc_j^2=\lambda_1$ で、等号は $\lambda_j< \lambda_1$ となる $j$ でつねに $c_j=0$ のとき、すなわち $u$ が固有値 $\lambda_1$ の固有空間に入るときに限る。$u=v_1$ で等号が成り立つ。
2：$u$ が $v_1,\dots,v_{k-1}$ に直交すれば $c_1=\dots=c_{k-1}=0$ なので、$u^{\mathsf T}Su=\sum_{j\ge k}\lambda_jc_j^2\le\lambda_k$ であり、$u=v_k$ で等号が成り立つ。$\square$

1。 $w_j:=\|W^{\mathsf T}v_j\|^2$ とおく。$W^{\mathsf T}SW=\sum_j\lambda_j(W^{\mathsf T}v_j)(W^{\mathsf T}v_j)^{\mathsf T}$ なので $\operatorname{tr}(W^{\mathsf T}SW)=\sum_j\lambda_jw_j$ である。$P:=WW^{\mathsf T}$ は対称で $P^2=P$ なので、任意の $y$ で $\|W^{\mathsf T}y\|^2=y^{\mathsf T}Py=\|Py\|^2\le\|y\|^2$ であり（$y=Py+(y-Py)$ は直交する和）、$0\le w_j\le1$ である。また $V=(v_1\ \cdots\ v_p)$ は直交行列なので $\sum_jw_j=\operatorname{tr}(W^{\mathsf T}VV^{\mathsf T}W)=\operatorname{tr}(W^{\mathsf T}W)=k$ である。したがって
$$ \sum_j\lambda_jw_j-\sum_{j\le k}\lambda_j=-\sum_{j\le k}(\lambda_j-\lambda_k)(1-w_j)-\sum_{j>k}(\lambda_k-\lambda_j)w_j+\lambda_k\Bigl(\sum_jw_j-k\Bigr) $$
で、右辺の最後の項は $0$、残りの 2 つの和はどちらも $0$ 以上なので、左辺は $0$ 以下である。$W=V_k$ なら $w_j=1$（$j\le k$）、$0$（$j>k$）で等号が成り立つ。$\operatorname{tr}(W^{\mathsf T}SW)=\frac1n\sum_i\operatorname{tr}(W^{\mathsf T}\tilde x_i\tilde x_i^{\mathsf T}W)=\frac1n\sum_i\|W^{\mathsf T}\tilde x_i\|^2$ である。
2。 $\tilde x_i=P\tilde x_i+(\tilde x_i-P\tilde x_i)$ は直交する和で、$\|P\tilde x_i\|=\|W^{\mathsf T}\tilde x_i\|$（$W^{\mathsf T}W=I_k$）なので、$\|\tilde x_i-P\tilde x_i\|^2=\|\tilde x_i\|^2-\|W^{\mathsf T}\tilde x_i\|^2$ である。平均をとると、prop-pca-scores の 3 から左辺は $\operatorname{tr}S-\operatorname{tr}(W^{\mathsf T}SW)$ で、1 から $\lambda_{k+1}+\dots+\lambda_p$ 以上である。
3。 1 の等号が成り立つとすると、$\sum_{j>k}(\lambda_k-\lambda_j)w_j=0$ である。$j>k$ では $\lambda_k-\lambda_j\ge\lambda_k-\lambda_{k+1}>0$ なので $w_j=0$、すなわち $W$ の各列は $v_{k+1},\dots,v_p$ に直交し、$W$ の列空間は $v_1,\dots,v_k$ の張る $k$ 次元の部分空間に含まれる。次元が等しいので一致する。逆に列空間が一致すれば、$P$ と $V_kV_k^{\mathsf T}$ は同じ部分空間への直交射影なので等しく、$\operatorname{tr}(W^{\mathsf T}SW)=\operatorname{tr}(SP)=\operatorname{tr}(SV_kV_k^{\mathsf T})=\lambda_1+\dots+\lambda_k$ である。
4。 $Q:=I-P$ とおくと $Q(x_i-a)=Q\tilde x_i+Q(\bar x-a)$ であり、$\sum_i\tilde x_i=0$ なので交差項の和は $0$ になり、$\sum_i\|Q(x_i-a)\|^2=\sum_i\|Q\tilde x_i\|^2+n\|Q(\bar x-a)\|^2$ である。$\square$

$S=\frac1nV\Sigma^{\mathsf T}U^{\mathsf T}U\Sigma V^{\mathsf T}=V\bigl(\frac1n\Sigma^{\mathsf T}\Sigma\bigr)V^{\mathsf T}$ で、$\Sigma^{\mathsf T}\Sigma$ は対角成分が $\sigma_1^2,\dots,\sigma_q^2,0,\dots,0$ の $p$ 次の対角行列なので、$Sv_j=\lambda_jv_j$ である。$\tilde Xv_j=U\Sigma V^{\mathsf T}v_j=U\Sigma e_j=\sigma_ju_j$ である（$e_j$ は第 $j$ 単位ベクトル）。$\square$

$B$ の第 $i$ 行を $b_i^{\mathsf T}$ とすると、$b_i$ はすべて $B$ の行空間に入り、その次元は $k$ 以下である。それを含む $k$ 次元の部分空間をとり、その正規直交基底を列に並べた行列を $W$ とすると、$\tilde x_i-WW^{\mathsf T}\tilde x_i$ はその部分空間に直交するので、$\|\tilde x_i-b_i\|^2=\|\tilde x_i-WW^{\mathsf T}\tilde x_i\|^2+\|WW^{\mathsf T}\tilde x_i-b_i\|^2\ge\|\tilde x_i-WW^{\mathsf T}\tilde x_i\|^2$ である。$i$ について足して thm-pca-subspace の 2 を使えばよい。等号の場合も同じ 2 による（$k\le q$ のときの形は prop-pca-svd から $\tilde XV_kV_k^{\mathsf T}=\sum_{j\le k}\sigma_ju_jv_j^{\mathsf T}$）。$\square$