Moore–Penrose逆行列

$X,Y$ をともに $A$ の Moore–Penrose 逆行列とする。Penrose 条件を繰り返し用いると
$$ \begin{aligned} X&=XAX=(XA)^*X=(XAYA)^*X=(YA)^*(XA)^*X=YAXAX=YAX\\ &=YAYAX=Y(AY)^*(AX)^*=Y(AXAY)^*=Y(AY)^*=YAY=Y \end{aligned} $$
となる。ここで 1 行目では条件 2、4、$A=AYA$（$Y$ の条件 1）、共役転置の反転則 $(PQ)^*=Q^*P^*$、条件 4 を 2 回、条件 2 を順に使い、2 行目では $A=AYA$、条件 3 を 2 回、反転則、$A=AXA$、条件 3、条件 2 を順に使った。よって $X=Y$ である。$\square$

対角型の行列どうしの積は対角型で、$(i,i)$ 成分は対角成分の積である。$d_{ii}d_{ii}'$ は $d_{ii}\ne0$ なら $1$、$d_{ii}=0$ なら $0$ であり、いずれにせよ実数で、$d_{ii}d_{ii}'d_{ii}=d_{ii}$、$d_{ii}'d_{ii}d_{ii}'=d_{ii}'$ が成り立つ。よって $DD^+D=D$、$D^+DD^+=D^+$ であり、$DD^+$ と $D^+D$ は実数を対角成分にもつ対角行列だから Hermite である。$\square$

$P^2=AXAX=(AXA)X=AX=P$、$Q^2=XAXA=X(AXA)=XA=Q$ であり、Hermite 性は条件 3・4 そのものである。$P$ の像が $\operatorname{im}A$ に含まれることは $Py=A(Xy)$ から、$\operatorname{im}A$ を含むことは $P(Ax)=AXAx=Ax$ から分かる。次に $A^*P=A^*(AX)^*=(AXA)^*=A^*$ であるから、任意の $z\in\mathbb{C}^n$ について
$$ \langle Az,\,y-Py\rangle=\langle z,\,A^*(y-Py)\rangle=\langle z,\,A^*y-A^*y\rangle=0 $$
である。$Q$ についても同様に、$Q=(XA)^*=A^*X^*$ より $\operatorname{im}Q\subset\operatorname{im}A^*$、$QA^*=(AQ)^*=(AXA)^*=A^*$ より $\operatorname{im}Q\supset\operatorname{im}A^*$ であり、あわせて $\operatorname{im}Q=\operatorname{im}A^*$ である。$AQ=A$ により $\langle A^*w,\,x-Qx\rangle=\langle w,\,Ax-AQx\rangle=0$ である。$\square$

$A=O$ のときは $X=O$ が 4 条件を満たす。以下 $A\ne O$ とする。
まず分解 $A=BC$ の存在を示す。$A$ の列ベクトル $a_1,\ldots,a_n\in\mathbb{C}^m$ の線形包（列空間 $\operatorname{im}A$）の中で、列ベクトルの族から極大な線形独立な部分族 $a_{j_1},\ldots,a_{j_r}$ をとる（$A\ne O$ なので $r\ge1$）。極大性からすべての列 $a_j$ がこの部分族の線形包（$\operatorname{span}$）に入り（線形独立 の記事の命題「一ベクトルの追加」の対偶）、よって $a_{j_1},\ldots,a_{j_r}$ は $\operatorname{im}A$ の基底である（線形独立 の記事の命題「極大線形独立集合と基底」）。$B:=(a_{j_1}\ \cdots\ a_{j_r})\in\mathbb{C}^{m\times r}$ とおくと、各 $a_j$ は $a_j=\sum_{k=1}^{r}c_{kj}a_{j_k}$ と一意に書けるので、$C:=(c_{kj})\in\mathbb{C}^{r\times n}$ とおけば $A=BC$ である。$B$ の列は線形独立である。$C$ の行が線形独立であることを示す。$y\in\mathbb{C}^r$ が $y^*C=0$ を満たすとする。$C$ の第 $j_k$ 列は $e_k$（$a_{j_k}=1\cdot a_{j_k}$ という一意な表示による）であるから、$y^*C$ の第 $j_k$ 成分は $\overline{y_k}$ であり、$y=0$ である。すなわち $C$ の行は線形独立である。
次に $B^*B\in\mathbb{C}^{r\times r}$ が正則であることを示す。$B^*Bx=0$ なら $\|Bx\|^2=\langle Bx,Bx\rangle=\langle x,B^*Bx\rangle=0$ で $Bx=0$ であり、$B$ の列が線形独立だから $x=0$ である（線形独立 の記事の定理「線形独立性の同値条件」の 4）。よって $B^*B$ は $\mathbb{C}^r$ の単射な線形変換を定め、線形代数学 の記事の定理「次元定理」により全射でもあるから全単射であり、その逆写像は線形なので 行列 の記事の定理「行列と線形写像の対応」によりある行列で表される。この行列が $B^*B$ の逆行列であり、$B^*B$ は正則である。同様に $CC^*y=0$ なら $\|C^*y\|^2=\langle y,CC^*y\rangle=0$ で $C^*y=0$、すなわち $y^*C=0$ で、$C$ の行の線形独立性から $y=0$ である。よって $CC^*$ は正則である。
$X:=C^*(CC^*)^{-1}(B^*B)^{-1}B^*$ とおく。
$$ AX=BC\,C^*(CC^*)^{-1}(B^*B)^{-1}B^*=B(B^*B)^{-1}B^*,\qquad XA=C^*(CC^*)^{-1}(B^*B)^{-1}B^*BC=C^*(CC^*)^{-1}C $$
であり、$(B^*B)^{-1}$ と $(CC^*)^{-1}$ は Hermite 行列の逆行列だから Hermite なので（$(H^{-1})^*=(H^*)^{-1}=H^{-1}$）、$(AX)^*=B\bigl((B^*B)^{-1}\bigr)^*B^*=AX$、$(XA)^*=XA$ である。さらに
$$ AXA=B(B^*B)^{-1}B^*BC=BC=A,\qquad XAX=C^*(CC^*)^{-1}C\,C^*(CC^*)^{-1}(B^*B)^{-1}B^*=C^*(CC^*)^{-1}(B^*B)^{-1}B^*=X $$
である。よって $X$ は 4 条件を満たし、thm-moore-penrose-inverse-uniqueness により $A^+=X$ である。$\square$

1 は thm-moore-penrose-inverse-existence において $B=A$、$C=I_n$ ととった場合であり、$CC^*=I_n$ から公式が従う。$A^+A=(A^*A)^{-1}A^*A=I_n$ である。2 は $B=I_m$、$C=A$ ととった場合である。3 は 1 において $A^*A=a^*a=\|a\|^2$ とした場合である。$\square$

$X:=A^{-1}$ とおくと $AXA=A$、$XAX=A^{-1}$、$AX=XA=I$ は Hermite であるから、$X$ は 4 条件を満たす。thm-moore-penrose-inverse-uniqueness により $A^+=A^{-1}$ である。$\square$

いずれも「候補が 4 条件を満たすこと」を確かめ、thm-moore-penrose-inverse-uniqueness を使う。1：$X:=A^+$ に対する 4 条件は $A$ と $X$ の役割を入れ替えても同じ形であるから、$A$ は $X$ の Moore–Penrose 逆行列である。2：$Y:=(A^+)^*$ について、$A^*YA^*=(AA^+A)^*=A^*$、$YA^*Y=(A^+AA^+)^*=(A^+)^*=Y$ である。また $A^*Y=(A^+A)^*=A^+A$（条件 4）は Hermite であり、$YA^*=(AA^+)^*=AA^+$（条件 3）も Hermite である。よって $Y$ は $A^*$ に対する 4 条件を満たす。3：$X:=c^{-1}A^+$ について $(cA)X(cA)=cAA^+A=cA$、$X(cA)X=c^{-1}A^+AA^+=X$、$(cA)X=AA^+$、$X(cA)=A^+A$ は Hermite である。4：条件 2 と 3 により $A^+=A^+(AA^+)=A^+(AA^+)^*=A^+(A^+)^*A^*$ であり、条件 2 と 4 により $A^+=(A^+A)A^+=(A^+A)^*A^+=A^*(A^+)^*A^+$ である。$\square$

$P:=AA^+$、$Q:=A^+A$ とおく。prop-moore-penrose-inverse-projections により $P$ は $\operatorname{im}A$ への直交射影である。任意の $x\in\mathbb{C}^n$ について
$$ Ax-b=(Ax-Pb)-(b-Pb) $$
と分けると、$Ax-Pb=A(x-A^+b)\in\operatorname{im}A$ であり、$b-Pb$ は $\operatorname{im}A$ と直交するから、三平方の定理により
$$ \|Ax-b\|^2=\|Ax-Pb\|^2+\|b-Pb\|^2\ge\|b-Pb\|^2 $$
である。等号は $Ax=Pb=Ax_0$ のとき、かつそのときに限り成り立ち、$x=x_0$ はこれを満たす。よって最小値は $\|b-Pb\|$ であり、最小化する $x$ の全体は $\{x\mid Ax=Ax_0\}=x_0+\ker A$ である。
次に、最小化する任意の $x$（$Ax=Ax_0$）について $Qx=A^+Ax=A^+Ax_0=A^+AA^+b=A^+b=x_0$ である。$Q$ は Hermite かつ冪等なので $\langle Qx,\,x-Qx\rangle=\langle x,\,Q^*(x-Qx)\rangle=\langle x,\,Qx-Q^2x\rangle=0$ であり、
$$ \|x\|^2=\|Qx\|^2+\|x-Qx\|^2=\|x_0\|^2+\|x-x_0\|^2\ge\|x_0\|^2 $$
となる。等号は $x=x_0$ のとき、かつそのときに限る。$Ax=b$ が解をもつときは $b\in\operatorname{im}A$ なので $Pb=b$ であり、最小値 $0$ を達成する $x$ がまさに解であるから、最後の主張が従う。$\square$