正定値行列

同義語:positive definite matrix

概要

正定値行列(positive definite matrix)とは、Hermite 行列(実数の場合は対称行列)$A$ で、$0$ でないすべてのベクトル $x$ について $x^*Ax>0$ となるもののことで、数ベクトル空間の内積 $y^*Ax$ を定める行列にちょうど一致する。正定値であることは、固有値がすべて正であること、首座小行列式がすべて正であること(Sylvester の判定法)、主小行列式がすべて正であること、対角成分が正の下三角行列 $L$ によって $A=LL^*$ とただ 1 通りに書けること(Cholesky 分解)と同値である。半正定値行列はすべての主小行列式が $0$ 以上であることで判定でき、ただ 1 つの半正定値な平方根をもつ。多変数関数の極小の判定、分散共分散行列、連立 1 次方程式の数値解法に現れる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: Hermite行列, 2次形式, 固有値, 行列式

対称行列 $A=\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$ について、$x=(x_1,x_2)^{\top}$ を代入した 2 次形式は
$$ x^{\top}Ax=2x_1^2-2x_1x_2+2x_2^2=x_1^2+x_2^2+(x_1-x_2)^2 $$
であり、$x\ne0$ ならつねに正である。このような行列を 正定値行列 という。成分に負の数があっても正定値になりうる一方、$\begin{pmatrix}1&2\\2&1\end{pmatrix}$ は成分がすべて正なのに $x=(1,-1)^{\top}$ で $x^{\top}Ax=-2$ となり、正定値でない。成分を見ただけでは判定できない。
正定値行列は、数ベクトル空間の内積($\langle x,y\rangle=y^*Ax$ の形の内積はちょうど正定値な $A$ から来る)、多変数関数の極小の判定(Hesse行列)、確率変数の分散共分散行列(多変量正規分布)、数値計算の連立 1 次方程式に現れる。この記事では、正定値であることが、固有値がすべて正であること、主小行列式がすべて正であること、下三角行列 $L$ によって $A=LL^*$ と書けること(Cholesky 分解)と同値であることを、Schur 補行列による帰納法で証明する(thm-pd-main)。続いて、半正定値行列の特徴づけ(thm-pd-semidefinite)と、半正定値な平方根がただ 1 つあること(thm-pd-sqrt)を証明する。

定義

以下、$K$ は $\mathbb{R}$ または $\mathbb{C}$ とし、$K^n$ の元は列ベクトルとする。$A\in M_n(K)$ の共役転置を $A^*:=\overline{A}^{\top}$ と書く($K=\mathbb{R}$ では転置 $A^{\top}$)。$A^*=A$ となる行列が Hermite行列 であり、実の Hermite 行列は実の対称行列である。Hermite 行列 $A$ と $x\in K^n$ について $x^*Ax$ は実数である(Hermite行列 の記事の命題「Hermite 行列の特徴づけ」)。

正定値行列と半正定値行列

$A\in M_n(K)$ を Hermite 行列($K=\mathbb{R}$ では対称行列)とする。

  1. $0$ でないすべての $x\in K^n$ で $x^*Ax>0$ のとき、$A$ は 正定値(positive definite)であるといい、$A$ を 正定値行列 という。
  2. すべての $x\in K^n$ で $x^*Ax\ge0$ のとき、$A$ は 半正定値(positive semidefinite)であるという。
  3. $-A$ が正定値(半正定値)のとき、$A$ は 負定値(半負定値)であるという。

実対称行列の場合、これは 2次形式 の記事の定義「実2次形式の符号」で、2 次形式 $x^{\top}Ax$ が正定値であることと同じである。正定値を $A\succ0$、半正定値を $A\succeq0$ と書くことがある。

主小行列式

$A=(a_{ij})\in M_n(K)$ と空でない部分集合 $J\subseteq\{1,\dots,n\}$ について、$i,j\in J$ の成分 $a_{ij}$ だけを並べた正方行列を $A_J$ と書き、$A$ の 主小行列、その行列式 $\det A_J$ を 主小行列式(principal minor)という。$J=\{1,\dots,k\}$ のとき $A_k:=A_J$ を左上の $k$ 次の主小行列、$\det A_k$ を 首座小行列式(leading principal minor)という。

直感

$n=1$ では、正定値とは正の数のことである。正定値行列は「正の数」の行列版であり、平方根をもつこと(thm-pd-sqrt)、逆数(逆行列)も正であること(prop-pd-operations)、正の数 $a$ が $a=\ell^2$($\ell>0$)と書けることの類似として $A=LL^*$ と書けること(thm-pd-main の 5)が成り立つ。
幾何学的には、$A$ が正定値なら $\{x\in\mathbb{R}^n\mid x^{\top}Ax=1\}$ は楕円体であり、主軸の方向が固有ベクトル、主軸の半径が固有値の平方根の逆数である(2次形式 の記事の定理「実対称行列の主軸定理」)。正の固有値をもつまま、固有値が 1 つでも $0$ 以下になると、この集合は有界でなくなる(固有値がすべて $0$ 以下なら空集合である)。
判定法は 3 つの見方に分かれる。固有値による判定は見通しがよいが計算が重い。首座小行列式による判定(Sylvester の判定法)は手計算に向く。Cholesky 分解は、正定値でなければ途中で平方根の中が正でなくなって止まるので、計算機での判定と連立方程式の解法を兼ねる。これらがすべて同じ条件であることを Schur 補行列で示すのが本記事の主定理である。

例と反例

3 次の三重対角行列

$A=\begin{pmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{pmatrix}$ を考える。首座小行列式は $\det A_1=2$、$\det A_2=3$、$\det A_3=4$ ですべて正である。Cholesky 分解 $A=LL^{\top}$ は
$$ L=\begin{pmatrix}\sqrt2&0&0\\-\frac1{\sqrt2}&\sqrt{\frac32}&0\\0&-\sqrt{\frac23}&\frac2{\sqrt3}\end{pmatrix} $$
であり($LL^{\top}$ を計算すると $A$ に戻る)、$\det A_k$ は $L$ の対角成分の 2 乗の積 $2$、$2\cdot\frac32=3$、$3\cdot\frac43=4$ に一致する。固有値は $2-\sqrt2$、$2$、$2+\sqrt2$ で、すべて正である。この行列は区間を 4 等分し、両端で値を $0$ としたときの内部の 3 点での 2 階差分 $-u_{i-1}+2u_i-u_{i+1}$ の行列であり、微分作用素 $-\frac{d^2}{dt^2}$ の離散化として現れる。

Gram 行列と Hilbert 行列

$v_1,\dots,v_n$ を内積空間の元とし、$g_{ij}:=\langle v_j,v_i\rangle$ を成分とする行列 $G$(Gram 行列)を考える。$x\in K^n$ について
$$ x^*Gx=\sum_{i,j}\overline{x_i}\,x_j\langle v_j,v_i\rangle=\Bigl\langle\sum_jx_jv_j,\sum_ix_iv_i\Bigr\rangle=\Bigl\|\sum_jx_jv_j\Bigr\|^2\ge0 $$
なので $G$ は半正定値であり、$v_1,\dots,v_n$ が 1 次独立なら正定値である。たとえば区間 $[0,1]$ 上の実数値連続関数の内積 $\langle f,g\rangle=\int_0^1f(t)g(t)\,dt$ と $v_i=t^{i-1}$ をとると、$G$ は Hilbert 行列 $H_n=\bigl(\frac1{i+j-1}\bigr)_{i,j}$ である。$0$ でない多項式は $[0,1]$ 上で恒等的に $0$ ではないので $1,t,\dots,t^{n-1}$ は 1 次独立であり、$H_n$ は正定値である。逆に、$K^n$ 上の任意の内積は、標準基底の Gram 行列 $A$ を使って $\langle x,y\rangle=y^*Ax$ と書ける(内積 の記事の命題「Gram行列による内積の表示」)。

反例:成分や対角成分では判定できない
  1. $\begin{pmatrix}1&2\\2&1\end{pmatrix}$ は成分がすべて正だが、$\det=-3<0$ で正定値でない(冒頭)。この例は「成分がすべて正」を満たすが「正定値」を満たさない。
  2. $\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$ は負の成分をもつが正定値である(冒頭)。正定値であることは成分が正であることを含意しない。
  3. 正定値なら対角成分は $a_{ii}=e_i^*Ae_i>0$ だが、逆は成り立たない(1 の行列。2次形式 の記事の例「反例:対角成分が正でも正定値とは限らない」)。
反例:対称でない実行列

$B=\begin{pmatrix}1&1\\-1&1\end{pmatrix}$ では、$x^{\top}Bx=x_1^2+x_2^2$ は $x\ne0$ で正である。しかし $B$ は対称でなく、固有値は $1\pm i$ で実数でない。実行列 $B$ について $x^{\top}Bx=x^{\top}\bigl(\tfrac12(B+B^{\top})\bigr)x$ なので、2 次形式は対称部分 $\frac12(B+B^{\top})$(この例では単位行列)しか見ない。本記事の定義が対称行列(Hermite 行列)に限るのはこのためで、この $B$ は「$x\ne0$ で $x^{\top}Bx>0$」を満たすが「対称」を満たさず、thm-pd-main の 2(固有値が正)が成り立たない。複素行列では事情が異なり、すべての $x\in\mathbb{C}^n$ で $x^*Ax$ が実数なら $A$ は自動的に Hermite 行列である(Hermite行列 の記事の命題「Hermite 行列の特徴づけ」)。

反例:正定値行列の積

$A=\begin{pmatrix}2&1\\1&1\end{pmatrix}$、$B=\begin{pmatrix}1&0\\0&2\end{pmatrix}$ はどちらも正定値($A$ の首座小行列式は $2,1$)だが、$AB=\begin{pmatrix}2&2\\1&2\end{pmatrix}$ は対称でないので正定値行列ではない。それでも $AB$ の固有値は $2\pm\sqrt2$ で正である。一般に $A,B$ が正定値なら、$B$ の正定値な平方根 $B^{1/2}$(thm-pd-sqrt)により $AB=B^{-1/2}\bigl(B^{1/2}AB^{1/2}\bigr)B^{1/2}$ は正定値行列 $B^{1/2}AB^{1/2}$(prop-pd-operations の 2)に相似なので、固有値はすべて正である。

性質

Schur 補行列

正定値性を 1 次小さい行列に帰着させる道具が、次の分解である。$n\ge2$ の Hermite 行列 $A$ を
$$ A=\begin{pmatrix}a&b^*\\b&C\end{pmatrix}\qquad(a\in\mathbb{R},\ b\in K^{n-1},\ C\in M_{n-1}(K)\text{ は Hermite 行列}) $$
と区分けする。$a\ne0$ のとき $S:=C-\frac1a\,bb^*$ を $A$ の $a$ に関する Schur 補行列(Schur complement)という(左上が一般のブロックの場合は Schur補行列)。$S^*=C^*-\frac1a(bb^*)^*=S$ なので $S$ も Hermite 行列である。

Schur 補行列による分解

上の記号で $a>0$ とし、$P:=\begin{pmatrix}1&\frac1ab^*\\0&I_{n-1}\end{pmatrix}$ とおく。

  1. $A=P^*\begin{pmatrix}a&0\\0&S\end{pmatrix}P$ であり、$\det A=a\det S$ である。
  2. $A$ が正定値であることと、$S$ が正定値であることは同値である。
  3. $1\le k\le n-1$ について、$S$ の首座小行列式は $\det S_k=\det A_{k+1}/a$ である。
区分けした行列の積を計算する
  1. $\begin{pmatrix}a&0\\0&S\end{pmatrix}P=\begin{pmatrix}a&b^*\\0&S\end{pmatrix}$ であり、$P^*=\begin{pmatrix}1&0\\\frac1ab&I_{n-1}\end{pmatrix}$($a$ は実数)を左から掛けると
    $$ \begin{pmatrix}1&0\\\frac1ab&I_{n-1}\end{pmatrix}\begin{pmatrix}a&b^*\\0&S\end{pmatrix}=\begin{pmatrix}a&b^*\\b&\frac1abb^*+S\end{pmatrix}=\begin{pmatrix}a&b^*\\b&C\end{pmatrix}=A $$
    となる。$P$ と $P^*$ は対角成分がすべて $1$ の三角行列なので行列式は $1$ であり、行列式 の記事の定理「積の行列式」と命題「三角行列と区分三角行列の行列式」により $\det A=a\det S$ である。
  2. $P$ は正則なので、$x\mapsto y:=Px$ は $K^n$ の全単射で $x\ne0\iff y\ne0$ である。$y=(y_1,y')$($y_1\in K$、$y'\in K^{n-1}$)と書くと、1 により
    $$ x^*Ax=y^*\begin{pmatrix}a&0\\0&S\end{pmatrix}y=a|y_1|^2+y'^*Sy' $$
    である。$S$ が正定値なら、$y\ne0$ のとき $y_1\ne0$ または $y'\ne0$ なので右辺は正である。逆に $A$ が正定値なら、$y'\ne0$ に対し $y=(0,y')$ とおくと $y'^*Sy'=x^*Ax>0$ である。
  3. $S$ の $(i,j)$ 成分は $c_{ij}-\frac1ab_i\overline{b_j}$ であり、$A$ の第 $1$〜$k+1$ 行・列だけを見ると、$A_{k+1}=\begin{pmatrix}a&b_{(k)}^*\\b_{(k)}&C_k\end{pmatrix}$($b_{(k)}$ は $b$ の最初の $k$ 成分)の $a$ に関する Schur 補行列は $C_k-\frac1ab_{(k)}b_{(k)}^*=S_k$ である。$A_{k+1}$ に 1 を当てはめれば $\det A_{k+1}=a\det S_k$ である。$\square$

同値な特徴づけ

正定値行列の特徴づけ

$A\in M_n(K)$ を Hermite 行列とする。次は同値である。

  1. $A$ は正定値である。
  2. $A$ の固有値はすべて正である。
  3. 首座小行列式がすべて正である:$\det A_k>0$($k=1,\dots,n$)。
  4. 主小行列式がすべて正である:空でないすべての $J\subseteq\{1,\dots,n\}$ で $\det A_J>0$。
  5. (Cholesky 分解)対角成分がすべて正の実数である下三角行列 $L\in M_n(K)$ によって $A=LL^*$ と書ける。
  6. ある正則行列 $B\in M_n(K)$ によって $A=B^*B$ と書ける。
  7. $\langle x,y\rangle_A:=y^*Ax$ は $K^n$ 上の内積である(内積 の記事の定義「内積の公理」の意味で)。
Schur 補行列で次数を 1 つずつ下げる

1 ⇒ 5:$n$ についての帰納法。$n=1$ では $A=(a)$、$a=e_1^*Ae_1>0$ なので $L=(\sqrt a)$ でよい。$n\ge2$ とし、$A$ を lem-pd-schur のように区分けする。$a=e_1^*Ae_1>0$ なので補題が使え、補題の 2 により $S$ は $n-1$ 次の正定値行列である。帰納法の仮定により $S=L'L'^*$($L'$ は対角成分が正の下三角行列)と書ける。補題の 1 から
$$ A=P^*\begin{pmatrix}\sqrt a&0\\0&L'\end{pmatrix}\begin{pmatrix}\sqrt a&0\\0&L'^*\end{pmatrix}P=LL^*,\qquad L:=P^*\begin{pmatrix}\sqrt a&0\\0&L'\end{pmatrix}=\begin{pmatrix}\sqrt a&0\\\frac1{\sqrt a}b&L'\end{pmatrix} $$
であり、$L$ は対角成分が正の下三角行列である。
5 ⇒ 6:$B:=L^*$ とすればよい。$L$ は対角成分が $0$ でない三角行列なので $\det L\ne0$ であり、$B$ は正則である。
6 ⇒ 1:$x\ne0$ なら $Bx\ne0$($B$ は正則)なので $x^*Ax=(Bx)^*(Bx)=\|Bx\|^2>0$ である。
1 ⇒ 4:$J=\{j_1<\cdots< j_m\}$ とし、$x\in K^n$ を $J$ の外の成分が $0$ のベクトルに限ると、$x^*Ax=x_J^*A_Jx_J$($x_J:=(x_{j_1},\dots,x_{j_m})^{\top}$)である。よって $A_J$ は正定値であり、1 ⇒ 5 を $A_J$ に使うと $A_J=LL^*$ と書ける。三角行列の行列式は対角成分の積なので $\det A_J=\det L\cdot\overline{\det L}=\prod_i\ell_{ii}^2>0$ である。
4 ⇒ 3 は明らかである($J=\{1,\dots,k\}$)。
3 ⇒ 1:$n$ についての帰納法。$n=1$ では $a_{11}=\det A_1>0$ である。$n\ge2$ とすると、$a=\det A_1>0$ なので lem-pd-schur が使え、補題の 3 により $S$ の首座小行列式は $\det S_k=\det A_{k+1}/a>0$($k=1,\dots,n-1$)である。帰納法の仮定により $S$ は正定値であり、補題の 2 により $A$ は正定値である。
1 ⇔ 2:Hermite 行列 $A$ はユニタリ行列 $U$ と実対角行列 $D=\operatorname{diag}(\lambda_1,\dots,\lambda_n)$ によって $A=UDU^*$ と書け、$\lambda_i$ は $A$ の固有値である(Hermite行列 の記事の定理「ユニタリ対角化できる行列」。$K=\mathbb{R}$ では $U$ を実の直交行列にとれる。2次形式 の記事の定理「実対称行列の主軸定理」)。$y:=U^*x$ とおくと $x^*Ax=y^*Dy=\sum_i\lambda_i|y_i|^2$ であり、$U^*$ は正則なので $x\ne0\iff y\ne0$ である。すべての $\lambda_i>0$ なら $y\ne0$ で右辺は正である。ある $\lambda_i\le0$ なら $y=e_i$($x=Ue_i$)で右辺は $\lambda_i\le0$ である。
1 ⇔ 7:$\langle x,y\rangle_A=y^*Ax$ は $x$ について線形であり、$\langle y,x\rangle_A=x^*Ay=(y^*A^*x)^*=\overline{y^*Ax}$($1\times1$ 行列の共役転置は複素共役、$A^*=A$)なので共役対称である。残る条件「$\langle x,x\rangle_A\ge0$ で、$0$ になるのは $x=0$ のときだけ」は、1 そのものである。$\square$

条件 3 は Sylvester の判定法 と呼ばれる。実対称行列での 1 ⇔ 2 ⇔ 3 は 2次形式 の記事の定理「正定値であるための条件」にもあり、そこでは主軸定理と次元の議論で証明している。本記事の証明は 1 ⇔ 2 のほかでは固有値を使わず、Schur 補行列の帰納法だけで 1・3・4・5・6 の同値を示している。1 ⇒ 5 の証明はそのまま Cholesky 分解の計算手順になる:$\ell_{11}=\sqrt{a_{11}}$、第 1 列を $b/\sqrt{a_{11}}$ とし、Schur 補行列 $S=C-\frac1{a_{11}}bb^*$ に同じことを繰り返す。途中で平方根の中($S$ の左上の成分)が正でなくなれば、$A$ は正定値でない。

Cholesky 分解の一意性

正定値行列 $A$ の Cholesky 分解 $A=LL^*$($L$ は対角成分が正の下三角行列)はただ 1 つである。

下三角かつ上三角な行列は対角行列

要点:$LL^*=MM^*$ なら $M^{-1}L$ は下三角かつ上三角なので対角行列 $D$ であり、$DD^*=I_n$ と対角成分の正値性から $D=I_n$ となる。

詳しい証明を開く

$LL^*=MM^*$ で、$L,M$ が対角成分が正の下三角行列であるとする。$M$ は正則で、下三角行列の逆行列と積はまた下三角行列であり、対角成分はそれぞれ逆数と積になる(三角行列)。$LL^*=MM^*$ から $M^{-1}L=M^*(L^*)^{-1}=M^*(L^{-1})^*$ であり、左辺は下三角、右辺は上三角なので、これは対角行列 $D=\operatorname{diag}(d_1,\dots,d_n)$ で、$d_i=\ell_{ii}/m_{ii}>0$ である。$L=MD$ を $LL^*=MM^*$ に代入すると $MDD^*M^*=MM^*$、$M$ は正則なので $DD^*=I_n$、すなわち $d_i^2=1$ であり、$d_i>0$ から $d_i=1$ である。よって $L=M$ である。$\square$

演算で保たれる性質

正定値性を保つ操作

$A,B\in M_n(K)$ を正定値行列、$t>0$ とする。

  1. $A+B$ と $tA$ は正定値である。
  2. $P\in M_{n,m}(K)$ の列が 1 次独立なら、$P^*AP\in M_m(K)$ は正定値である。とくに主小行列 $A_J$ は正定値で、対角成分は正であり、$i\ne j$ について $|a_{ij}|^2< a_{ii}a_{jj}$ である。
  3. $A$ は正則で、$A^{-1}$ も正定値である。

要点:2 は $x^*(P^*AP)x=(Px)^*A(Px)$、3 は $y:=A^{-1}x$ とおいた $x^*A^{-1}x=y^*Ay$ による。

詳しい証明を開く

1. $x^*(A+B)x=x^*Ax+x^*Bx$、$x^*(tA)x=t\,x^*Ax$ から明らかである。

2. $(P^*AP)^*=P^*A^*P=P^*AP$ である。$x\in K^m$、$x\ne0$ なら、$P$ の列が 1 次独立なので $Px\ne0$ であり、$x^*(P^*AP)x=(Px)^*A(Px)>0$ である。$P$ を標準基底 $e_j$($j\in J$)を列に並べた行列とすれば $P^*AP=A_J$ である。$J=\{i,j\}$ に thm-pd-main の 1 ⇒ 3 を使うと、$\det A_J=a_{ii}a_{jj}-a_{ij}\overline{a_{ij}}>0$ である。

3. thm-pd-main の 6 により $A=B_0^*B_0$($B_0$ は正則)なので $\det A=|\det B_0|^2\ne0$ であり、$A$ は正則である。$(A^{-1})^*=(A^*)^{-1}=A^{-1}$ なので $A^{-1}$ は Hermite 行列であり、$x\ne0$ に対し $y:=A^{-1}x\ne0$ とおくと $x^*A^{-1}x=(Ay)^*y=y^*Ay>0$ である。$\square$

2 で $P$ を正方行列にとると、正則な $P$ による 合同変換 $A\mapsto P^*AP$ は正定値性を保つ。これは座標の取り替えで正定値な 2 次形式が正定値のままであることを意味する。一方、正定値行列の積は一般に Hermite 行列ではない(ex-pd-product)が、成分ごとの積なら正定値性・半正定値性は保たれる(Schurの積定理)。

半正定値行列

半正定値性は、正定値性の「境界」である。首座小行列式だけでは判定できないが(2次形式 の記事の例「反例:半正定値は左上の小行列式では判定できない」)、すべての主小行列式を見れば判定できる。証明には次の展開を使う。

単位行列を加えた行列式の展開

$A\in M_m(K)$、$t\in K$ について
$$ \det(A+tI_m)=\sum_{T\subseteq\{1,\dots,m\}}t^{|T|}\det A_{\{1,\dots,m\}\setminus T} $$
が成り立つ。ここで $T=\{1,\dots,m\}$ の項の $\det A_\emptyset$ は $1$ と約束する。

列ごとに 2 つに分けて展開する

要点:各列を $a_j$ と $te_j$ に分けて多重線形性で展開し、$e_j$ の列で余因子展開すると、第 $j$ 行と第 $j$ 列が取り除かれる。

詳しい証明を開く

$A$ の第 $j$ 列を $a_j$ とすると、$A+tI_m$ の第 $j$ 列は $a_j+te_j$ である。行列式は列についても多重線形なので(行列式 の記事の定理「多重線形性と交代性」と命題「転置と行列式」)、各列で $a_j$ と $te_j$ のどちらをとるかで展開すると、$\det(A+tI_m)=\sum_Tt^{|T|}\det M_T$ となる。ここで $M_T$ は、$j\in T$ の列を $e_j$ に、$j\notin T$ の列を $a_j$ にした行列である。$M_T$ を $j\in T$ の列で順に余因子展開すると(行列式 の記事の定理「行と列に関する余因子展開」)、第 $j$ 列は第 $j$ 行の成分だけが $1$ なので、第 $j$ 行と第 $j$ 列を取り除いた行列の行列式に、符号 $(-1)^{j+j}=1$ を掛けたものになる。取り除いたあとも残りの行と列の番号は同じ順で詰まるので、次の展開でも $1$ は対角の位置にある。こうして $\det M_T=\det A_{\{1,\dots,m\}\setminus T}$ を得る。$\square$

半正定値行列の特徴づけ

$A\in M_n(K)$ を Hermite 行列とする。次は同値である。

  1. $A$ は半正定値である。
  2. $A$ の固有値はすべて $0$ 以上である。
  3. 主小行列式がすべて $0$ 以上である:空でないすべての $J$ で $\det A_J\ge0$。
  4. ある $m$ と $B\in M_{m,n}(K)$ によって $A=B^*B$ と書ける。
  5. すべての $t>0$ について $A+tI_n$ は正定値である。
正定値行列で近似する

要点:$x^*(A+tI_n)x=x^*Ax+t\|x\|^2$ により半正定値性は「すべての $t>0$ で $A+tI_n$ が正定値」と同値になり、主小行列式との関係は lem-pd-det-shift と thm-pd-main の 3 ⇔ 1 から従う。

詳しい証明を開く

1 ⇔ 5:$x^*(A+tI_n)x=x^*Ax+t\|x\|^2$ である。1 なら、$x\ne0$ で右辺は $t\|x\|^2>0$ 以上である。逆に 5 なら、各 $x$ について $x^*Ax>-t\|x\|^2$ がすべての $t>0$ で成り立つので、$t\to0$ として $x^*Ax\ge0$ である。

1 ⇔ 2:prf-pd-main の 1 ⇔ 2 と同じく $x^*Ax=\sum_i\lambda_i|y_i|^2$ と書けることから従う。

2 ⇒ 4:$A=UDU^*$、$D=\operatorname{diag}(\lambda_i)$、$\lambda_i\ge0$ と書き、$B:=\operatorname{diag}(\sqrt{\lambda_i})\,U^*$($m=n$)とすれば $B^*B=UDU^*=A$ である。4 ⇒ 1:$x^*Ax=\|Bx\|^2\ge0$ である。

1 ⇒ 3:prf-pd-main の 1 ⇒ 4 と同じ理由で $A_J$ は半正定値であり、1 ⇒ 5 により $t>0$ で $A_J+tI$ は正定値なので、thm-pd-main により $\det(A_J+tI)>0$ である。$\det(A_J+tI)$ は $t$ の多項式で連続なので、$t\to+0$ として $\det A_J\ge0$ である。

3 ⇒ 5:$t>0$ とし、$A+tI_n$ の首座小行列式を調べる。$A_k+tI_k$ に lem-pd-det-shift を使うと、$\det(A_k+tI_k)=\sum_Tt^{|T|}\det A_{\{1,\dots,k\}\setminus T}$ であり、3 によりすべての項は $0$ 以上で、$T=\{1,\dots,k\}$ の項は $t^k>0$ である。よって $\det(A_k+tI_k)>0$($k=1,\dots,n$)であり、thm-pd-main の 3 ⇒ 1 により $A+tI_n$ は正定値である。$\square$

実対称行列についての 1 ⇔ 2 ⇔ 4 は 対称行列 の記事の定理「半正定値な実対称行列の特徴づけ」にあり、そこでは 4 の $B$ を $\operatorname{rank}A$ 行にとれることも示している。4 の形は「半正定値行列とはベクトルの Gram 行列のことである」と読める(ex-pd-gram)。

平方根

半正定値な平方根の存在と一意性

$A\in M_n(K)$ を半正定値行列とする。$C^2=A$ となる半正定値行列 $C$ がただ 1 つ存在する。これを $A^{1/2}$ と書く。$A$ が正定値であることと $A^{1/2}$ が正定値であることは同値である。

固有空間ごとに決まる

要点:存在は $A=UDU^*$ の対角成分の平方根をとって作る。一意性は、半正定値な $C$ で $C^2=A$ なら $C$ の固有空間 $W_\mu(C)$ が $A$ の固有空間 $W_{\mu^2}(A)$ に含まれ、次元を数えると一致するので、$C$ は $A$ の各固有空間の上で固有値の平方根倍として決まることによる。

詳しい証明を開く

存在:$A=UDU^*$、$D=\operatorname{diag}(\lambda_i)$、$\lambda_i\ge0$ と書き(thm-pd-semidefinite の 2)、$C:=U\operatorname{diag}(\sqrt{\lambda_i})U^*$ とおく。$C$ は Hermite 行列で固有値 $\sqrt{\lambda_i}\ge0$ をもつので半正定値であり、$C^2=U\operatorname{diag}(\lambda_i)U^*=A$ である。

一意性:$C$ を $C^2=A$ となる任意の半正定値行列とする。$\lambda\in K$ について $W_\lambda(A):=\{x\mid Ax=\lambda x\}$ と書く。$C$ も Hermite 行列なので、$K^n$ は $C$ の固有空間 $W_\mu(C)$($\mu$ は $C$ の相異なる固有値、すべて $\mu\ge0$)の直和である(Hermite行列 の記事の定理「ユニタリ対角化できる行列」の 3。$K=\mathbb{R}$ では 2次形式 の記事の定理「実対称行列の主軸定理」)。$Cx=\mu x$ なら $Ax=C^2x=\mu^2x$ なので $W_\mu(C)\subseteq W_{\mu^2}(A)$ であり、$\mu\mapsto\mu^2$ は $[0,\infty)$ 上で単射である。$A$ の相異なる固有値を $\lambda_1,\dots,\lambda_s$ とすると、$W_{\lambda_i}(A)$ の和は直和なので$$n=\sum_\mu\dim W_\mu(C)\le\sum_{i=1}^s\dim W_{\lambda_i}(A)\le n$$であり(左の不等号は、各 $W_\mu(C)$ が $\mu^2=\lambda_i$ となる $W_{\lambda_i}(A)$ に含まれ、異なる $\mu$ は異なる $\lambda_i$ に行くことによる)、等号が成り立つ。よって各 $i$ で $W_{\sqrt{\lambda_i}}(C)=W_{\lambda_i}(A)$ である($\sqrt{\lambda_i}$ が $C$ の固有値でなければ左辺は $0$ と読む。等号からそれは起こらない)。すなわち $C$ は各 $W_{\lambda_i}(A)$ の上で $\sqrt{\lambda_i}$ 倍として働き、$K^n=\bigoplus_iW_{\lambda_i}(A)$ なので $C$ は $A$ だけから決まる。

後半:$A^{1/2}$ の固有値は $A$ の固有値の平方根なので、thm-pd-main の 1 ⇔ 2 から従う。$\square$

平方根を使うと、正定値行列 $A$ について $A=A^{1/2}A^{1/2}=(A^{1/2})^*A^{1/2}$ となり、thm-pd-main の 6 の $B$ として Hermite 行列をとれる。Cholesky 分解の $L$ は三角行列、$A^{1/2}$ は Hermite 行列であり、どちらも $A=B^*B$ の形の分解だが、$B$ の選び方が違う。一般に $A=B^*B=B'^*B'$ なら $B'B^{-1}$ はユニタリ行列である($(B'B^{-1})^*(B'B^{-1})=(B^{-1})^*AB^{-1}=I_n$)。

条件を外した反例

外す条件反例成り立たなくなること
Hermite(対称)である$\begin{pmatrix}1&1\\-1&1\end{pmatrix}$$x^{\top}Bx>0$ なのに固有値 $1\pm i$ は実数でない(ex-pd-nonsymmetric)
thm-pd-semidefinite の 3 で主小行列式を「すべて」見る$\begin{pmatrix}0&0\\0&-1\end{pmatrix}$首座小行列式は $0,0$ で $0$ 以上だが、$\det A_{\{2\}}=-1<0$ で半正定値でない
主小行列式が「すべて」正$\begin{pmatrix}1&2\\2&1\end{pmatrix}$対角の主小行列式 $1,1$ は正だが $\det=-3$ で正定値でない
thm-pd-sqrt で平方根が半正定値$A=I_2$、$C=\begin{pmatrix}1&0\\0&-1\end{pmatrix}$$C^2=I_2$ だが $C\ne I_2$ で、平方根が一意でない
Cholesky 分解で対角成分が正$L=\operatorname{diag}(1,-1)$$LL^{\top}=I_2$ だが $L\ne I_2$ で、分解が一意でない

補足

極値の判定と最適化

$C^2$ 級関数 $f\colon\mathbb{R}^n\to\mathbb{R}$ が点 $a$ で勾配 $0$ をもち、Hesse 行列 $\nabla^2f(a)$ が正定値なら、$a$ は狭義の極小点である(極値 の記事の定理「2 階の十分条件」。Hesse行列 の記事の系「2 次の Taylor 近似」による $f(a+h)=f(a)+\frac12h^{\top}\nabla^2f(a)h+o(\|h\|^2)$ から従う)。開凸集合の上で Hesse 行列がいたるところ半正定値であることは凸関数であることと同値である(同記事の定理「凸関数の 2 階の判定」)。正定値な $A$ に対する 2 次関数 $\frac12x^{\top}Ax-b^{\top}x$ は$x_0:=A^{-1}b$ とおくと $\frac12(x-x_0)^{\top}A(x-x_0)-\frac12x_0^{\top}Ax_0$ に等しいので、ただ 1 つの最小点 $x=x_0$ をもち、連立方程式 $Ax=b$ を解くことはこの最小化と同じである。Cholesky 分解 $A=LL^{\top}$ を使うと、$Ly=b$、$L^{\top}x=y$ の 2 つの三角行列の方程式を順に解けばよい。

分散共分散行列

2 乗の期待値が有限な実数値の確率変数 $X_1,\dots,X_n$ の分散共分散行列 $\Sigma=(\operatorname{Cov}(X_i,X_j))$ は、$x^{\top}\Sigma x=\operatorname{Var}\bigl(\sum_ix_iX_i\bigr)\ge0$ なので半正定値である。正定値であることは、どの 1 次結合 $\sum x_iX_i$($x\ne0$)もほとんど確実に定数であるということがないことと同値である。多変量正規分布 は、平均と半正定値な分散共分散行列から定まり、密度関数をもつのは分散共分散行列が正定値のときである(同記事の定理「多変量正規分布の密度」)。

文献

正定値な行列の定義と、正定値(正で可逆な作用素)であることが $x\ne0$ で $\langle Ax,x\rangle>0$ であることと同値であることは Axl24 7.61・7.62(§7D、p. 266)、Cholesky 分解の存在と一意性は 7.63(p. 267、QR 分解を経由する証明)にある。半正定値(同書の「正の作用素」)の定義は 7.34(§7C、p. 251)、固有値・平方根・$B^*B$ による特徴づけと平方根の一意性は 7.38・7.39(pp. 252–253)にある。本記事の Schur 補行列による証明と、主小行列式による半正定値の判定の証明は、区分けした行列の計算から直接組み立てたものである。

関連項目

参考文献

[1]
Sheldon Axler, Linear Algebra Done Right, 4th ed., Springer, 2024, §7C:7.34(p. 251)、7.38・7.39(pp. 252–253)。§7D:7.61・7.62(p. 266)、7.63(p. 267)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する