Rayleigh商(Rayleigh quotient)とは、実対称行列 $A$ と $0$ でないベクトル $x$ について $x^{\mathsf T}Ax/x^{\mathsf T}x$ と定める量であり、有界な自己共役作用素 $T$ については $\langle Tx,x\rangle/\langle x,x\rangle$ と定める。値の範囲の両端はスペクトルの両端で、停留点は固有ベクトルであり、$x$ が固有ベクトルに近いとき固有値との差はずれの 2 乗の程度になる。コンパクトな自己共役作用素の正の固有値は Rayleigh 商の max-min で表され、区間 $[0,1]$ の Dirichlet 条件では最小値 $\pi^2$ が $-d^2/dx^2$ の最小固有値を与える。固有値の数値計算やグラフの固有値の評価に使われる。
Rayleigh 商(Rayleigh quotient)とは、実対称行列 $A$ と $0$ でないベクトル $x$ について
$$
R_A(x)=\frac{x^{\mathsf T}Ax}{x^{\mathsf T}x}
$$
と定める量であり、より一般には Hilbert 空間の有界な自己共役作用素 $T$ について $\langle Tx,x\rangle/\langle x,x\rangle$ と定める。$x$ が固有値 $\lambda$ の固有ベクトルなら $R_A(x)=\lambda$ なので、Rayleigh 商は「ベクトル $x$ から読み取った固有値の候補」である。
行列の場合、Rayleigh 商には三つの基本的な性質がある。値は最小の固有値と最大の固有値の間にあり、両端の値は固有ベクトルで達成される。$x$ を動かしたときの停留点はちょうど固有ベクトルである。そして、$x$ が固有ベクトルに近いとき、$R_A(x)$ は固有値に「2 乗の精度で」近い。固有ベクトルの近似が粗くても、Rayleigh 商は固有値をよく近似する。この性質のために、Rayleigh 商は固有値の数値計算、グラフの固有値の評価(スペクトルグラフ理論)、データの分散を最大にする方向(主成分分析)、微分方程式の固有値の評価に使われる。
この記事では、Rayleigh 商を定義し、停留点が固有ベクトルであること、固有値の近似の精度、残差によるスペクトルの位置の評価を証明する。さらに、コンパクトな自己共役作用素の正の固有値の max-min による特徴づけを証明し、区間上の微分作用素 $-d^2/dx^2$ の最小固有値 $\pi^2$ を Rayleigh 商の最小値として求める。
以下、$\mathbb K=\mathbb R$ または $\mathbb C$ とし、$H\ne\{0\}$ は $\mathbb K$ 上の Hilbert空間 で、内積 $\langle\cdot,\cdot\rangle$ は第 1 変数について線形とする。$T\in L(H)$ が 自己共役 であるとは、すべての $x,y\in H$ で $\langle Tx,y\rangle=\langle x,Ty\rangle$ となることをいう。
$T$ を $H$ 上の有界な自己共役作用素とする。$0$ でない $x\in H$ について
$$
R_T(x):=\frac{\langle Tx,x\rangle}{\langle x,x\rangle}
$$
を $x$ の $T$ に関する Rayleigh 商 という。$H=\mathbb K^n$ で $T$ が実対称行列または Hermite 行列 $A$ で与えられるときは $R_A(x)=x^*Ax/x^*x$ である($x^*$ は共役転置)。
自己共役性から $\langle Tx,x\rangle=\langle x,Tx\rangle=\overline{\langle Tx,x\rangle}$ なので、$R_T(x)$ は実数である。$c\in\mathbb K\setminus\{0\}$ について $R_T(cx)=R_T(x)$ だから、Rayleigh 商は単位球面 $\{\|x\|=1\}$ の上の関数とみてよい。$Tx=\lambda x$、$x\ne0$ なら $R_T(x)=\lambda$ であり、固有値はすべて実数である。
一般化 Rayleigh 商。 $A$ を実対称行列、$B$ を正定値な実対称行列とするとき、$x^{\mathsf T}Ax/x^{\mathsf T}Bx$ を一般化 Rayleigh 商という。$B=C^{\mathsf T}C$($C$ は正則行列。たとえば $B$ の正定値な平方根)と書き、$y=Cx$ とおくと、これは $A':=C^{-\mathsf T}AC^{-1}$ の Rayleigh 商 $R_{A'}(y)$ に等しく、$Ax=\lambda Bx$ と $A'y=\lambda y$ は同値である。したがって、一般化固有値問題 $Ax=\lambda Bx$ にも以下の結果がそのまま移る。
$m(T):=\inf_{x\ne0}R_T(x)$、$M(T):=\sup_{x\ne0}R_T(x)$ とおく。
$T$ を $H$ 上の有界な自己共役作用素、$x\in H\setminus\{0\}$ とする。
1:自己共役性から $\langle Th,x\rangle=\langle h,Tx\rangle=\overline{\langle Tx,h\rangle}$ なので、
$$
N(t):=\langle T(x+th),x+th\rangle=\langle Tx,x\rangle+2t\operatorname{Re}\langle Tx,h\rangle+t^2\langle Th,h\rangle
$$
である。同様に $D(t):=\|x+th\|^2=\|x\|^2+2t\operatorname{Re}\langle x,h\rangle+t^2\|h\|^2$ である。$D(0)=\|x\|^2>0$ なので、$t=0$ の近くで $R_T(x+th)=N(t)/D(t)$ は微分可能で、商の微分法により
$$
\frac{N'(0)D(0)-N(0)D'(0)}{D(0)^2}=\frac{2\operatorname{Re}\langle Tx,h\rangle\,\|x\|^2-\langle Tx,x\rangle\,2\operatorname{Re}\langle x,h\rangle}{\|x\|^4}=\frac{2\operatorname{Re}\langle Tx-R_T(x)x,h\rangle}{\|x\|^2}
$$
である。
2:$x$ が固有ベクトルで $Tx=\lambda x$ なら、$\lambda=R_T(x)$ だから $Tx-R_T(x)x=0$ で、微分係数はすべて $0$ である。逆に微分係数がすべて $0$ なら、$h:=Tx-R_T(x)x$ とおくと $2\|h\|^2/\|x\|^2=0$ なので $h=0$、すなわち $Tx=R_T(x)x$ である。
3:$t\mapsto R_T(x+th)$ は($x+th\ne0$ となる $t=0$ の近くで)$t=0$ で最大値をとるので、微分係数は $0$ である。$h$ は任意なので、2 により $Tx=R_T(x)x=M(T)x$ である。最小値の場合も同じである。$\square$
$H=\mathbb R^n$、$T=A$ のときは、1 は勾配の公式
$$
\nabla R_A(x)=\frac{2\bigl(Ax-R_A(x)x\bigr)}{x^{\mathsf T}x}
$$
にほかならない。したがって $R_A$ の $\mathbb R^n\setminus\{0\}$ 上の臨界点はちょうど $A$ の固有ベクトルで、臨界値は固有値である。単位球面の上で $x^{\mathsf T}Ax$ の停留点を Lagrange乗数法 で求めても、同じ方程式 $Ax=\lambda x$ が出てくる。
3 で最大値の存在を仮定していることに注意する。有限次元では単位球面がコンパクトなので最大値は必ず達成されるが、無限次元では達成されないことがある。
$H=L^2(0,1)$(複素数値)、$(Tf)(t):=tf(t)$ とする。$T$ は有界な自己共役作用素で、$f\ne0$ について
$$
R_T(f)=\frac{\int_0^1t|f(t)|^2\,dt}{\int_0^1|f(t)|^2\,dt}
$$
である。$1-R_T(f)=\int_0^1(1-t)|f(t)|^2\,dt\big/\int_0^1|f|^2\,dt$ の分子は、$(0,1)$ で正の関数 $1-t$ を、正の測度の集合の上で正になる $|f|^2$ に掛けて積分したものなので正であり、$R_T(f)<1$ である。一方 $0<\varepsilon<1$ について $f=\mathbf 1_{(1-\varepsilon,1)}$ とおくと $R_T(f)\ge1-\varepsilon$ なので、$M(T)=1$ であり、上限は達成されない。実際 $Tf=f$ なら $(t-1)f(t)=0$ がほとんどいたるところ成り立ち $f=0$ となるので、$1$ は固有値ではない($1\in\sigma(T)$ ではある)。
Rayleigh 商が固有値の近似に向いているのは、固有ベクトルの誤差が 1 次の量でも、Rayleigh 商の誤差は 2 次の量になるからである。
$T$ を $H$ 上の有界な自己共役作用素、$\lambda$ を $T$ の固有値、$E:=\ker(T-\lambda)$、$P$ を $E$ への直交射影とする。
1:$\lambda$ は実数なので $T-\lambda$ も自己共役で、$(T-\lambda)u=0$ である。展開すると
$$
\langle(T-\lambda)(x-u),x-u\rangle=\langle(T-\lambda)x,x\rangle-\langle(T-\lambda)x,u\rangle-\langle(T-\lambda)u,x\rangle+\langle(T-\lambda)u,u\rangle
$$
で、第 2 項は $\langle x,(T-\lambda)u\rangle=0$、第 3 項と第 4 項も $0$ である。よって右辺は $\langle Tx,x\rangle-\lambda\|x\|^2$ に等しく、$\|x\|^2$ で割れば 1 を得る。
2:1 で $u=Px$ とおき、Cauchy–Schwarz の不等式を使うと最初の不等式を得る。$\lambda$ は固有値なので $m(T)\le\lambda\le M(T)$ である。自己共役作用素 $T-\lambda$ の Rayleigh 商は $R_T-\lambda$ なので、その値は $[m(T)-\lambda,\,M(T)-\lambda]$ に入る。自己共役作用素 の命題「2 次形式によるノルムとスペクトルの端」の 1(実 Hilbert 空間では Bre11 Proposition 6.9)により、$\|T-\lambda\|=\max\bigl(M(T)-\lambda,\ \lambda-m(T)\bigr)\le M(T)-m(T)$ である。$\square$
$\lambda=M(T)$ なら 1 の右辺は $0$ 以下で、$R_T(x)\le M(T)$ という既知の不等式と合う。
$A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$ の固有値は $3$(固有ベクトル $u=(1,1)$)と $1$(固有ベクトル $(1,-1)$)である。$x=(1,1+\varepsilon)$ とおくと
$$
x^{\mathsf T}Ax=6+6\varepsilon+2\varepsilon^2,\qquad x^{\mathsf T}x=2+2\varepsilon+\varepsilon^2,\qquad R_A(x)=3-\frac{\varepsilon^2}{2+2\varepsilon+\varepsilon^2}
$$
である。$x$ と固有ベクトル $u$ のずれは $\varepsilon$ の程度だが、$R_A(x)$ と固有値 $3$ のずれは $\varepsilon^2/2$ の程度である。thm-ray-accuracy の 1 で確かめると、$x-u=(0,\varepsilon)$、$(A-3I)(x-u)=(\varepsilon,-\varepsilon)$ なので、分子は $-\varepsilon^2$ である。
近似固有ベクトル $x$ が固有空間にどれだけ近いか分からないときは、残差 $Tx-R_T(x)x$ の大きさで固有値の位置を評価できる。
$H$ を複素 Hilbert 空間、$T$ を $H$ 上の有界な自己共役作用素、$x\in H\setminus\{0\}$ とする。
要点:残差 $Tx-R_T(x)x$ は $x$ に直交するので 1 は三平方の定理であり、2 は自己共役な $(T-\mu)^{-1}$ のノルムが $1/\operatorname{dist}(\mu,\sigma(T))$ に等しいことから出る。
1:$r:=Tx-R_T(x)x$ とおくと $\langle r,x\rangle=\langle Tx,x\rangle-R_T(x)\|x\|^2=0$ である。$Tx-\mu x=r+(R_T(x)-\mu)x$ で、$R_T(x)-\mu$ は実数なので、三平方の定理から 1 を得る。
2:$\mu\in\sigma(T)$ なら左辺は $0$ なので、$\mu\notin\sigma(T)$ とする。$S:=(T-\mu)^{-1}$ は有界で、$v,w\in H$ について $\langle Sv,w\rangle=\langle Sv,(T-\mu)Sw\rangle=\langle(T-\mu)Sv,Sw\rangle=\langle v,Sw\rangle$ なので自己共役である。レゾルベント の定理「レゾルベントのスペクトルとの対応」を $A=T$、$\lambda_0=\mu$ に使うと、$-S=R(\mu,T)$ について $\sigma(S)\setminus\{0\}=\{1/(\lambda-\mu)\mid\lambda\in\sigma(T)\}$ であり、$S$ は有界な逆 $T-\mu$ をもつので $0\notin\sigma(S)$ である。自己共役作用素 の命題「2 次形式によるノルムとスペクトルの端」を $S$ に使うと、$\|S\|=\max(|m(S)|,|M(S)|)$ で、$m(S),M(S)\in\sigma(S)\subset[m(S),M(S)]$ だから、$\|S\|=\max\{|\nu|\mid\nu\in\sigma(S)\}=1/\operatorname{dist}(\mu,\sigma(T))$ である($\sigma(T)$ は空でないコンパクト集合)。よって$$\|x\|=\|S(T-\mu)x\|\le\frac{\|Tx-\mu x\|}{\operatorname{dist}(\mu,\sigma(T))}$$である。有限次元ではスペクトルは固有値の集合である。$\square$
thm-ray-accuracy と組み合わせると、数値計算で得た近似固有ベクトル $x$ から、Rayleigh 商 $R_T(x)$ を固有値の近似として採り、残差のノルムで誤差を見積もることができる。実対称行列なら、$\mathbb C^n$ の上の Hermite 行列とみて使えばよい。
行列の Courant–Fischer の定理は、コンパクトな自己共役作用素の正の固有値にそのまま広がる。
$T$ を $H$ 上のコンパクトな自己共役作用素とし、$T$ の正の固有値を重複度だけ繰り返して大きい順に $\mu_1\ge\mu_2\ge\cdots$ と並べる(有限個のことも無限個のこともある)。正の固有値が $k$ 個以上あるとき、
$$
\mu_k=\max_{\dim W=k}\ \min_{x\in W\setminus\{0\}}R_T(x)
$$
である。ここで $W$ は $H$ の $k$ 次元部分空間を動き、外側の最大値は固有ベクトル $f_1,\dots,f_k$ の張る部分空間で達成される。
コンパクト作用素 の記事の定理「自己共役コンパクト作用素のスペクトル分解」により、$0$ でない固有値 $\lambda_j$ の固有ベクトルからなる正規直交系 $(e_j)$ があって、$Tx=\sum_j\lambda_j\langle x,e_j\rangle e_j$ である。同記事の定理「コンパクト作用素のスペクトル」により、各 $\delta>0$ について $\lambda_j\ge\delta$ となる $j$ は有限個なので、正の $\lambda_j$ をもつ $e_j$ を固有値の大きい順に並べ直して $f_1,f_2,\dots$($Tf_i=\mu_if_i$)とできる。すると
$$
\langle Tx,x\rangle=\sum_j\lambda_j|\langle x,e_j\rangle|^2\le\sum_i\mu_i|\langle x,f_i\rangle|^2
$$
である(負の $\lambda_j$ の項を落とした)。
$\ge$ の向き. $W_k:=\operatorname{span}(f_1,\dots,f_k)$ の元 $x=\sum_{i\le k}c_if_i$ について $\langle Tx,x\rangle=\sum_{i\le k}\mu_i|c_i|^2\ge\mu_k\|x\|^2$ であり、$x=f_k$ で等号が成り立つ。よって $W_k$ の上での最小値は $\mu_k$ である。
$\le$ の向き. $W$ を任意の $k$ 次元部分空間とする。線形写像 $W\to\mathbb K^{k-1}$、$x\mapsto(\langle x,f_1\rangle,\dots,\langle x,f_{k-1}\rangle)$ の核は $0$ でないので($k=1$ なら $W$ 全体)、$0$ でない $x\in W$ で $\langle x,f_i\rangle=0$($i< k$)となるものがある。このとき Bessel の不等式により
$$
\langle Tx,x\rangle\le\sum_{i\ge k}\mu_i|\langle x,f_i\rangle|^2\le\mu_k\sum_{i\ge k}|\langle x,f_i\rangle|^2\le\mu_k\|x\|^2
$$
なので、$W$ の上での $R_T$ の最小値は $\mu_k$ 以下である。最小値が存在するのは、$W$ の単位球面がコンパクトで $R_T$ が連続だからである。以上から主張が従う。$\square$
負の固有値は $-T$ に当てはめれば、最大値と最小値を入れ替えた式で表される。可分な無限次元実 Hilbert 空間の上の非負のコンパクトな自己共役作用素について、同じ形の公式と、$(k-1)$ 次元部分空間 $\Lambda$ の直交補空間の上での最大値の最小値による双対形は、Bre11 Problem 37(pp. 490–491)に問題として挙げられている。
Rayleigh 商は関数空間でも同じように働く。$u(0)=u(1)=0$ をみたす $C^2$ 級の関数 $u$ について、部分積分により $\int_0^1(-u'')u\,dx=\int_0^1u'^2\,dx$ なので、$-d^2/dx^2$ の Rayleigh 商は $\int_0^1u'^2\,dx\big/\int_0^1u^2\,dx$ である。$u_n(x)=\sin(n\pi x)$ は $-u_n''=n^2\pi^2u_n$ をみたし、Rayleigh 商の値は $n^2\pi^2$ である。最小の固有値 $\pi^2$ が Rayleigh 商の最小値であることを、次の定理で直接示す。
$u\colon[0,1]\to\mathbb R$ を $C^1$ 級で、$u(0)=u(1)=0$、$u\not\equiv0$ とする。このとき
$$
\int_0^1u'(x)^2\,dx\ \ge\ \pi^2\int_0^1u(x)^2\,dx
$$
であり、等号が成り立つのは $u(x)=c\sin(\pi x)$($c\ne0$)のときに限る。
$0< x<1$ で $g(x):=\pi\cot(\pi x)$ とおくと、$g'(x)=-\pi^2/\sin^2(\pi x)=-\pi^2-g(x)^2$ である。したがって $(0,1)$ の上で
$$
(u'-gu)^2+(gu^2)'=u'^2-2guu'+g^2u^2+\bigl(-\pi^2-g^2\bigr)u^2+2guu'=u'^2-\pi^2u^2
$$
が成り立つ。$0<\delta<1/2$ として $[\delta,1-\delta]$ で積分すると
$$
\int_\delta^{1-\delta}(u'^2-\pi^2u^2)\,dx=\int_\delta^{1-\delta}(u'-gu)^2\,dx+g(1-\delta)u(1-\delta)^2-g(\delta)u(\delta)^2
$$
である。境界項を評価する。$C:=\max|u'|$ とおくと、$u(0)=0$ と平均値の定理から $|u(\delta)|\le C\delta$ である。$[0,1/2]$ で $\sin(\pi x)\ge2x$($\sin(\pi x)$ は上に凸で、両端 $x=0,1/2$ で $2x$ と一致する)なので $|g(\delta)|\le\pi/\sin(\pi\delta)\le\pi/(2\delta)$ であり、$|g(\delta)u(\delta)^2|\le\pi C^2\delta/2\to0$($\delta\to0$)である。$x=1-\delta$ でも、$u(1)=0$ から同様に $0$ に近づく。
右辺の第 1 項は $\delta$ を小さくすると増加し、左辺と境界項は収束するので、
$$
\int_0^1(u'^2-\pi^2u^2)\,dx=\lim_{\delta\to0}\int_\delta^{1-\delta}(u'-gu)^2\,dx\ \ge0
$$
である。等号が成り立つなら、非負の連続関数 $(u'-gu)^2$ の $[\delta,1-\delta]$ での積分がすべての $\delta$ で $0$ なので、$(0,1)$ で $u'=gu$ である。すると
$$
\Bigl(\frac{u}{\sin\pi x}\Bigr)'=\frac{u'\sin\pi x-\pi u\cos\pi x}{\sin^2\pi x}=\frac{u'-gu}{\sin\pi x}=0
$$
なので、$(0,1)$ で $u=c\sin\pi x$ であり、連続性から $[0,1]$ でも成り立つ。逆に $u=c\sin\pi x$ なら $\int_0^1u'^2=c^2\pi^2/2=\pi^2\int_0^1u^2$ である。$\square$
変数を $x\mapsto x/L$ と替えれば、区間 $[0,L]$ では最小値は $\pi^2/L^2$ になる。固有関数 $y$ を代入した商が固有値に等しいことは、一般の正則 Sturm–Liouville 問題でも成り立つ(Sturm–Liouville問題 の系「固有値の商の表示」)。
thm-ray-dirichlet により、境界条件をみたす任意の $v\ne0$ の Rayleigh 商は最小固有値 $\pi^2$ の上からの評価を与える。$v(x)=x(1-x)$ とおくと
$$
\int_0^1v'^2\,dx=\int_0^1(1-2x)^2\,dx=\frac13,\qquad\int_0^1v^2\,dx=\int_0^1x^2(1-x)^2\,dx=\frac1{30}
$$
なので Rayleigh 商は $10$ で、$\pi^2=9.8696\cdots$ との差は約 $1.3\%$ である。$v$ は $\sin\pi x$ の定数倍とは異なる関数だが、thm-ray-accuracy の 2 乗の精度の現象と同じく、Rayleigh 商の値は固有値に近い。試験関数を有限次元の部分空間から選んで Rayleigh 商を最小にする方法を Rayleigh–Ritz の方法という。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 行列が対称 | $\begin{pmatrix}0&1\\0&0\end{pmatrix}$ | thm-ray-critical:最大値をとる $x=(1,1)$ が固有ベクトルでなく、最大値 $1/2$ は固有値でない |
| 行列が対称 | $\begin{pmatrix}1&1\\0&2\end{pmatrix}$ と $x=(1,\varepsilon)$ | thm-ray-accuracy:固有値 $1$ との差が $\varepsilon$ の 1 次になる |
| 最大値が達成される | ex-ray-multiplication の掛け算作用素 | thm-ray-critical の 3 の結論(上限 $1$ をとる固有ベクトルがない) |
| 両端の境界条件($u(1)=0$ を外す) | $u(x)=x$ | thm-ray-dirichlet:$\int_0^1u'^2\big/\int_0^1u^2=3<\pi^2$ |
1 行目:実ベクトル $x=(x_1,x_2)\ne0$ について $x^{\mathsf T}Ax=x_1x_2$ なので $R_A(x)=x_1x_2/(x_1^2+x_2^2)\le1/2$ で、等号は $x_1=x_2$ のときである。$x=(1,1)$ では $Ax=(1,0)$ は $x$ の定数倍でない。$A$ の固有値は $0$ だけである。2 行目:$u=(1,0)$ は固有値 $1$ の固有ベクトルで、$x=(1,\varepsilon)$ について $x^{\mathsf T}Ax=1+\varepsilon+2\varepsilon^2$、$x^{\mathsf T}x=1+\varepsilon^2$ なので $R_A(x)-1=(\varepsilon+\varepsilon^2)/(1+\varepsilon^2)$ である。3 行目は ex-ray-multiplication である。4 行目:$\int_0^1u'^2=1$、$\int_0^1u^2=1/3$ である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する