内積空間

同義語:計量ベクトル空間inner product space

概要

内積空間(inner product space)とは、実または複素ベクトル空間 $V$ に、第 1 変数について線形、共役対称、正定値な写像 $\langle\cdot,\cdot\rangle$(内積)を備えたものであり、計量ベクトル空間ともいう。内積は長さ $\|x\|=\sqrt{\langle x,x\rangle}$ と直交を定め、Cauchy–Schwarz の不等式 $|\langle x,y\rangle|\le\|x\|\|y\|$ によりノルム空間になる。$F^n$ の標準内積や連続関数の $\int f\bar g$ が代表例である。Gram–Schmidt の直交化により有限次元内積空間は正規直交基底をもち、有限次元部分空間 $W$ について $V=W\oplus W^{\perp}$ が成り立つ。完備な内積空間が Hilbert 空間である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: ベクトル空間, 複素数, 基底と次元

定義

以下、$F$ は実数体 $\mathbb{R}$ または複素数体 $\mathbb{C}$ を表し、$a\in F$ に対し $\bar a$ で複素共役($F=\mathbb{R}$ なら $\bar a=a$)、$|a|$ で絶対値を表す。

実内積と複素内積

$V$ を $F$ 上のベクトル空間とする。写像 $\langle\cdot,\cdot\rangle\colon V\times V\to F$ が次の 4 条件を満たすとき、これを $V$ 上の内積(inner product)といい、内積を備えたベクトル空間 $(V,\langle\cdot,\cdot\rangle)$ を内積空間(inner product space、計量ベクトル空間)という。$F=\mathbb{R}$ のとき実内積空間、$F=\mathbb{C}$ のとき複素内積空間(ユニタリ空間)という。

  1. (第 1 変数についての線形性)任意の $x,y,z\in V$、$a,b\in F$ について $\langle ax+by,z\rangle=a\langle x,z\rangle+b\langle y,z\rangle$。
  2. (共役対称性)任意の $x,y\in V$ について $\langle y,x\rangle=\overline{\langle x,y\rangle}$。とくに $\langle x,x\rangle$ は実数である。
  3. (正値性)任意の $x\in V$ について $\langle x,x\rangle\ge0$。
  4. (定値性)$\langle x,x\rangle=0$ ならば $x=0$。
    $F=\mathbb{R}$ のとき条件 2 は対称性 $\langle y,x\rangle=\langle x,y\rangle$ となり、内積とは正定値な対称双線形形式のことである。$F=\mathbb{C}$ のとき、条件 1 と 2 から第 2 変数については共役線形性 $\langle x,ay+bz\rangle=\bar a\langle x,y\rangle+\bar b\langle x,z\rangle$ が従う(prop-inner-product-space-basic)。Axl15
変数の線形性の約束

複素内積をどちらの変数について線形にするかは文献によって異なる。本記事と Axl15 は第 1 変数について線形とし、$\langle x,y\rangle:=y^*x$ と書く。第 2 変数を線形とする約束では $x^*y$ を用いる。どちらの約束でも $\langle x,y\rangle$ と $\langle y,x\rangle$ を入れ替えることで翻訳でき、以後の式はすべて本記事の第 1 変数線形の約束で記す。

内積から定まるノルムと距離

内積空間 $V$ において、$x\in V$ のノルム(長さ)を
$$ \|x\|:=\sqrt{\langle x,x\rangle} $$
で定める(条件 3 により平方根がとれる)。$\|x\|=1$ のベクトルを単位ベクトルという。また $d(x,y):=\|x-y\|$ を $x,y$ の距離という。$\|\cdot\|$ はノルムの公理(thm-inner-product-space-triangle)を満たし、$d$ は距離の公理を満たすので、内積空間はノルム空間、したがって距離空間である。

直交性と正規直交系

内積空間 $V$ の元 $x,y$ が $\langle x,y\rangle=0$ を満たすとき、$x$ と $y$ は直交するといい $x\perp y$ と書く。ベクトルの族 $(e_i)_{i\in I}$ が、相異なる $i,j$ について $e_i\perp e_j$ を満たすとき直交系、さらに各 $\|e_i\|=1$ であるとき正規直交系という。すなわち正規直交系とは $\langle e_i,e_j\rangle=\delta_{ij}$(Kroneckerのデルタ)を満たす族である。正規直交系であるような基底を正規直交基底という。部分集合 $S\subset V$ に対し、$S$ のすべての元と直交するベクトル全体
$$ S^{\perp}:=\{x\in V\mid \langle x,s\rangle=0\ (s\in S)\} $$
を $S$ の直交補空間という。Axl15

直感

ベクトル空間の公理は「足す・定数倍する」ことだけを定め、長さや角度については何も述べない。内積はこの欠けた情報を補う構造であり、$\|x\|=\sqrt{\langle x,x\rangle}$ が長さ、$\langle x,y\rangle=0$ が直交、実内積空間では $\cos\theta=\langle x,y\rangle/(\|x\|\|y\|)$ が角度を与える。この $\cos\theta$ の定義が意味をもつ(右辺の絶対値が $1$ 以下である)ことを保証するのが Cauchy–Schwarz の不等式(thm-inner-product-space-cauchy-schwarz)である。
複素内積で共役が現れるのは、$\langle x,x\rangle$ を実数の長さの 2 乗にするためである。$\mathbb{C}^n$ で共役を付けずに $\sum x_iy_i$ とすると、$x=(i)$ に対して $x_1x_1=-1<0$ となり長さが定義できない(rem-inner-product-space-counterexamples)。
内積空間の理論の中心は「正規直交基底を作れば、座標は内積で計算でき、長さは座標の 2 乗和になる」という事実(prop-inner-product-space-orthonormal)と、任意の基底から正規直交基底を作る Gram–Schmidt の直交化(thm-inner-product-space-gram-schmidt)である。有限次元の部分空間への直交射影は最良近似を与え(thm-inner-product-space-projection)、これが最小二乗法や Fourier級数 の出発点になる。

例

数ベクトル空間の標準内積

$F^n$ の元 $x=(x_1,\ldots,x_n)$、$y=(y_1,\ldots,y_n)$ に対し
$$ \langle x,y\rangle:=\sum_{k=1}^{n}x_k\overline{y_k} $$
と定めると、これは $F^n$ 上の内積である(標準内積、Euclid 内積、$F=\mathbb{C}$ のときは Hermite 内積ともいう)。条件 1 と 2 は和の計算から直ちに従い、$\langle x,x\rangle=\sum_k|x_k|^2\ge0$ で、これが $0$ なら各 $|x_k|^2=0$、すなわち $x=0$ である。ノルムは $\|x\|=\sqrt{\sum_k|x_k|^2}$ で、$\mathbb{R}^2$、$\mathbb{R}^3$ では通常の長さである。列ベクトルの記法では $\langle x,y\rangle=y^*x$($y^*$ は $y$ の共役転置)と書ける。標準基底 $e_1,\ldots,e_n$ は正規直交基底である。

重み付き内積

正の実数 $w_1,\ldots,w_n$ に対し $\langle x,y\rangle_w:=\sum_kw_kx_k\overline{y_k}$ は $F^n$ 上の内積である。定値性は $w_k>0$ から従う。より一般に、$n$ 次の Hermite行列 $A$($A^*=A$)が $x\ne0$ について $x^*Ax>0$ を満たす(正定値行列である)とき、$\langle x,y\rangle_A:=y^*Ax$ は内積である。逆に $F^n$ 上の任意の内積はこの形に書ける($A$ の $(i,j)$ 成分を $\langle e_j,e_i\rangle$ とすればよい)。同じベクトル空間に異なる内積を入れることができ、直交性やノルムは内積に依存する。

連続関数の空間

閉区間 $[a,b]$ 上の $F$ に値をとる連続関数全体 $C([a,b])$ に
$$ \langle f,g\rangle:=\int_a^bf(t)\overline{g(t)}\,dt $$
と定めると内積である。線形性と共役対称性は積分の線形性から従う。$\langle f,f\rangle=\int_a^b|f(t)|^2dt\ge0$ であり、$f$ が連続で $f\ne0$ なら $|f|^2$ はある点で正、したがってその近くの区間で正の下界をもつので積分は正である。よって定値性が成り立つ。$[a,b]=[-\pi,\pi]$ のとき、関数 $e^{ikt}/\sqrt{2\pi}$($k\in\mathbb{Z}$)は正規直交系をなし、これが Fourier級数 の基礎である。

行列の空間の内積

$m\times n$ 型の行列全体 $M_{m,n}(F)$ に $\langle A,B\rangle:=\operatorname{tr}(B^*A)=\sum_{i,j}a_{ij}\overline{b_{ij}}$ と定めると内積である(Frobenius 内積)。これは $M_{m,n}(F)$ を $F^{mn}$ と同一視したときの標準内積にほかならない。対応するノルム $\|A\|=\sqrt{\sum_{i,j}|a_{ij}|^2}$ を Frobenius ノルムという。HJ13

多項式の空間の内積

実数係数で次数 $n$ 以下の多項式全体 $\mathbb{R}[x]_{\le n}$ に $\langle p,q\rangle:=\sum_{k=0}^{n}p(k)q(k)$ と定めると内積である。線形性・対称性・正値性は明らかで、$\langle p,p\rangle=0$ なら $p$ は $n+1$ 個の相異なる点 $0,1,\ldots,n$ で零になり、次数 $n$ 以下の多項式は $n+1$ 個の根をもてば零多項式であるから $p=0$ である。標本点を $n$ 個にすると定値性が破れる(rem-inner-product-space-counterexamples)。

Gram–Schmidtの直交化の計算

$C([-1,1])$ に $\langle f,g\rangle:=\int_{-1}^{1}f(t)g(t)\,dt$ を入れ、線形独立な $1,x,x^2$ に thm-inner-product-space-gram-schmidt の手続きを適用する。$\|1\|^2=2$ であるから $e_1=1/\sqrt2$ である。$\langle x,e_1\rangle=\frac1{\sqrt2}\int_{-1}^1t\,dt=0$ であるから $x$ はそのまま直交し、$\|x\|^2=2/3$ より $e_2=\sqrt{3/2}\,x$ である。$\langle x^2,e_1\rangle=\frac1{\sqrt2}\cdot\frac23$、$\langle x^2,e_2\rangle=0$ であるから、$x^2$ から射影を引くと $x^2-\frac{2}{3\sqrt2}\cdot\frac1{\sqrt2}=x^2-\frac13$ となり、$\|x^2-\tfrac13\|^2=\int_{-1}^1(t^2-\tfrac13)^2dt=\frac{8}{45}$ より $e_3=\sqrt{45/8}\,(x^2-\tfrac13)$ である。得られた $1,x,x^2-\frac13$ は Legendre 多項式の定数倍である。

反例
  • $\mathbb{R}^2$ 上の $\langle x,y\rangle:=x_1y_1-x_2y_2$(Minkowski 形式)は対称双線形だが、$x=(0,1)$ に対し $\langle x,x\rangle=-1<0$ なので正値性を破り、内積でない。相対性理論で使われるこの形式は不定符号計量とよばれ、内積空間の理論(Cauchy–Schwarz など)はそのままでは成り立たない。
  • $\mathbb{C}^n$ 上の $\langle x,y\rangle:=\sum_kx_ky_k$(共役なし)は双線形だが、$n=1$、$x=i$ で $\langle x,x\rangle=-1$ となり正値性を破る。また $\langle y,x\rangle=\langle x,y\rangle$ は共役対称性 $\overline{\langle x,y\rangle}$ と一致しない。複素内積には共役が不可欠である。
  • $\mathbb{R}^2$ 上の $\langle x,y\rangle:=x_1y_1$ は条件 1 から 3 を満たすが、$x=(0,1)\ne0$ で $\langle x,x\rangle=0$ なので定値性を破る。このような形式は半正定値といい、$\|x\|=0$ でも $x\ne0$ でありうる。同様に $\mathbb{R}[x]_{\le n}$ 上の $\sum_{k=0}^{n-1}p(k)q(k)$ は、$p=x(x-1)\cdots(x-n+1)\ne0$ で $\langle p,p\rangle=0$ となる。
  • $\mathbb{R}^2$ 上のノルム $\|x\|_1:=|x_1|+|x_2|$ はノルムの公理を満たすが、どんな内積からも $\|x\|=\sqrt{\langle x,x\rangle}$ の形では得られない。$x=(1,0)$、$y=(0,1)$ について $\|x+y\|_1^2+\|x-y\|_1^2=8$ だが $2\|x\|_1^2+2\|y\|_1^2=4$ であり、内積から来るノルムが必ず満たす平行四辺形の等式(thm-inner-product-space-triangleの 3)を破るからである。

性質

内積とノルムの基本性質

$V$ を内積空間とする。

  1. 任意の $x,y,z\in V$、$a,b\in F$ について $\langle x,ay+bz\rangle=\bar a\langle x,y\rangle+\bar b\langle x,z\rangle$。
  2. 任意の $x\in V$ について $\langle x,0\rangle=\langle0,x\rangle=0$。
  3. 任意の $x\in V$、$a\in F$ について $\|ax\|=|a|\,\|x\|$。また $\|x\|\ge0$ であり、$\|x\|=0$ と $x=0$ は同値である。
  4. (三平方の定理)$x\perp y$ ならば $\|x+y\|^2=\|x\|^2+\|y\|^2$。
  5. $\|x+y\|^2=\|x\|^2+2\operatorname{Re}\langle x,y\rangle+\|y\|^2$。
    Axl15
基本性質の証明

1 を示す。条件 2 と 1 により
$$ \langle x,ay+bz\rangle=\overline{\langle ay+bz,x\rangle}=\overline{a\langle y,x\rangle+b\langle z,x\rangle}=\bar a\,\overline{\langle y,x\rangle}+\bar b\,\overline{\langle z,x\rangle}=\bar a\langle x,y\rangle+\bar b\langle x,z\rangle $$
である。
2 を示す。条件 1 により $\langle0,x\rangle=\langle0\cdot0,x\rangle=0\cdot\langle0,x\rangle=0$ であり、条件 2 により $\langle x,0\rangle=\overline{\langle0,x\rangle}=0$ である。
3 を示す。条件 1 と 1 により $\langle ax,ax\rangle=a\bar a\langle x,x\rangle=|a|^2\|x\|^2$ であり、両辺の非負の平方根をとって $\|ax\|=|a|\|x\|$ である。$\|x\|\ge0$ は定義による。$\|x\|=0$ は $\langle x,x\rangle=0$ と同値であり、条件 4 により $x=0$ を導き、逆は 2 による。
5 を示す。条件 1 と 1 により
$$ \|x+y\|^2=\langle x+y,x+y\rangle=\langle x,x\rangle+\langle x,y\rangle+\langle y,x\rangle+\langle y,y\rangle $$
であり、条件 2 により $\langle y,x\rangle=\overline{\langle x,y\rangle}$ であるから中央の 2 項の和は $2\operatorname{Re}\langle x,y\rangle$ である。4 は 5 で $\langle x,y\rangle=0$ とおけばよい。$\square$

内積のCauchy–Schwarz不等式

内積空間 $V$ の任意の $x,y$ について
$$ |\langle x,y\rangle|\le\|x\|\,\|y\| $$
が成り立つ。等号が成り立つのは $x,y$ が線形従属である(一方が他方のスカラー倍である)ときに限る。Axl15

Cauchy–Schwarz不等式の証明

$y=0$ なら両辺とも $0$ であり、$x,y$ は線形従属である。$y\ne0$ とし、
$$ c:=\frac{\langle x,y\rangle}{\|y\|^2},\qquad z:=x-cy $$
とおく。$\langle z,y\rangle=\langle x,y\rangle-c\langle y,y\rangle=\langle x,y\rangle-\langle x,y\rangle=0$ であるから $z\perp y$、したがって $z\perp cy$ である(prop-inner-product-space-basicの 1)。$x=cy+z$ に三平方の定理(同 4)と同 3 を使うと
$$ \|x\|^2=\|cy\|^2+\|z\|^2=|c|^2\|y\|^2+\|z\|^2=\frac{|\langle x,y\rangle|^2}{\|y\|^2}+\|z\|^2\ge\frac{|\langle x,y\rangle|^2}{\|y\|^2} $$
である。両辺に $\|y\|^2$ を掛けて平方根をとれば不等式を得る。
等号は $\|z\|=0$、すなわち $z=0$、すなわち $x=cy$ のとき、かつそのときに限り成り立つ。逆に $x=ay$($a\in F$)なら $|\langle x,y\rangle|=|a|\|y\|^2=\|x\|\|y\|$ であり、$y=ax$ の場合も同様である。よって等号成立は $x,y$ の線形従属性と同値である。$\square$

実数列の場合との関係

$V=\mathbb{R}^n$ に標準内積を入れると、この定理は実数列の Cauchy–Schwarz の不等式 $(\sum a_kb_k)^2\le(\sum a_k^2)(\sum b_k^2)$ になる。実数の不等式としての証明(判別式・平方完成による)は 不等式 の記事の定理「実数列のCauchy–Schwarzの不等式」が扱い、本記事は一般の内積空間での証明を所有する。$C([a,b])$ では積分の不等式 $\bigl|\int f\bar g\bigr|^2\le\int|f|^2\int|g|^2$ になる。

三角不等式と平行四辺形の等式

内積空間 $V$ の任意の $x,y$ について次が成り立つ。

  1. (三角不等式)$\|x+y\|\le\|x\|+\|y\|$。等号が成り立つのは、一方が他方の非負実数倍であるときに限る。
  2. $\|\cdot\|$ はノルムの公理($\|x\|\ge0$、$\|x\|=0\Leftrightarrow x=0$、$\|ax\|=|a|\|x\|$、三角不等式)を満たす。
  3. (平行四辺形の等式)$\|x+y\|^2+\|x-y\|^2=2\|x\|^2+2\|y\|^2$。
    Axl15
三角不等式と平行四辺形の等式の証明

1 を示す。prop-inner-product-space-basicの 5、$\operatorname{Re}w\le|w|$、およびthm-inner-product-space-cauchy-schwarzにより
$$ \|x+y\|^2=\|x\|^2+2\operatorname{Re}\langle x,y\rangle+\|y\|^2\le\|x\|^2+2|\langle x,y\rangle|+\|y\|^2\le\|x\|^2+2\|x\|\|y\|+\|y\|^2=(\|x\|+\|y\|)^2 $$
であり、非負の平方根をとって三角不等式を得る。等号が成り立つのは 2 つの不等号がともに等号のとき、すなわち $\operatorname{Re}\langle x,y\rangle=|\langle x,y\rangle|=\|x\|\|y\|$ のときである。$y=0$ ならこれは成り立ち、$y=0\cdot x$ である。$y\ne0$ のとき、Cauchy–Schwarz の等号条件により $x=cy$ と書け、$\langle x,y\rangle=c\|y\|^2$ が非負実数であることから $c\ge0$ である。逆に $x=cy$($c\ge0$)なら $\|x+y\|=(c+1)\|y\|=\|x\|+\|y\|$ である。
2 はprop-inner-product-space-basicの 3 と 1 をまとめたものである。
3 を示す。prop-inner-product-space-basicの 5 を $y$ と $-y$ について書くと
$$ \|x+y\|^2=\|x\|^2+2\operatorname{Re}\langle x,y\rangle+\|y\|^2,\qquad \|x-y\|^2=\|x\|^2-2\operatorname{Re}\langle x,y\rangle+\|y\|^2 $$
であり、辺々加えればよい。$\square$

正規直交系の性質

$V$ を内積空間とする。

  1. 零ベクトルを含まない直交系は線形独立である。
  2. $e_1,\ldots,e_n$ を正規直交系とし、$x\in\operatorname{span}\{e_1,\ldots,e_n\}$ とすると
    $$ x=\sum_{k=1}^{n}\langle x,e_k\rangle e_k,\qquad \|x\|^2=\sum_{k=1}^{n}|\langle x,e_k\rangle|^2 $$
    である。とくに $e_1,\ldots,e_n$ が正規直交基底なら、任意の $x\in V$ についてこれが成り立つ。
  3. (Bessel の不等式)$e_1,\ldots,e_n$ が正規直交系なら、任意の $x\in V$ について $\sum_{k=1}^{n}|\langle x,e_k\rangle|^2\le\|x\|^2$ である。
    Axl15
正規直交系の性質の証明

1 を示す。$(v_i)$ を零ベクトルを含まない直交系とし、有限個の $v_1,\ldots,v_n$ について $\sum_ka_kv_k=0$ とする。両辺と $v_j$ の内積をとると、条件 1 と直交性により
$$ 0=\Bigl\langle\sum_ka_kv_k,v_j\Bigr\rangle=\sum_ka_k\langle v_k,v_j\rangle=a_j\|v_j\|^2 $$
であり、$v_j\ne0$ より $\|v_j\|^2\ne0$ であるから $a_j=0$ である。
2 を示す。$x=\sum_ka_ke_k$ と書けるとすると、$e_j$ との内積は $\langle x,e_j\rangle=\sum_ka_k\langle e_k,e_j\rangle=a_j$ である。よって第 1 式が成り立つ。第 2 式は、$\langle x,e_k\rangle e_k$ たちが互いに直交することから三平方の定理を繰り返し使い($n$ についての帰納法)、$\|\langle x,e_k\rangle e_k\|^2=|\langle x,e_k\rangle|^2$ であることによる。
3 を示す。$p:=\sum_k\langle x,e_k\rangle e_k$、$z:=x-p$ とおく。各 $j$ について $\langle z,e_j\rangle=\langle x,e_j\rangle-\langle x,e_j\rangle=0$ であるから $z\perp p$ であり、三平方の定理と 2 により $\|x\|^2=\|p\|^2+\|z\|^2\ge\|p\|^2=\sum_k|\langle x,e_k\rangle|^2$ である。$\square$

Gram–Schmidtの直交化法

$V$ を内積空間、$v_1,\ldots,v_n$ を線形独立なベクトルとする。$e_1,\ldots,e_n$ を帰納的に
$$ w_1:=v_1,\qquad w_j:=v_j-\sum_{k=1}^{j-1}\langle v_j,e_k\rangle e_k\quad(j\ge2),\qquad e_j:=\frac{w_j}{\|w_j\|} $$
で定める。このとき $w_j\ne0$ であって上の定義は意味をもち、$e_1,\ldots,e_n$ は正規直交系であり、各 $j=1,\ldots,n$ について
$$ \operatorname{span}\{e_1,\ldots,e_j\}=\operatorname{span}\{v_1,\ldots,v_j\} $$
が成り立つ。したがって、有限次元の内積空間は正規直交基底をもち、有限次元の内積空間の任意の正規直交系は正規直交基底に延長できる。Axl15

Gram–Schmidtの直交化法の証明

$j$ についての帰納法で、「$w_j\ne0$、$e_1,\ldots,e_j$ は正規直交系、$\operatorname{span}\{e_1,\ldots,e_j\}=\operatorname{span}\{v_1,\ldots,v_j\}$」を示す。$j=1$ のとき、$v_1$ は線形独立な族の元なので $v_1\ne0$、$w_1=v_1\ne0$、$\|e_1\|=\|v_1\|/\|v_1\|=1$ であり、$\operatorname{span}\{e_1\}=\operatorname{span}\{v_1\}$ である。
$j\ge2$ とし、$j-1$ まで正しいと仮定する。$\sum_{k< j}\langle v_j,e_k\rangle e_k\in\operatorname{span}\{e_1,\ldots,e_{j-1}\}=\operatorname{span}\{v_1,\ldots,v_{j-1}\}$ であるから、もし $w_j=0$ なら $v_j\in\operatorname{span}\{v_1,\ldots,v_{j-1}\}$ となり、$v_1,\ldots,v_j$ の線形独立性(線形独立 の記事の定理「線形独立性の同値条件」の 2)に反する。よって $w_j\ne0$ で $e_j$ が定義でき、$\|e_j\|=1$ である。$i< j$ について、帰納法の仮定($\langle e_k,e_i\rangle=\delta_{ki}$)により
$$ \langle w_j,e_i\rangle=\langle v_j,e_i\rangle-\sum_{k< j}\langle v_j,e_k\rangle\langle e_k,e_i\rangle=\langle v_j,e_i\rangle-\langle v_j,e_i\rangle=0 $$
であるから $e_j\perp e_i$ であり、$e_1,\ldots,e_j$ は正規直交系である。最後に、$e_j$ は $v_j$ と $e_1,\ldots,e_{j-1}$(したがって $v_1,\ldots,v_{j-1}$)の線形結合であるから $\operatorname{span}\{e_1,\ldots,e_j\}\subset\operatorname{span}\{v_1,\ldots,v_j\}$ であり、逆に $v_j=\|w_j\|e_j+\sum_{k< j}\langle v_j,e_k\rangle e_k$ は $e_1,\ldots,e_j$ の線形結合であるから逆の包含も成り立つ。
後半について。$V$ が有限次元なら基底 $v_1,\ldots,v_n$ をとり、上の手続きで得た正規直交系 $e_1,\ldots,e_n$ は $\operatorname{span}\{e_1,\ldots,e_n\}=V$ を満たし、prop-inner-product-space-orthonormalの 1 により線形独立であるから正規直交基底である。正規直交系 $e_1,\ldots,e_m$ が与えられたときは、これは線形独立であるから 線形代数学 の記事の補題「部分空間の基底と基底の延長」により $v_{m+1},\ldots,v_n$ を付け加えて $V$ の基底にでき、この基底に上の手続きを適用すると、最初の $m$ 個は(既に正規直交なので)$e_1,\ldots,e_m$ のまま変わらず、全体が正規直交基底になる。$\square$

直交分解と最良近似

$V$ を内積空間、$W$ を $V$ の有限次元の部分空間とし、$e_1,\ldots,e_m$ を $W$ の正規直交基底とする。

  1. $W^{\perp}$ は $V$ の部分空間であり、$W\cap W^{\perp}=\{0\}$ である。
  2. $V=W\oplus W^{\perp}$(直和)である。すなわち任意の $x\in V$ は $x=p+z$($p\in W$、$z\in W^{\perp}$)とただ一通りに書け、$p=\sum_{k=1}^{m}\langle x,e_k\rangle e_k$ である。この $p$ を $x$ の $W$ への直交射影といい $P_Wx$ と書く。
  3. 任意の $w\in W$ について $\|x-P_Wx\|\le\|x-w\|$ であり、等号は $w=P_Wx$ のときに限る。すなわち $P_Wx$ は $W$ の元の中で $x$ にもっとも近い元である。
    Axl15
直交分解と最良近似の証明

1 を示す。$0\in W^{\perp}$ である(prop-inner-product-space-basicの 2)。$x,y\in W^{\perp}$、$a,b\in F$ なら、任意の $w\in W$ について $\langle ax+by,w\rangle=a\langle x,w\rangle+b\langle y,w\rangle=0$ であるから $ax+by\in W^{\perp}$ であり、ベクトル空間の記事の命題「部分空間の判定」により $W^{\perp}$ は部分空間である。$x\in W\cap W^{\perp}$ なら $\langle x,x\rangle=0$ であるから $x=0$ である。
2 を示す。$x\in V$ に対し $p:=\sum_k\langle x,e_k\rangle e_k\in W$、$z:=x-p$ とおく。各 $j$ について $\langle z,e_j\rangle=\langle x,e_j\rangle-\langle x,e_j\rangle=0$ であるから、$W$ の任意の元 $w=\sum_jb_je_j$ について $\langle z,w\rangle=\sum_j\overline{b_j}\langle z,e_j\rangle=0$ であり、$z\in W^{\perp}$ である。よって $x=p+z$ と分解できる。一意性は、$x=p+z=p'+z'$($p,p'\in W$、$z,z'\in W^{\perp}$)なら $p-p'=z'-z\in W\cap W^{\perp}=\{0\}$ であることによる。
3 を示す。$w\in W$ に対し $x-w=(x-P_Wx)+(P_Wx-w)$ であり、$x-P_Wx\in W^{\perp}$、$P_Wx-w\in W$ であるから両者は直交し、三平方の定理により
$$ \|x-w\|^2=\|x-P_Wx\|^2+\|P_Wx-w\|^2\ge\|x-P_Wx\|^2 $$
である。等号は $\|P_Wx-w\|=0$、すなわち $w=P_Wx$ のときに限る。$\square$

無限次元の場合とHilbert空間

thm-inner-product-space-projectionで $W$ の有限次元性は落とせない。無限次元の部分空間では $V=W\oplus W^{\perp}$ が成り立たないことがあり、これが成り立つためには $V$ が距離 $d$ について完備距離空間であること(Hilbert空間であること)と $W$ が閉集合であることを要する。内積空間の完備化、閉部分空間への射影定理、Rieszの表現定理、正規直交系のParsevalの等式は Hilbert空間 の記事が扱う。有限次元の内積空間はつねに完備である。

随伴と正規変換の所在

有限次元の内積空間 $V$ 上の線形変換 $T$ に対し、$\langle Tx,y\rangle=\langle x,T^*y\rangle$(すべての $x,y$)を満たす線形変換 $T^*$ がただ 1 つ存在し、$T$ の随伴作用素という。正規直交基底に関する $T^*$ の表現行列は $T$ の表現行列の共役転置である。$TT^*=T^*T$ を満たす $T$(正規変換)が正規直交基底で対角化できるというスペクトル定理は内積空間の理論の頂点であり、その言明と出典は 線形代数学 の記事の定理「正規行列のユニタリ対角化」、証明は スペクトル定理 の記事に譲る(出典 Axl15 Chapter 7、HJ13 Chapter 2)。

補足

内積空間はEuclid空間の幾何(長さ・角・直交・射影)を一般のベクトル空間に移したものである。実内積空間の理論は2次形式・対称行列の理論と、複素内積空間の理論は Hermite行列・ユニタリ行列の理論と表裏一体である。内積を正定値でない対称双線形形式に置き換えた不定符号計量はMinkowski空間や擬Riemann多様体で、完備な無限次元内積空間である Hilbert空間 は関数解析・量子力学で中心的な役割を果たす。本記事の内容は Axl15 Chapter 6 による。行列の言葉での扱いは HJ13 Chapter 0 と Chapter 5 を参照。

関連項目

参考文献

[1]
Sheldon Axler, Linear Algebra Done Right, 3rd ed., Graduate Texts in Mathematics 250, Springer, 2015, Chapter 6(Inner Product Spaces), Chapter 7(Operators on Inner Product Spaces)
[2]
Roger A. Horn, Charles R. Johnson, Matrix Analysis, 2nd ed., Cambridge University Press, 2013, Chapter 0(Review and miscellanea), Chapter 2(Unitary Similarity and Unitary Equivalence), Chapter 5(Norms for vectors and matrices)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する