6-1 内積とノルム

読み始める前の問い

交わらない二直線のように方程式が解けないとき、「最も近い答え」を数学的に決められるだろうか。
このページでできるようになること
内積から長さ・角度・直交を作り、誤差を測る準備ができるようになる。

この章を貫く問い

$Ax=b$ に解がないとき、数学は「解なし」で終わるのだろうか。長さと直交を導入すると、最も近い答えを一意に選べる。内積から直交射影、最小二乗、QR分解までを一つの問題として追う。

方程式に解がないとき

連立方程式 $Ax=b$ に解がなければ、これまでは「解なし」で終わっていた。しかし測定誤差を含むデータでは、$Ax$ が $b$ に最も近くなる $x$ を知りたい。そのためにはベクトルの長さと角度を代数的に測る必要がある。
実ベクトル空間 $V$ 上の 内積 とは、各 $x,y$ に実数 $\langle x,y\rangle$ を対応させ、次を満たす写像である。

1. 第1変数について線形である。
2. $\langle x,y\rangle=\langle y,x\rangle$。
3. $\langle x,x\rangle\ge0$ で、等号は $x=0$ のときに限る。
   複素ベクトル空間では第1変数について線形、第2変数について共役線形と約束し、対称性を
   $$\langle x,y\rangle=\overline{\langle y,x\rangle}$$
   に置き換える。標準内積は $\langle x,y\rangle=\sum_i x_i\overline{y_i}$ である。以後この規約を一貫して用いる。

内積から長さを作る

$$\|x\|=\sqrt{\langle x,x\rangle}$$
をノルムという。正定値性より $\|x\|\ge0$ で、$\|x\|=0$ と $x=0$ は同値である。また
$$\|ax\|^2=\langle ax,ax\rangle=a\overline a\langle x,x\rangle=|a|^2\|x\|^2$$
だから $\|ax\|=|a|\|x\|$ である。$\langle x,y\rangle=0$ のとき $x,y$ は直交するといい、$x\perp y$ と書く。

証明を読む前の見取り図

内積の公理からノルムを定義し、正定値性が零距離を正しく判定することを確認する。

標準でない内積

$M$ を実対称正定値行列とする。このとき
$$\langle x,y\rangle_M=x^\mathsf TMy$$
は内積である。例えば $M=\operatorname{diag}(2,1)$ なら $(1,1)^\mathsf T$ の長さは標準内積では $\sqrt2$、この内積では $\sqrt3$ である。内積は、どの方向をどれだけ重く測るかという追加構造である。
正定値を外すと長さにならない。$x_1y_1-x_2y_2$ は対称双線形だが、零でない $(1,1)$ と自分自身との値が $0$ になるため内積ではない。

計算例

$x=(1,2,-1)^\mathsf T$、$y=(2,0,2)^\mathsf T$ とする。
$$\langle x,y\rangle=2+0-2=0,$$
よって直交する。また $\|x\|^2=6$、$\|y\|^2=8$、$x+y=(3,2,1)^\mathsf T$ だから
$$\|x+y\|^2=14=6+8$$
となり Pythagoras の等式を確認できる。

演習

$x\perp y$ かつ $x\perp z$ なら、任意のスカラー $a,b$ に対して $x\perp(ay+bz)$ であることを示せ。

ノルムが距離として働くには三角不等式が必要である。次ページでは、その核心となる Cauchy–Schwarz の不等式を等号条件まで含めて証明する。

このページで回収したもの

解の有無だけで終わらず、近さを最適化する問題へ進めるようになった。
次へ持ち越す問い
この見方を、次のページではより広い対象またはより計算しやすい形へ移す。