正射影と射影行列

前提知識: ベクトルの内積, 行列, 1次独立, 固有値

高校での出発点：正射影ベクトルと垂線の足

平面ベクトル $a\ne0$ と $b$ があるとき、$b$ の終点から $a$ の向きの直線に下ろした垂線の足を考える。原点を通り $a$ の向きの直線上の点は $ta$（$t$ は実数）と書けるので、垂線の足は $(b-ta)\cdot a=0$ となる $ta$ である。$t=\frac{a\cdot b}{|a|^2}$ と求まり、
$$ \frac{a\cdot b}{|a|^2}\,a $$
を $b$ の $a$ への正射影ベクトルという。たとえば $a=(2,1)$, $b=(3,4)$ なら $a\cdot b=10$, $|a|^2=5$ で、正射影ベクトルは $2a=(4,2)$、残り $b-2a=(-1,2)$ は確かに $a$ と垂直である（$(-1)\cdot2+2\cdot1=0$）。
垂線の足は、直線上で $b$ にいちばん近い点でもある。実際、
$$ |b-ta|^2=|a|^2t^2-2(a\cdot b)t+|b|^2=|a|^2\Bigl(t-\frac{a\cdot b}{|a|^2}\Bigr)^2+|b|^2-\frac{(a\cdot b)^2}{|a|^2} $$
と平方完成すると、最小になるのは $t=\frac{a\cdot b}{|a|^2}$ のときである。「垂直に下ろす」と「最も近い点をとる」は同じ操作である。
同じ考えで、点と直線の距離の公式も出る。点 $P_0(x_0,y_0)$ と直線 $\ell\colon ax+by+c=0$ について、$n=(a,b)$ は $\ell$ に垂直であり、$\ell$ 上の点 $Q$ をとると、$\overrightarrow{QP_0}$ の $n$ への正射影ベクトルの長さが距離になる。$n\cdot\overrightarrow{QP_0}=ax_0+by_0+c$（$Q$ が $\ell$ 上にあることを使う）なので
$$ \text{距離}=\frac{|n\cdot\overrightarrow{QP_0}|}{|n|}=\frac{|ax_0+by_0+c|}{\sqrt{a^2+b^2}} $$
である。たとえば $P_0(3,4)$ と $x+2y-1=0$ の距離は $\frac{|3+8-1|}{\sqrt5}=2\sqrt5$ で、垂線の足は $P_0-\frac{10}{5}(1,2)=(1,0)$ である。
この記事では、正射影を行列で表される操作として見直す。$a$ への正射影は $b\mapsto\frac{aa^{\mathsf T}}{a^{\mathsf T}a}b$ という行列 $P$ の掛け算であり、その行列は $P^2=P$（2 回射影しても 1 回と同じ）と $P^{\mathsf T}=P$（対称）で特徴づけられ、固有値は $0$ と $1$ だけである。さらに、直線だけでなく平面やもっと高い次元の部分空間への正射影を同じ形で扱えるようになり、データに直線を当てはめる最小二乗法が「正射影を 1 回とる」ことに帰着する。
関数を三角関数の向きに正射影して Fourier 係数を得る話は Fourier係数と最良近似 で扱う。

取り出す構造：部分空間と直交補空間

以下、ベクトルは $n$ 個の実数を縦に並べた列ベクトルとし、その全体を $\mathbb{R}^n$ と書く。内積は $u\cdot v:=u^{\mathsf T}v=u_1v_1+\cdots+u_nv_n$、長さは $|u|:=\sqrt{u\cdot u}$ である。$u^{\mathsf T}$ は $u$ の転置（横ベクトル）を表す。行列 $X$ とベクトル $u,v$ について $(Xu)\cdot v=u\cdot(X^{\mathsf T}v)$ が成り立つ（両辺とも $u^{\mathsf T}X^{\mathsf T}v$ に等しい）。

原点を通る直線や平面は部分空間である。$\mathbb{R}^3$ の平面 $W\colon x-y+z=0$ では、$W^\perp$ は法線ベクトル $(1,-1,1)$ の向きの直線である。
$n\times k$ 行列 $A$ の列ベクトルを $a_1,\dots,a_k$ とすると、$Ax=x_1a_1+\cdots+x_ka_k$ である。$Ax$（$x\in\mathbb{R}^k$）の全体を $A$ の列空間といい、$\operatorname{Im}A$ と書く。これは部分空間である。$a_1,\dots,a_k$ が 1 次独立（$Ax=0$ なら $x=0$）のとき、$a_1,\dots,a_k$ を $\operatorname{Im}A$ の基底といい、$k$ を $\operatorname{Im}A$ の次元という。線形代数の基本事項として、$\{0\}$ でない $\mathbb{R}^n$ の部分空間はどれも、1 次独立な列をもつある行列 $A$ の列空間として表せ、その列の本数 $k$（次元）は $A$ の選び方によらない。本記事ではこの事実を証明せずに使う。

$W$ が直線 $\{ta\}$ なら、条件は「$p=ta$ かつ $(v-ta)\cdot a=0$」であり、高校の正射影ベクトルと一致する。一般の $W$ でも正射影がただ一つ存在することは、次節で証明する。

主定理：直交分解と射影行列

正射影の公式と直交分解

上の証明のうち一意性と 3 の部分は、$W$ が $\operatorname{Im}A$ の形であることを使っておらず、どの部分空間 $W$ についても正射影は（あれば）ただ一つである。$W=\{0\}$ のときは、$\{0\}^\perp=\mathbb{R}^n$ なので、どの $v$ についても正射影は $0$ である。そこで、射影行列を次のように一本の定義にまとめておく。

正射影の一意性から、$W$ への射影行列は（あれば）ただ一つである。$W\ne\{0\}$ なら $W$ は 1 次独立な列をもつ行列 $A$ の列空間として表せるので、thm-opp-decomposition の $P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ が $W$ への射影行列である。$W=\{0\}$ への射影行列は零行列 $O$ である。次の thm-opp-best-approximation と thm-opp-characterization は、$W=\{0\}$（$P=O$）の場合も含めて成り立つ。
$k=1$、$A=a$（0 でない列ベクトル 1 本）のとき $A^{\mathsf T}A=a\cdot a=|a|^2$ は数なので
$$ P=\frac{aa^{\mathsf T}}{|a|^2},\qquad Pv=\frac{a(a^{\mathsf T}v)}{|a|^2}=\frac{a\cdot v}{|a|^2}\,a $$
となり、高校の正射影ベクトルの公式に戻る。$a=(2,1)$ なら $P=\frac15\begin{pmatrix}4&2\\2&1\end{pmatrix}$ で、$P\begin{pmatrix}3\\4\end{pmatrix}=\begin{pmatrix}4\\2\end{pmatrix}$ である。

最良近似

冒頭の平方完成は、この定理の $W$ が直線の場合を計算で確かめたものだった。定理の証明は成分も次元も使わず、「垂直な 2 つのベクトルについてのピタゴラスの定理」だけで済んでいる。

射影行列の特徴づけ

$P^2=P$ は「一度射影した点をもう一度射影しても動かない」こと、$P^{\mathsf T}=P$ は「射影する向きが $W$ に垂直である」ことを表す。後者が欠けると、斜めに影を落とす射影になる（ex-opp-oblique）。

固有値は 0 と 1

行列 $X$ の $(i,j)$ 成分を $x_{ij}$ と書く。正方行列 $X$ の対角成分の和 $x_{11}+x_{22}+\cdots$ を $X$ のトレースといい、$\operatorname{tr}X$ と書く。$X$ が $n\times k$ 行列、$Y$ が $k\times n$ 行列なら、$XY$ は $n$ 次、$YX$ は $k$ 次の正方行列で
$$ \operatorname{tr}(XY)=\sum_{i=1}^{n}\sum_{j=1}^{k}x_{ij}y_{ji}=\sum_{j=1}^{k}\sum_{i=1}^{n}y_{ji}x_{ij}=\operatorname{tr}(YX) $$
が成り立つ（和の順序を入れ替えただけである）。

固有値の和がトレースになることは トレースと固有値 で扱う。

高校の計算は特別な場合

点と直線・平面の距離。 冒頭の距離の公式は、$\overrightarrow{QP_0}$ を「直線の向き $W$」と「法線の向き $W^\perp$」に直交分解し、$W^\perp$ 成分の長さを測ったものである。$\mathbb{R}^3$ の点 $(x_0,y_0,z_0)$ と平面 $ax+by+cz+d=0$ の距離 $\frac{|ax_0+by_0+cz_0+d|}{\sqrt{a^2+b^2+c^2}}$ も、法線 $(a,b,c)$ への正射影として同じ形で出る。
対称な点。 原点を通り $a=(2,1)$ の向きの直線に関して点 $(3,4)$ と対称な点は、$2P-I=\frac15\begin{pmatrix}3&4\\4&-3\end{pmatrix}$ を掛けて $(5,0)$ である。「垂線の足を中点とする点」という高校の求め方は、$v$ と $(2P-I)v$ の中点が $Pv$ であることにほかならない。

例と反例

最小二乗法への応用

データの平均値がずれの 2 乗の和を最小にすることは定数ベクトルへの正射影に当たり、平均値と二乗誤差 で扱う。

解けない連立方程式の「いちばんよい近似解」

4 点 $(0,1),(1,3),(2,4),(3,4)$ の近くを通る直線 $y=\alpha+\beta x$ を求めたい。4 点すべてを通るには
$$ \alpha+0\beta=1,\quad \alpha+1\beta=3,\quad \alpha+2\beta=4,\quad \alpha+3\beta=4 $$
がすべて成り立つ必要があるが、これは解をもたない（最初の 2 式から $\alpha=1,\beta=2$ で、3 式目が $5\ne4$）。行列で書けば $A\theta=y$、
$$ A=\begin{pmatrix}1&0\\1&1\\1&2\\1&3\end{pmatrix},\qquad\theta=\begin{pmatrix}\alpha\\\beta\end{pmatrix},\qquad y=\begin{pmatrix}1\\3\\4\\4\end{pmatrix} $$
であり、$y$ が $A$ の列空間 $W=\operatorname{Im}A$（$\mathbb{R}^4$ の中の 2 次元の部分空間）に入っていないことが、解がない理由である。そこで、誤差の 2 乗和
$$ \sum_{i}\bigl(y_i-(\alpha+\beta x_i)\bigr)^2=|y-A\theta|^2 $$
を最小にする $\theta$ を探す。これが最小二乗法である。$A\theta$ は $W$ の点を動くので、thm-opp-best-approximation により、最小値をとるのは $A\theta=Py$（$y$ の $W$ への正射影）のときである。

数値例

上の 4 点では $A^{\mathsf T}A=\begin{pmatrix}4&6\\6&14\end{pmatrix}$, $A^{\mathsf T}y=\begin{pmatrix}12\\23\end{pmatrix}$ で、正規方程式 $4\alpha+6\beta=12$, $6\alpha+14\beta=23$ を解くと $\alpha=\frac32$, $\beta=1$、つまり直線 $y=\frac32+x$ を得る。残差 $y-A\hat\theta=\bigl(-\frac12,\frac12,\frac12,-\frac12\bigr)$ の 2 乗和は $1$ であり、たとえば直線 $y=1+\frac65x$ や $y=2+\frac45x$ の 2 乗和 $\frac{34}{25}$ より小さい。
残差が $A$ の 2 つの列 $(1,1,1,1)$ と $(0,1,2,3)$ に直交することは、
$$ \sum_i r_i=0,\qquad\sum_i x_ir_i=0\qquad(r_i:=y_i-\alpha-\beta x_i) $$
を意味する。1 つ目から、当てはめた直線は平均の点 $(\bar x,\bar y)=\bigl(\frac32,3\bigr)$ を通る。2 つ目と合わせると、傾きは
$$ \beta=\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sum_i(x_i-\bar x)^2}=\frac55=1 $$
という、統計で習う回帰直線の公式（共分散÷分散）になる。回帰直線の公式は、正射影の条件「残差が列空間に直交する」を成分で書いたものである。
射影行列 $H:=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$（統計では当てはめ値 $Hy$ を与えるので「ハット行列」と呼ばれる）は $4\times4$ の対称行列で $H^2=H$、thm-opp-eigen の 3 により $\operatorname{tr}H=2$ はパラメータの個数 $\alpha,\beta$ に等しい。

数学オリンピックの問題から

国際数学オリンピック（1988 年、キャンベラ）第 1 問を、公式の英文問題（Oly88）から訳して引用する。

同じ平面上に、半径 $R$, $r$（$R>r$）で中心が同じ 2 つの円がある。$P$ を小さい円上の定点、$B$ を大きい円上の動点とする。直線 $BP$ は大きい円と再び $C$ で交わる。$P$ で $BP$ に垂直な直線 $l$ は、小さい円と再び $A$ で交わる（$l$ が $P$ で円に接するときは $A=P$ とする）。

(i) $BC^2+CA^2+AB^2$ のとりうる値の集合を求めよ。

(ii) 線分 $BC$ の中点の軌跡を求めよ。
答は (i) $\{6R^2+2r^2\}$（$B$ によらず一定）、(ii) 線分 $OP$ を直径とする円（$O$ は共通の中心）である。

高校数学で解く

$O$ を原点とし、点をその位置ベクトルと同じ文字で表す。$M$ を $BC$ の中点、$N$ を $AP$ の中点とする。
$A+B+C=P$ を示す。 円の中心から弦に下ろした垂線の足は弦の中点なので、$M$ は $O$ から直線 $BC$ に下ろした垂線の足、$N$ は $O$ から直線 $l$ に下ろした垂線の足である（$A=P$ のときは $l$ は $OP$ に垂直なので、足は $N=P$ で、これも成り立つ）。直線 $BC$ と $l$ は $P$ で垂直に交わるので、四角形 $OMPN$ は $M,P,N$ で直角をもち、長方形（つぶれる場合を含む）である。長方形の対角線は互いの中点で交わるので $M+N=O+P=P$ である。$B+C=2M$, $A+P=2N$ だから
$$ A+B+C=2M+(2N-P)=2(M+N)-P=P. $$
(i) ベクトル $X,Y,Z$ について、展開すると
$$ |X-Y|^2+|Y-Z|^2+|Z-X|^2=3\bigl(|X|^2+|Y|^2+|Z|^2\bigr)-|X+Y+Z|^2 $$
が成り立つ（両辺とも $2\sum|X|^2-2(X\cdot Y+Y\cdot Z+Z\cdot X)$ に等しい）。$|A|=|P|=r$, $|B|=|C|=R$, $A+B+C=P$ を代入すると、$BC^2+CA^2+AB^2=3(r^2+2R^2)-r^2=6R^2+2r^2$ である。
(ii) $M$ は $O$ から直線 $BP$ への垂線の足なので、$M\ne O,P$ なら $\angle OMP=90^\circ$ であり、$M$ は $OP$ を直径とする円の上にある（$M=O$, $M=P$ もこの円の上にある）。逆に、この円上の点 $X$ をとり、$X\ne P$ なら直線 $PX$ を、$X=P$ なら $P$ で $OP$ に垂直な直線を引く。この直線が大きい円と交わる点の一方を $B$ とすれば、$O$ からこの直線への垂線の足は $X$ なので、$BC$ の中点は $X$ である。よって軌跡は円全体である。

大学数学で見る

直線 $BC$ の向きの単位ベクトルを $u$、それに垂直な単位ベクトルを $v$ とする。$\mathbb{R}^2$ は直線 $\{tu\}$ と直線 $\{tv\}$ に直交分解され、それぞれへの射影行列は $uu^{\mathsf T}$, $vv^{\mathsf T}$、その和は $I$ である（thm-opp-eigen の 4 で $P=uu^{\mathsf T}$ とすれば $I-uu^{\mathsf T}=vv^{\mathsf T}$）。

• $O$ から直線 $BC=\{P+tu\}$ への垂線の足は、$P$ から $u$ 方向の成分を取り除いたもの $M=P-(P\cdot u)u=vv^{\mathsf T}P$ である。
• 同様に $O$ から $l=\{P+tv\}$ への垂線の足は $N=P-(P\cdot v)v=uu^{\mathsf T}P$ である。
  したがって高校の解法の「長方形 $OMPN$」は、$P$ の直交分解
  $$ P=uu^{\mathsf T}P+vv^{\mathsf T}P=N+M $$
  そのものである。場合分けも要らない：$BC$ が $O$ を通るとき $M=0$、$l$ が接線のとき $N=P$ となるのは、成分がたまたま $0$ になるだけである。$A=2N-P=(2uu^{\mathsf T}-I)P$ は、$P$ を $O$ を通る $u$ 方向の直線に関して折り返した点である（thm-opp-eigen の 4）。
  (ii) では、$M=vv^{\mathsf T}P=(P\cdot v)v$ は「定点 $P$ を、$O$ を通る直線に正射影した点」であり、$BC$ の向きとともに $v$ はすべての向きを動く。
  $$ \Bigl|(P\cdot v)v-\frac P2\Bigr|^2=(P\cdot v)^2-(P\cdot v)^2+\frac{|P|^2}4=\frac{r^2}4 $$
  なので、$M$ は中心 $\frac P2$、半径 $\frac r2$ の円、つまり $OP$ を直径とする円の上にある。「1 点を $O$ を通るあらゆる直線に正射影した点の全体は、$O$ とその点を直径の両端とする円」という形で、軌跡が直交分解から直接読める。(i) の恒等式の右辺は、3 点の重心 $G=\frac{X+Y+Z}3$ からの距離の 2 乗和の 3 倍 $3\sum|X-G|^2$ に等しい。各点の長さと和 $A+B+C$ さえわかれば距離の 2 乗和が決まるのは、この構造による。

さらに先へ

• 正規直交基底による表示。 $W$ の基底を、長さ $1$ で互いに直交するもの $e_1,\dots,e_k$（正規直交基底。Gram–Schmidt の直交化で作れる）にとると、$A^{\mathsf T}A=I_k$ となり、射影行列は $P=e_1e_1^{\mathsf T}+\cdots+e_ke_k^{\mathsf T}$、正射影は $Pv=(v\cdot e_1)e_1+\cdots+(v\cdot e_k)e_k$ という簡単な形になる（Axl24 の 6.57 (i)、p. 215）。直線への正射影を $k$ 本足し合わせたものである。
• 一般の内積空間。 内積と部分空間があれば、正射影・直交分解・最良近似（Axl24 の 6.55〜6.61、pp. 214–217）は、成分をもたないベクトル空間でもそのまま成り立つ。区間上の関数に積分で内積を入れると、Fourier 級数の部分和は三角多項式のなす部分空間への正射影であり、thm-opp-best-approximation は「Fourier 部分和が 2 乗誤差の意味で最良の近似である」ことになる。無限次元では部分空間が閉じていることなどの条件が要り、Hilbert 空間の射影定理として扱われる（本記事では扱わない）。
• 擬似逆行列と特異値分解。 列が 1 次独立でない場合も、擬似逆行列 $A^{+}$ を使うと $AA^{+}$ が $\operatorname{Im}A$ への射影行列になり、最小二乗解のうち長さ最小のものが $A^{+}y$ で与えられる（Axl24 の 6.69、p. 221 と 6.70、p. 222。本記事では証明しない）。
• 最適化と統計。 最小二乗法は正規方程式という連立 1 次方程式で解ける数少ない最適化問題であり、重み付きや正則化を加えた変種が回帰分析・データ当てはめの基礎になっている（BV04 の §6.1、p. 293）。

関連項目

• 前提: ベクトルの内積, 行列, 1次独立, 固有値
• 前に読む: 空間の平面と法線ベクトル, Cauchy–Schwarzの不等式（高校数学）
• 次に読む: Fourier係数と最良近似
• 関連（高校数学）: 平均値と二乗誤差, トレースと固有値, 相関係数（高校数学）
• 一般化: 直交射影, 直交補空間, 内積空間
• 発展: Hilbert空間, 擬似逆行列, 特異値分解, 最小二乗法, 正規直交基底, Gram–Schmidtの直交化
• 比較: 対角化, 関数の内積（高校数学）