6-6 最小二乗法
読み始める前の問い
測定誤差のため全点を通る直線がないとき、最もよい直線をどう決めればよいだろうか。
このページでできるようになること
最小二乗解を射影・正規方程式・QR分解の三つの姿で求められるようになる。
解のない方程式を最良近似へ変える
$A\in M_{m,n}(\mathbb{R})$、$b\in\mathbb{R}^m$ とする。$Ax=b$ に解がないときも
$$\|Ax-b\|$$
を最小にする $x$ を探せる。$Ax$ は列空間 $\operatorname{Im}A$ を動くので、これは $b$ を列空間へ直交射影する問題である。
証明を読む前の見取り図
残差が列空間へ直交する必要十分条件を立て、$A^*(Ax-b)=0$ を導く。
$x_0$ が $\|Ax-b\|$ を最小にすることと
$$A^\mathsf T A x_0=A^\mathsf Tb$$
を満たすことは同値である。この式を正規方程式という。解は必ず存在し、$Ax_0$ は一意である。$A$ の列が一次独立なら $x_0$ 自身も一意で
$$x_0=(A^\mathsf TA)^{-1}A^\mathsf Tb$$
である。
$Ax_0$ が $b$ に最も近い列空間内の点であることと、残差 $r=b-Ax_0$ が列空間に直交することは、直交射影の定理から同値である。$A$ の各列を $a_j$ とすれば、全列への直交条件は
$$a_j^\mathsf T(b-Ax_0)=0\quad(1\le j\le n),$$
すなわち $A^\mathsf T(b-Ax_0)=0$ であり、正規方程式を得る。
直交射影は必ず存在し一意なので $Ax_0$ は一意である。ただし同じ像を与える $x_0$ は複数あり得る。列が一次独立なら $A^\mathsf TAx=0$ から
$$0=x^\mathsf TA^\mathsf TAx=\|Ax\|^2$$
となり $Ax=0$、さらに $x=0$。よって $A^\mathsf TA$ は可逆で公式が従う。
直線をデータへ当てはめる
点 $(0,1),(1,2),(2,2)$ に直線 $y=\alpha+\beta t$ を当てはめる。
$$A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix},\quad
x=\begin{pmatrix}\alpha\\\beta\end{pmatrix},\quad
b=\begin{pmatrix}1\\2\\2\end{pmatrix}.$$
正規方程式は
$$
\begin{pmatrix}3&3\\3&5\end{pmatrix}
\begin{pmatrix}\alpha\\\beta\end{pmatrix}
=\begin{pmatrix}5\\6\end{pmatrix}.
$$
第1式を $3$ で割ると $\alpha+\beta=5/3$。第2式から第1式を引いて $2\beta=1$、ゆえに
$$\beta=\frac12,\qquad \alpha=\frac76.$$
予測値は $(7/6,5/3,13/6)^\mathsf T$、残差は $(-1/6,1/3,-1/6)^\mathsf T$ である。残差の成分和と $t$ を掛けた和はいずれも $0$ となり、$A^\mathsf Tr=0$ を検算できる。
QR分解による解法
$A=QR$ で $Q^\mathsf TQ=I$ なら、正規方程式を二度掛けて条件数を悪化させず
$$Rx=Q^\mathsf Tb$$
という上三角系を解ける。理論上は同じ射影だが、数値計算では通常こちらが安定である。
反例：係数は一意とは限らない
$A=(1\ 1)$、$b=1$ なら $x_1+x_2=1$ を満たすすべての $x$ で残差は零になる。最良近似点 $Ax=1$ は一意でも、係数 $x$ は一意でない。列独立という仮定が必要である。
演習
原点を通る直線 $y=\beta t$ を点 $(1,1),(2,2),(3,2)$ に最小二乗で当てはめよ。
$A=(1,2,3)^\mathsf T$、$b=(1,2,2)^\mathsf T$ だから
$$A^\mathsf TA=1+4+9=14,\qquad A^\mathsf Tb=1+4+6=11.$$
よって $14\beta=11$、$\beta=11/14$ である。
次ページでは、長さを保つ座標変換を実直交行列で記述する。転置行列を一般の内積空間へ広げる随伴作用素は続編の「線形代数学II」で扱う。
このページで回収したもの
解なしの方程式が最良近似問題へ変わり、データから規則を推定できる。
次へ持ち越す問い
この見方を、次のページではより広い対象またはより計算しやすい形へ移す。
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
