最小二乗法

同義語：最小自乗法least squares methodmethod of least squares

概要

前提知識: 内積空間, 転置行列, 連立1次方程式, 正射影と射影行列

測定値 $(t_1,y_1),\dots,(t_m,y_m)$ に、未知の係数をもつ式 $y=x_1g_1(t)+\cdots+x_ng_n(t)$（たとえば $g_1=1,g_2=t,g_3=t^2$ なら 2 次式）を当てはめたい。データの個数 $m$ が係数の個数 $n$ より多いと、すべての点を通る係数はふつう存在しない。そこで、ずれの 2 乗の和
$$ \sum_{i=1}^m\bigl(y_i-x_1g_1(t_i)-\cdots-x_ng_n(t_i)\bigr)^2 $$
を最小にする係数を選ぶ。これが 最小二乗法（least squares method）である。行列 $A=(g_j(t_i))_{i,j}$ とベクトル $b=(y_i)_i$ を使えば、解けない連立 1 次方程式 $Ax=b$ の「最もよい近似解」を求める問題になる。
最小二乗法の計算は、正規方程式 $A^{\mathsf T}Ax=A^{\mathsf T}b$ を解くこと（thm-ls-normal）、または $A$ の QR 分解と後退代入（thm-ls-qr）に帰着する。誤差が平均 $0$・無相関・等分散なら、得られる推定量は線形な不偏推定量の中で分散が最小になる（Gauss–Markov の定理、thm-ls-gauss-markov）。直線の当てはめを高校数学の道具で扱う方法は散布図と回帰直線に、列が 1 次独立な場合の幾何（正射影）は正射影と射影行列にある。

定義と使える条件

以下、ベクトルは列ベクトルで、$\lvert v\rvert:=\sqrt{v^{\mathsf T}v}$ は $\mathbb R^m$ の標準内積（内積空間の例「数ベクトル空間の標準内積」）の長さである。

最小二乗問題と最小二乗解

$A\in\mathbb R^{m\times n}$、$b\in\mathbb R^m$ とする。$x\in\mathbb R^n$ を動かして
$$ \lvert Ax-b\rvert^2=\sum_{i=1}^m\Bigl(\sum_{j=1}^na_{ij}x_j-b_i\Bigr)^2 $$
を最小にする問題を 最小二乗問題 といい、最小値を達成する $\hat x$ を $Ax=b$ の 最小二乗解 という。$r:=b-A\hat x$ を残差、$\lvert r\rvert^2$ を 残差平方和 という。連立方程式
$$ A^{\mathsf T}Ax=A^{\mathsf T}b $$
を 正規方程式 という。

最小二乗法を使ってよい場面と、得られる答えの性質は次のようになる。

係数について 1 次のモデルであること。$t$ について 1 次でなくてよい（多項式・三角関数・指数関数の 1 次結合でよい）。$y=Ce^{kt}$ のように係数について 1 次でないモデルは、そのままでは最小二乗問題にならない（ex-ls-exponential）。
最小二乗解は いつでも存在する。ただ 1 つ に決まるのは $A$ の列が 1 次独立なとき（$m\ge n$ が必要）に限る（thm-ls-normal）。
統計的な最適性（Gauss–Markov の定理）には、誤差について 平均 $0$・無相関・等分散 が要る。これが崩れると、重みを付けた最小二乗法のほうがよい（thm-ls-gauss-markov と反例の表）。

主定理と証明

正規方程式

最小二乗解と正規方程式

$A\in\mathbb R^{m\times n}$、$b\in\mathbb R^m$ とする（$A$ の階数は問わない）。

$\hat x$ が最小二乗解であることと、$\hat x$ が正規方程式 $A^{\mathsf T}A\hat x=A^{\mathsf T}b$ を満たすことは同値である。これは残差が $A$ のすべての列と直交すること $A^{\mathsf T}(b-A\hat x)=0$ とも同値である。
正規方程式はつねに解をもつ。最小二乗解の全体は $\hat x+\ker A$ であり、当てはめ値 $A\hat x$ と残差 $r=b-A\hat x$ は最小二乗解の選び方によらない。
最小二乗解がただ 1 つであることは、$A$ の列が 1 次独立であること、$A^{\mathsf T}A$ が正則であることのそれぞれと同値である。このとき $\hat x=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$ である。
$\lvert b\rvert^2=\lvert A\hat x\rvert^2+\lvert r\rvert^2$ であり、残差平方和は $\lvert r\rvert^2=\lvert b\rvert^2-b^{\mathsf T}A\hat x$ である。

直交性と、像と核の直交関係

正規方程式の解は最小値を与える。 $\hat x$ が $A^{\mathsf T}(b-A\hat x)=0$ を満たすとする。任意の $x$ について $Ax-b=A(x-\hat x)+(A\hat x-b)$ と分けると、交差項は $2(x-\hat x)^{\mathsf T}A^{\mathsf T}(A\hat x-b)=0$ なので
$$ \lvert Ax-b\rvert^2=\lvert A(x-\hat x)\rvert^2+\lvert A\hat x-b\rvert^2\ge\lvert A\hat x-b\rvert^2 $$
である。したがって $\hat x$ は最小二乗解であり、$x$ も最小二乗解であるのは $A(x-\hat x)=0$、すなわち $x\in\hat x+\ker A$ のとき、かつそのときに限る。
正規方程式は解をもつ。 $M:=A^{\mathsf T}A$ は対称行列である。$y\in\mathbb R^n$ が $M$ の像 $\operatorname{Im}M$ のすべての元と直交することは、すべての $x$ で $y^{\mathsf T}Mx=(My)^{\mathsf T}x=0$ となること、すなわち $My=0$ と同値なので、$(\operatorname{Im}M)^\perp=\ker M$ である。さらに $My=0$ なら $\lvert Ay\rvert^2=y^{\mathsf T}My=0$ なので $\ker M=\ker A$ である（逆の包含は明らか）。一方、$z\in\ker A$ なら $z^{\mathsf T}A^{\mathsf T}b=(Az)^{\mathsf T}b=0$ なので、$A^{\mathsf T}b\in(\ker A)^\perp=\bigl((\operatorname{Im}M)^\perp\bigr)^\perp$ である。
有限次元の部分空間 $W$ について $(W^\perp)^\perp=W$ である。実際、内積空間の定理「直交分解と最良近似」の 2 により $v\in(W^\perp)^\perp$ は $v=w+z$（$w\in W$、$z\in W^\perp$）と書け、$0=v^{\mathsf T}z=w^{\mathsf T}z+z^{\mathsf T}z=\lvert z\rvert^2$ なので $v=w\in W$ である（逆の包含は明らか）。よって $A^{\mathsf T}b\in\operatorname{Im}M$、つまり正規方程式は解をもつ。
1 と 2 の残り。 正規方程式の解 $\hat x_0$ を 1 つとる。最初の段落により、最小二乗解の全体は $\hat x_0+\ker A$ である。$\ker A=\ker M$ だから、これは正規方程式の解の全体と一致する。よって 1 の同値と 2 を得る。当てはめ値 $A\hat x$ は $\hat x_0+\ker A$ の上で一定で、残差も一定である。
3。最小二乗解がただ 1 つ $\iff\ker A=\{0\}\iff$ $A$ の列が 1 次独立、であり、$\ker A=\ker M$ と $M$ が正方行列であることから $\iff M$ が正則、である。このとき正規方程式の解は $M^{-1}A^{\mathsf T}b$ である。
4。 $b=A\hat x+r$ で $(A\hat x)^{\mathsf T}r=\hat x^{\mathsf T}A^{\mathsf T}r=0$ なので、三平方の定理により $\lvert b\rvert^2=\lvert A\hat x\rvert^2+\lvert r\rvert^2$ である。また $\lvert A\hat x\rvert^2=\hat x^{\mathsf T}A^{\mathsf T}A\hat x=\hat x^{\mathsf T}A^{\mathsf T}b=b^{\mathsf T}A\hat x$ である。$\blacksquare$

列が 1 次独立な場合のこの定理は正射影と射影行列の定理「最小二乗解と正規方程式」でもあり、そこでは当てはめ値 $A\hat x$ が $b$ の列空間への正射影であることを使って示している。列が 1 次独立でないときは、最小二乗解の中でノルムが最小のものが Moore–Penrose 逆行列 $A^+$ で $A^+b$ と書ける（Moore–Penrose逆行列の定理「最小二乗解とその最小ノルム性」）。正規方程式の導出は VMLS18 §12.2（(12.4)・(12.5)、p. 229）にもあり、そこでは列が 1 次独立な場合を勾配が $0$ になる条件として求めている。

QR 分解による解法

$A$ の列 $a_1,\dots,a_n$ が 1 次独立なら、Gram–Schmidt の直交化（Gram–Schmidtの直交化の定理「Gram–Schmidtの直交化の基本定理」）で正規直交系 $q_1,\dots,q_n$ が得られ、各 $j$ で $a_1,\dots,a_j$ と $q_1,\dots,q_j$ は同じ部分空間を張る。したがって $a_j=\sum_{i\le j}r_{ij}q_i$（$r_{ij}=q_i^{\mathsf T}a_j$）と書け、$r_{jj}$ は $a_j$ から $q_1,\dots,q_{j-1}$ の成分を除いたベクトルの長さで正である。行列で書けば
$$ A=QR,\qquad Q=(q_1\ \cdots\ q_n)\in\mathbb R^{m\times n},\quad Q^{\mathsf T}Q=I_n,\quad R=(r_{ij})\ \text{は対角成分が正の上三角行列} $$
である。これを $A$ の QR 分解 という。

QR 分解による最小二乗解

$A\in\mathbb R^{m\times n}$ の列が 1 次独立で、$A=QR$ をその QR 分解とする。$b\in\mathbb R^m$ について、最小二乗解は上三角の連立方程式
$$ R\hat x=Q^{\mathsf T}b $$
のただ 1 つの解であり、残差平方和は $\lvert b-A\hat x\rvert^2=\lvert b\rvert^2-\lvert Q^{\mathsf T}b\rvert^2$ である。当てはめ値は $A\hat x=QQ^{\mathsf T}b$ である。

正規方程式を R で割る

$Q^{\mathsf T}Q=I_n$ から $A^{\mathsf T}A=R^{\mathsf T}Q^{\mathsf T}QR=R^{\mathsf T}R$、$A^{\mathsf T}b=R^{\mathsf T}Q^{\mathsf T}b$ である。$R$ は対角成分が正の上三角行列なので正則で、$R^{\mathsf T}$ も正則である。よって正規方程式 $R^{\mathsf T}Rx=R^{\mathsf T}Q^{\mathsf T}b$ は $Rx=Q^{\mathsf T}b$ と同値であり、thm-ls-normal の 1 と 3 により、その解 $\hat x$ がただ 1 つの最小二乗解である。$A\hat x=QR\hat x=QQ^{\mathsf T}b$ で、$\lvert QQ^{\mathsf T}b\rvert^2=b^{\mathsf T}QQ^{\mathsf T}QQ^{\mathsf T}b=\lvert Q^{\mathsf T}b\rvert^2$ なので、thm-ls-normal の 4 から残差平方和の式を得る。$\blacksquare$

$R$ は上三角なので、$R\hat x=Q^{\mathsf T}b$ は最後の行から順に $\hat x_n,\hat x_{n-1},\dots$ と解ける（後退代入）。この手順は VMLS18 Algorithm 12.1（p. 232）にある。
正規方程式を直接作る方法と比べたときの違いは、条件数に現れる。列が 1 次独立な $A$ について $\sigma_{\max}(A):=\max_{\lvert x\rvert=1}\lvert Ax\rvert$、$\sigma_{\min}(A):=\min_{\lvert x\rvert=1}\lvert Ax\rvert>0$ とおき、$\kappa(A):=\sigma_{\max}(A)/\sigma_{\min}(A)$ を $A$ の 条件数 という。正則な正方行列 $M$ の連立方程式 $My=c$ では、右辺を $\delta c$ だけ変えたときの解の変化 $\delta y$ が $\frac{\lvert\delta y\rvert}{\lvert y\rvert}\le\kappa(M)\frac{\lvert\delta c\rvert}{\lvert c\rvert}$ を満たす（$\lvert\delta y\rvert\le\lvert\delta c\rvert/\sigma_{\min}(M)$ と $\lvert c\rvert\le\sigma_{\max}(M)\lvert y\rvert$ による）ので、$\kappa$ はデータの誤差が何倍に拡大されうるかを表す。

正規方程式の条件数

$A$ の列が 1 次独立なら $\kappa(A^{\mathsf T}A)=\kappa(A)^2$ である。

固有値で書く

$M:=A^{\mathsf T}A$ は実対称行列なので、スペクトル定理の定理「有限次元の自己共役スペクトル定理」により、正規直交基底 $v_1,\dots,v_n$ と実数 $\lambda_1\ge\cdots\ge\lambda_n$ で $Mv_i=\lambda_iv_i$ となるものがある。$x=\sum c_iv_i$（$\sum c_i^2=1$）について $\lvert Ax\rvert^2=x^{\mathsf T}Mx=\sum\lambda_ic_i^2$、$\lvert Mx\rvert^2=\sum\lambda_i^2c_i^2$ である。$\lambda_n=\lvert Av_n\rvert^2>0$（列が 1 次独立なので $Av_n\ne0$）だからすべての $\lambda_i$ は正であり、最大・最小は $x=v_1$、$x=v_n$ でとられる。よって $\sigma_{\max}(A)^2=\lambda_1$、$\sigma_{\min}(A)^2=\lambda_n$、$\sigma_{\max}(M)=\lambda_1$、$\sigma_{\min}(M)=\lambda_n$ であり、$\kappa(M)=\lambda_1/\lambda_n=\kappa(A)^2$ である。$\blacksquare$

たとえば $t=1,2,\dots,10$ に 5 次多項式を当てはめる $10\times6$ 行列 $A=(t_i^{\,j-1})$ では $\kappa(A)\approx1.47\times10^6$、$\kappa(A^{\mathsf T}A)\approx2.15\times10^{12}$ である。正規方程式を経由すると、データや計算の途中の丸めの小さな誤差が、この 2 乗の倍率で拡大されうる。QR 分解の方法で解く上三角の方程式 $R\hat x=Q^{\mathsf T}b$ では、$\lvert Rx\rvert=\lvert QRx\rvert=\lvert Ax\rvert$ から $\kappa(R)=\kappa(A)$ であり、係数行列の条件数は 2 乗にならない。

統計的な性質：Gauss–Markov の定理

観測が $b=A\beta+\varepsilon$（$\beta\in\mathbb R^n$ は未知の真の係数、$\varepsilon$ は確率変数を成分とする誤差のベクトル）と書けるとし、$A$ の列は 1 次独立とする。最小二乗解 $\hat\beta:=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$ を $\beta$ の 最小二乗推定量 という。確率変数のベクトル $u$ の期待値 $E[u]$ は成分ごとに、共分散行列は $\operatorname{Cov}(u):=E\bigl[(u-E[u])(u-E[u])^{\mathsf T}\bigr]$ と定める。期待値の線形性から、定数行列 $C$ について $E[Cu]=CE[u]$、$\operatorname{Cov}(Cu)=C\operatorname{Cov}(u)C^{\mathsf T}$ である。

Gauss–Markov の定理

$E[\varepsilon]=0$、$\operatorname{Cov}(\varepsilon)=\sigma^2I_m$（誤差は平均 $0$、無相関、等分散）とする。

$E[\hat\beta]=\beta$ であり、$\operatorname{Cov}(\hat\beta)=\sigma^2(A^{\mathsf T}A)^{-1}$ である。
$C\in\mathbb R^{n\times m}$ による推定量 $\tilde\beta=Cb$ が、どの $\beta$ についても $E[\tilde\beta]=\beta$ を満たす（線形な不偏推定量である）とする。このとき $\operatorname{Cov}(\tilde\beta)-\operatorname{Cov}(\hat\beta)$ は半正定値である。とくに、すべての $c\in\mathbb R^n$ について $V[c^{\mathsf T}\tilde\beta]\ge V[c^{\mathsf T}\hat\beta]$ である。

差の行列が直交することを使う

$L:=(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ とおくと $LA=I_n$ である。
1：$\hat\beta=Lb=LA\beta+L\varepsilon=\beta+L\varepsilon$ なので $E[\hat\beta]=\beta$ であり、$\operatorname{Cov}(\hat\beta)=L(\sigma^2I_m)L^{\mathsf T}=\sigma^2(A^{\mathsf T}A)^{-1}A^{\mathsf T}A(A^{\mathsf T}A)^{-1}=\sigma^2(A^{\mathsf T}A)^{-1}$ である。
2：$E[Cb]=CA\beta$ がすべての $\beta$ で $\beta$ に等しいので $CA=I_n$ である。$D:=C-L$ とおくと $DA=CA-LA=0$ であり、
$$ LD^{\mathsf T}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}D^{\mathsf T}=(A^{\mathsf T}A)^{-1}(DA)^{\mathsf T}=0 $$
である。$\tilde\beta=Cb=\beta+C\varepsilon$ だから
$$ \operatorname{Cov}(\tilde\beta)=\sigma^2CC^{\mathsf T}=\sigma^2(L+D)(L+D)^{\mathsf T}=\sigma^2\bigl(LL^{\mathsf T}+LD^{\mathsf T}+DL^{\mathsf T}+DD^{\mathsf T}\bigr)=\operatorname{Cov}(\hat\beta)+\sigma^2DD^{\mathsf T} $$
である。$c^{\mathsf T}DD^{\mathsf T}c=\lvert D^{\mathsf T}c\rvert^2\ge0$ なので差は半正定値であり、$V[c^{\mathsf T}\tilde\beta]=c^{\mathsf T}\operatorname{Cov}(\tilde\beta)c$ から最後の主張が従う。$\blacksquare$

誤差の分散の不偏推定

thm-ls-gauss-markov の仮定のもとで $m>n$ とし、$r:=b-A\hat\beta$ とすると $E\bigl[\lvert r\rvert^2\bigr]=(m-n)\sigma^2$ である。したがって $s^2:=\frac{\lvert r\rvert^2}{m-n}$ は $\sigma^2$ の不偏推定量である。

トレースで数える

$H:=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ とおくと、$H$ は対称で $H^2=H$、$HA=A$ である。$r=(I-H)b=(I-H)(A\beta+\varepsilon)=(I-H)\varepsilon$ であり、$I-H$ も対称で $(I-H)^2=I-H$ なので $\lvert r\rvert^2=\varepsilon^{\mathsf T}(I-H)\varepsilon=\sum_{i,j}(I-H)_{ij}\varepsilon_i\varepsilon_j$ である。$E[\varepsilon_i\varepsilon_j]=\sigma^2\delta_{ij}$ だから $E[\lvert r\rvert^2]=\sigma^2\operatorname{tr}(I-H)=\sigma^2(m-\operatorname{tr}H)$ であり、$\operatorname{tr}(XY)=\operatorname{tr}(YX)$ により $\operatorname{tr}H=\operatorname{tr}\bigl((A^{\mathsf T}A)^{-1}A^{\mathsf T}A\bigr)=\operatorname{tr}I_n=n$ である。$\blacksquare$

$m$ ではなく $m-n$ で割るのは、$n$ 個の係数をデータに合わせて選んだぶん、残差が誤差より小さくなるからである（$n=1$、$A$ がすべて $1$ の列のときは、標本分散を $m-1$ で割ることにあたる。分散の命題「標本分散の期待値」）。誤差が互いに独立に正規分布 $N(0,\sigma^2)$ に従うなら、$b$ の密度は $\exp\bigl(-\lvert b-A\beta\rvert^2/(2\sigma^2)\bigr)$ に比例するので、密度（尤度）を最大にする $\beta$ は最小二乗解と一致する（正規分布）。

公式の表

量・問題	公式	使える条件	根拠
最小二乗解	$A^{\mathsf T}A\hat x=A^{\mathsf T}b$ の解	いつでも（解は $\hat x+\ker A$）	thm-ls-normal
一意な最小二乗解	$\hat x=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$	列が 1 次独立	thm-ls-normal
QR 分解を使う解	$R\hat x=Q^{\mathsf T}b$ を後退代入	列が 1 次独立	thm-ls-qr
残差平方和	$\lvert b\rvert^2-b^{\mathsf T}A\hat x=\lvert b\rvert^2-\lvert Q^{\mathsf T}b\rvert^2$	列が 1 次独立（前者はいつでも）	thm-ls-normal, thm-ls-qr
当てはめ値	$Hb$、$H=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=QQ^{\mathsf T}$	列が 1 次独立	thm-ls-qr, 正射影と射影行列
直線 $y=\alpha+\beta t$	$\beta=\frac{\sum(t_i-\bar t)(y_i-\bar y)}{\sum(t_i-\bar t)^2}$、$\alpha=\bar y-\beta\bar t$	$t_i$ がすべて等しくはない	散布図と回帰直線
重み付き（重み $w_i>0$）	$A^{\mathsf T}WA\,x=A^{\mathsf T}Wb$、$W=\operatorname{diag}(w_i)$	いつでも	thm-ls-normal を $W^{1/2}A$、$W^{1/2}b$ に使う
正則化（$\lvert Ax-b\rvert^2+\lambda\lvert x\rvert^2$ の最小）	$(A^{\mathsf T}A+\lambda I)x=A^{\mathsf T}b$（解はただ 1 つ）	$\lambda>0$	thm-ls-normal を $\binom{A}{\sqrt\lambda I}$、$\binom b0$ に使う
最小ノルムの最小二乗解	$A^+b$	いつでも	Moore–Penrose逆行列
推定量の共分散	$\operatorname{Cov}(\hat\beta)=\sigma^2(A^{\mathsf T}A)^{-1}$	誤差が平均 $0$・無相関・等分散	thm-ls-gauss-markov
誤差の分散の推定	$s^2=\lvert r\rvert^2/(m-n)$	同上、$m>n$	prop-ls-sigma

重み付きの行は $\sum_iw_i(\cdots)^2=\lvert W^{1/2}(Ax-b)\rvert^2$ と書き直したもの、正則化の行は $\lvert Ax-b\rvert^2+\lambda\lvert x\rvert^2=\bigl\lvert\binom{A}{\sqrt\lambda I}x-\binom b0\bigr\rvert^2$ と書き直したもので、積み上げた行列の列は $\sqrt\lambda I$ の部分のため 1 次独立である（正則化は VMLS18 §15.4、p. 325）。

計算の手順

モデルを決める。 基底関数 $g_1,\dots,g_n$ を選び、$A=(g_j(t_i))$、$b=(y_i)$ を作る。係数について 1 次でないモデルは、変数変換で 1 次にできても別の問題になることに注意する（ex-ls-exponential）。
列が 1 次独立かを確かめる。 $m\ge n$ で、$A$ の列が 1 次独立なら解はただ 1 つ。そうでなければ、基底関数を減らすか、最小ノルムの解 $A^+b$ か正則化を使う。
解く。 手計算で $n$ が小さいなら正規方程式。数値計算では $A=QR$ を求め、$Q^{\mathsf T}b$ を計算し、$R\hat x=Q^{\mathsf T}b$ を後退代入で解く（thm-ls-qr）。
当てはまりを調べる。 残差 $r=b-A\hat x$、残差平方和 $\lvert r\rvert^2$、誤差の分散の推定値 $s^2=\lvert r\rvert^2/(m-n)$ を求める。モデルが定数項を含むときは、決定係数 $1-\lvert r\rvert^2/\sum_i(y_i-\bar y)^2$ も目安になる。
残差を見る。 残差に規則的な形（曲がり、$t$ とともに広がる散らばり）があれば、モデルか等分散の仮定を見直す。

例題

2 次式の当てはめ

5 点 $(t,y)=(-2,5),(-1,2),(0,1),(1,2),(2,4)$ に $y=c_0+c_1t+c_2t^2$ を当てはめる。
使う公式：thm-ls-normal、prop-ls-sigma。
答え：$c_0=\frac{38}{35}$、$c_1=-\frac15$、$c_2=\frac67$。残差平方和 $\frac4{35}\approx0.11429$、$s^2=\frac{4/35}{5-3}=\frac2{35}\approx0.057143$、$t=0.5$ での値は $\frac65=1.2$。

途中の計算を開く

$t$ の値が $0$ について対称なので $\sum t_i=\sum t_i^3=0$ で、$\sum1=5$、$\sum t_i^2=10$、$\sum t_i^4=34$。$A^{\mathsf T}A=\begin{pmatrix}5&0&10\\0&10&0\\10&0&34\end{pmatrix}$、$A^{\mathsf T}b=(\sum y_i,\sum t_iy_i,\sum t_i^2y_i)=(14,-2,40)$。正規方程式は $5c_0+10c_2=14$、$10c_1=-2$、$10c_0+34c_2=40$。1 本目の 2 倍を 3 本目から引いて $14c_2=12$、$c_2=\frac67$、$c_0=\frac{14-60/7}5=\frac{38}{35}$。残差は $\bigl(\frac3{35},-\frac17,-\frac3{35},\frac9{35},-\frac4{35}\bigr)$ で、2 乗の和は $\frac{9+25+9+81+16}{1225}=\frac{140}{1225}=\frac4{35}$。残差の和と、$t_i$・$t_i^2$ を掛けた和が $0$ になる（残差が $A$ の列と直交する）ことも確かめられる。

QR 分解による直線の当てはめ

3 点 $(1,1),(2,2),(3,2)$ に $y=x_1+x_2t$ を当てはめる。
使う公式：thm-ls-qr。
答え：$Q=\begin{pmatrix}1/\sqrt3&-1/\sqrt2\\1/\sqrt3&0\\1/\sqrt3&1/\sqrt2\end{pmatrix}$、$R=\begin{pmatrix}\sqrt3&2\sqrt3\\0&\sqrt2\end{pmatrix}$、$\hat x=\bigl(\frac23,\frac12\bigr)$、つまり $y=\frac23+\frac t2$。残差平方和 $\frac16\approx0.16667$。

途中の計算を開く

$a_1=(1,1,1)$、$a_2=(1,2,3)$。$r_{11}=\lvert a_1\rvert=\sqrt3$、$q_1=a_1/\sqrt3$。$r_{12}=q_1^{\mathsf T}a_2=6/\sqrt3=2\sqrt3$、$a_2-r_{12}q_1=(1,2,3)-(2,2,2)=(-1,0,1)$、$r_{22}=\sqrt2$、$q_2=(-1,0,1)/\sqrt2$。$b=(1,2,2)$ について $Q^{\mathsf T}b=(5/\sqrt3,1/\sqrt2)$。後退代入：$\sqrt2\,x_2=1/\sqrt2$ から $x_2=\frac12$、$\sqrt3\,x_1+2\sqrt3\cdot\frac12=5/\sqrt3$ から $x_1=\frac23$。残差平方和は $\lvert b\rvert^2-\lvert Q^{\mathsf T}b\rvert^2=9-\bigl(\frac{25}3+\frac12\bigr)=\frac16$ で、残差 $\bigl(-\frac16,\frac13,-\frac16\bigr)$ の 2 乗の和と一致する。

指数関数のモデルと対数をとった当てはめ

4 点 $(t,y)=(0,1),(1,2),(2,5),(3,8)$ に $y=Ce^{kt}$ を当てはめる。
答え：$\log y=\log C+kt$ に直線を当てはめると $C\approx1.0226$、$k\approx0.71546$ で、元のずれの 2 乗の和は $\approx1.0895$。一方、$\sum(y_i-Ce^{kt_i})^2$ を直接最小にすると $C\approx1.2638$、$k\approx0.62268$ で、2 乗の和は $\approx0.60113$ である。
対数をとった当てはめは、$\log y$ のずれの 2 乗の和を最小にする別の問題の答えで、元のずれの 2 乗の和を最小にはしない。後者は係数について 1 次でない（非線形最小二乗）問題で、反復法で解く（VMLS18 §18.2 の Gauss–Newton 法、p. 386）。対数の当てはめは反復の初期値として使える。

列が 1 次独立でない場合

$A=\begin{pmatrix}1&1\\1&1\\1&1\end{pmatrix}$、$b=(1,2,4)$ とする。
答え：正規方程式は $3x_1+3x_2=7$ の 1 本だけになり、最小二乗解の全体は直線 $x_1+x_2=\frac73$（$=\hat x+\ker A$、$\ker A$ は $(1,-1)$ の倍数）である。当てはめ値はどの解でも $(\frac73,\frac73,\frac73)$ で、残差平方和は $\frac{14}3\approx4.6667$。ノルム最小の解は $A^+b=\bigl(\frac76,\frac76\bigr)$ である。

使える条件と反例

外す条件	反例	成り立たなくなること
thm-ls-normal の 3 で列が 1 次独立	ex-ls-rank-deficient	最小二乗解が一意でない
thm-ls-gauss-markov で等分散	$m=2$、$A=\binom11$、$V[\varepsilon_1]=1$、$V[\varepsilon_2]=100$（無相関）	最小二乗推定量（平均）の分散 $25.25$ より、重み付きの推定量の分散 $\approx0.990$ が小さい
thm-ls-gauss-markov で無相関	$m=3$、$A$ はすべて $1$ の列、$\varepsilon_1=\varepsilon_2$、$\varepsilon_3$ は独立、分散はどれも $1$	平均の分散 $\frac59$ より $\frac{b_1+b_3}2$ の分散 $\frac12$ が小さい
thm-ls-gauss-markov で推定量が線形	$m=3$、$A$ はすべて $1$ の列、$\varepsilon_i$ は独立に $\pm1$ を確率 $\frac12$ ずつ	非線形な推定量 $\frac{\min_ib_i+\max_ib_i}2$ の分散 $\frac14$ が平均の分散 $\frac13$ より小さい

表の反例の確かめ

4 つの反例の確かめを開く

1 行目：ex-ls-rank-deficient で、最小二乗解が直線をなすことを確かめた。

2 行目：最小二乗推定量は $\hat\beta=\frac{b_1+b_2}2$ で、分散は $\frac{1+100}4=25.25$。$\tilde\beta=\frac{100b_1+b_2}{101}$ は $\frac{100+1}{101}=1$ を係数の和にもつので不偏で、分散は $\frac{100^2\cdot1+1\cdot100}{101^2}=\frac{100}{101}\approx0.990$。誤差は平均 $0$・無相関なので、外れているのは等分散だけである。

3 行目：$\operatorname{Cov}(\varepsilon)=\begin{pmatrix}1&1&0\\1&1&0\\0&0&1\end{pmatrix}$。平均の分散は $\frac19(1+1+1+2\cdot1)=\frac59$、$\frac{b_1+b_3}2$ の分散は $\frac14(1+1)=\frac12$ で、どちらも係数の和が $1$ なので不偏である。分散はすべて $1$ で等しく、外れているのは無相関性だけである。

4 行目：誤差は平均 $0$・分散 $1$・独立（したがって無相関）で、thm-ls-gauss-markov の仮定を満たし、最小二乗推定量は平均 $\bar b$ で分散 $\frac13$ である。3 つの誤差がすべて等しくなければ $\min_ib_i=\beta-1$、$\max_ib_i=\beta+1$ なので、$\frac{\min+\max}2=\beta$ がちょうど得られる。すべて $+1$ またはすべて $-1$（確率 $\frac18$ ずつ）のときだけ $\beta\pm1$ になる。よって期待値は $\beta$（不偏）で分散は $\frac14$ である。この推定量は $b$ の 1 次式でないので、定理と矛盾しない。

よくある誤り

誤り	正しくは	なぜ
数値計算で $(A^{\mathsf T}A)^{-1}$ を作って掛ける	QR 分解で $R\hat x=Q^{\mathsf T}b$ を解く	条件数が 2 乗になる（prop-ls-cond）
対数をとって直線を当てはめた結果を、元の式の最小二乗解とみなす	別の問題の答え。元の誤差で測るなら非線形最小二乗	ex-ls-exponential
列が 1 次独立でないのに $(A^{\mathsf T}A)^{-1}$ を使う	解は $\hat x+\ker A$ の全体。1 つ選ぶなら $A^+b$	ex-ls-rank-deficient
誤差の分散を $\lvert r\rvert^2/m$ で推定する	$\lvert r\rvert^2/(m-n)$	prop-ls-sigma
$t$ から $y$ への直線と $y$ から $t$ への直線を同じとみなす	2 本は一般に異なる	散布図と回帰直線の例「反例：$x$ と $y$ を入れ替えると別の直線になる」

補足

関数空間での最小二乗法。 有限個のデータの代わりに区間上の関数 $f$ を、関数 $g_1,\dots,g_n$ の 1 次結合で $\int(f-\sum x_jg_j)^2$ が最小になるように近似する問題も、内積空間の定理「直交分解と最良近似」で同じように解ける。$g_j$ が三角関数なら、答えは Fourier級数の部分和になる。
名前。 最小二乗法は 19 世紀の初めに Gauss と Legendre が独立に見いだした（VMLS18 p. 225）。データ解析の文脈では、最小二乗法による係数の推定を線形回帰、回帰分析とも呼ぶ。