Gauss–Markovの定理
概要
Gauss–Markovの定理（Gauss–Markov theorem）とは、線形モデル $b=A\beta+\varepsilon$（$A$ は列が 1 次独立な既知の実行列）で誤差が平均 $0$・無相関・等分散のとき、最小二乗推定量 $\hat\beta=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$ が、$b$ の 1 次式で表される不偏推定量の中で共分散行列が最小（半正定値の順序で）になる、という定理である。とくに $\beta$ のどの 1 次結合についても、最小二乗推定量から作る推定量の分散が最小になる。誤差の分布の形は問わないが、1 次式でない推定量や偏りのある推定量、等分散・無相関でない誤差では、一般には成り立たない。
Gauss–Markovの定理（Gauss–Markov theorem）とは、線形モデル $b=A\beta+\varepsilon$ において誤差 $\varepsilon$ の成分が平均 $0$・無相関・等分散であるとき、最小二乗推定量 $\hat\beta=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$ が、観測値 $b$ の 1 次式で表される不偏推定量の中で共分散行列が最小になる、という定理である。ここで $A$ は列が 1 次独立な既知の実行列、$\beta$ は未知の係数のベクトルである。「最小」は半正定値行列の順序の意味であり、とくに $\beta$ のどの 1 次結合 $c^{\mathsf T}\beta$ についても、$c^{\mathsf T}\hat\beta$ の分散は $c^{\mathsf T}\beta$ のほかの線形不偏推定量の分散を超えない。この性質をもつ推定量を 最良線形不偏推定量（best linear unbiased estimator, BLUE）という。
定理の仮定は誤差の平均と共分散行列だけで、誤差の分布が正規分布であることも、独立であることも要らない。一方で、比べる相手は「$b$ の 1 次式」で「不偏」なものに限られる。1 次式でない推定量や、偏りのある推定量には、分散がもっと小さいものが一般にはありうる。また誤差が等分散でなかったり相関をもったりすると、最小二乗推定量は一般には最良でなくなる。誤差の共分散行列が既知の正定値行列の定数倍なら、その行列で重みを付けた推定量（一般化最小二乗推定量）が最良になる。
この記事では、線形不偏性の条件を行列の等式に直し、主定理を「行ベクトルの直交分解」として証明する。続いて、1 次結合 $c^{\mathsf T}\beta$ の推定の形、誤差の共分散が一般の正定値行列の場合を述べ、仮定を 1 つずつ外した反例を挙げる。
設定と記号
ベクトルは列ベクトルとし、$\lvert v\rvert:=\sqrt{v^{\mathsf T}v}$ と書く。確率変数を成分とするベクトル $u=(u_1,\dots,u_k)^{\mathsf T}$ で各成分の 2 乗の期待値が有限なものについて、期待値 $E[u]$ は成分ごとにとり、
$$
\operatorname{Cov}[u]:=\bigl(\mathrm{Cov}[u_i,u_j]\bigr)_{1\le i,j\le k}
$$
を $u$ の共分散行列と書く（共分散 の定義「共分散行列」の $\Sigma_u$）。定数の $l\times k$ 行列 $C$ と定数ベクトル $d$ について
$$
E[Cu+d]=CE[u]+d,\qquad \operatorname{Cov}[Cu+d]=C\operatorname{Cov}[u]\,C^{\mathsf T}
$$
であり、とくに $c\in\mathbb{R}^k$ について $V[c^{\mathsf T}u]=c^{\mathsf T}\operatorname{Cov}[u]\,c$ である（前者は期待値の線形性、後の 2 つは 共分散 の定理「和の分散と共分散行列の半正定値性」の 4 と 1）。
同じ次数の実対称行列 $S,T$ について、$S-T$ が半正定値（正定値行列 の定義「正定値行列と半正定値行列」）であることを $S\succeq T$ と書く。$S\succeq T$ なら、すべての $c$ について $c^{\mathsf T}Sc\ge c^{\mathsf T}Tc$ であり、とくに対角成分を比べて $S_{jj}\ge T_{jj}$ である。
$A\in\mathbb{R}^{m\times n}$ を既知の行列、$\beta\in\mathbb{R}^n$ を未知のベクトルとし、観測 $b\in\mathbb{R}^m$ が
$$
b=A\beta+\varepsilon
$$
と書けるとする。ここで $\varepsilon$ は、各成分の 2 乗の期待値が有限な確率変数を成分とするベクトルで、その分布は $\beta$ によらないとする。これを 線形モデル といい、$\varepsilon$ を 誤差 という。
- 定数行列 $C\in\mathbb{R}^{n\times m}$ による $\tilde\beta=Cb$ を $\beta$ の 線形推定量 という。
- 線形推定量 $\tilde\beta$ が、どの $\beta\in\mathbb{R}^n$ についても $E[\tilde\beta]=\beta$ を満たすとき、線形不偏推定量 という。
- $A$ の列が 1 次独立なとき、$\hat\beta:=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$ を 最小二乗推定量 という。
$A$ の列が 1 次独立なら $A^{\mathsf T}A$ は正則であり、$\hat\beta$ は $\lvert Ax-b\rvert^2$ を最小にするただ 1 つの $x$ である（最小二乗法 の定理「最小二乗解と正規方程式」の 3）。以下では $L:=(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ と書き、$\hat\beta=Lb$ とする。$LA=I_n$ である。
線形不偏性の言い換え
def-gm-model の線形モデルで $E[\varepsilon]=0$ とする。$C\in\mathbb{R}^{n\times m}$ について、$Cb$ が線形不偏推定量であることと $CA=I_n$ は同値である。とくに線形不偏推定量があるなら $A$ の列は 1 次独立である。
$E[Cb]=CA\beta+CE[\varepsilon]=CA\beta$ である。これがすべての $\beta$ で $\beta$ に等しいことは、$(CA-I_n)\beta=0$ がすべての $\beta$ で成り立つこと、すなわち $CA=I_n$ と同値である（$\beta$ に標準基底のベクトルを代入すれば $CA-I_n$ の各列が $0$ になる）。$CA=I_n$ なら $n=\operatorname{rank}(CA)\le\operatorname{rank}A\le n$ なので $A$ の階数は $n$ で、列は 1 次独立である。$\square$
主定理
def-gm-model の線形モデルで、$A$ の列は 1 次独立とし、誤差は
$$
E[\varepsilon]=0,\qquad \operatorname{Cov}[\varepsilon]=\sigma^2I_m\quad(\sigma>0)
$$
を満たすとする（平均 $0$・無相関・等分散）。
- 最小二乗推定量 $\hat\beta$ は線形不偏推定量であり、$\operatorname{Cov}[\hat\beta]=\sigma^2(A^{\mathsf T}A)^{-1}$ である。
- 任意の線形不偏推定量 $\tilde\beta=Cb$ について
$$ \operatorname{Cov}[\tilde\beta]-\operatorname{Cov}[\hat\beta]=\sigma^2(C-L)(C-L)^{\mathsf T}\ \succeq\ 0 $$
である。 - とくに、すべての $c\in\mathbb{R}^n$ について $V[c^{\mathsf T}\tilde\beta]\ge V[c^{\mathsf T}\hat\beta]$ であり、各成分について $V[\tilde\beta_j]\ge V[\hat\beta_j]$ である。2 の差が零行列になるのは $C=L$、すなわち $\tilde\beta=\hat\beta$ のときに限る。
1：$LA=I_n$ なので、lem-gm-unbiased により $\hat\beta$ は線形不偏推定量である。$\hat\beta=LA\beta+L\varepsilon=\beta+L\varepsilon$ だから
$$
\operatorname{Cov}[\hat\beta]=L(\sigma^2I_m)L^{\mathsf T}=\sigma^2(A^{\mathsf T}A)^{-1}A^{\mathsf T}A(A^{\mathsf T}A)^{-1}=\sigma^2(A^{\mathsf T}A)^{-1}
$$
である（$(A^{\mathsf T}A)^{-1}$ は対称行列）。
2：lem-gm-unbiased により $CA=I_n$ である。$D:=C-L$ とおくと $DA=CA-LA=0$ である。$L^{\mathsf T}=A(A^{\mathsf T}A)^{-1}$ なので
$$
DL^{\mathsf T}=DA(A^{\mathsf T}A)^{-1}=0,\qquad LD^{\mathsf T}=(DL^{\mathsf T})^{\mathsf T}=0
$$
である。$\tilde\beta=CA\beta+C\varepsilon=\beta+C\varepsilon$ だから
$$
\operatorname{Cov}[\tilde\beta]=\sigma^2CC^{\mathsf T}=\sigma^2(L+D)(L+D)^{\mathsf T}=\sigma^2\bigl(LL^{\mathsf T}+DD^{\mathsf T}\bigr)=\operatorname{Cov}[\hat\beta]+\sigma^2DD^{\mathsf T}
$$
を得る。$c^{\mathsf T}DD^{\mathsf T}c=\lvert D^{\mathsf T}c\rvert^2\ge0$ なので $DD^{\mathsf T}\succeq0$ である。
3：$V[c^{\mathsf T}\tilde\beta]-V[c^{\mathsf T}\hat\beta]=c^{\mathsf T}\bigl(\operatorname{Cov}[\tilde\beta]-\operatorname{Cov}[\hat\beta]\bigr)c=\sigma^2\lvert D^{\mathsf T}c\rvert^2\ge0$ であり、$c$ を標準基底のベクトル $e_j$ にとれば成分の主張になる。$\sigma^2DD^{\mathsf T}=0$ なら、その跡 $\sigma^2\sum_{i,k}D_{ik}^2$ が $0$ なので $D=0$ である。$\square$
証明の要は $DL^{\mathsf T}=0$ である。$L^{\mathsf T}=A(A^{\mathsf T}A)^{-1}$ の列は $A$ の列空間に属し、$DA=0$ は $D$ の各行が $A$ の列空間に直交することを言っている。$C$ の第 $j$ 行は「$A$ の列空間の成分 $=L$ の第 $j$ 行」と「直交する成分 $=D$ の第 $j$ 行」の和に分かれ、誤差が等分散・無相関なら $\tilde\beta_j$ の分散は $\sigma^2$ に行ベクトルの長さの 2 乗を掛けたものなので、三平方の定理により直交する成分の分だけ大きくなる。最小二乗推定量は、不偏性の制約のもとで行ベクトルを最も短くとったものである。
1 次結合の推定
予測値 $t_0^{\mathsf T}\beta$ のように、$\beta$ そのものより 1 次結合 $c^{\mathsf T}\beta$ を推定したいことが多い。$c^{\mathsf T}\beta$ の推定量 $w^{\mathsf T}b$ は、行列 $C$ の行として与えられるとは限らないので、thm-gm-main の 3 とは別に確かめる必要がある。
thm-gm-main の仮定のもとで $c\in\mathbb{R}^n$ とする。$w\in\mathbb{R}^m$ について $w^{\mathsf T}b$ がどの $\beta$ についても期待値 $c^{\mathsf T}\beta$ をもつとき、
$$
V[w^{\mathsf T}b]\ \ge\ V[c^{\mathsf T}\hat\beta]=\sigma^2c^{\mathsf T}(A^{\mathsf T}A)^{-1}c
$$
であり、等号は $w=A(A^{\mathsf T}A)^{-1}c$、すなわち $w^{\mathsf T}b=c^{\mathsf T}\hat\beta$ のときに限る。
$E[w^{\mathsf T}b]=w^{\mathsf T}A\beta$ がすべての $\beta$ で $c^{\mathsf T}\beta$ に等しいことは、$A^{\mathsf T}w=c$ と同値である（lem-gm-unbiased の証明と同じく、$\beta$ に標準基底のベクトルを代入する）。$w_0:=A(A^{\mathsf T}A)^{-1}c$ とおくと $A^{\mathsf T}w_0=c$ で、$w_0^{\mathsf T}b=c^{\mathsf T}Lb=c^{\mathsf T}\hat\beta$ である。$u:=w-w_0$ は $A^{\mathsf T}u=0$ を満たすので
$$
w_0^{\mathsf T}u=c^{\mathsf T}(A^{\mathsf T}A)^{-1}A^{\mathsf T}u=0,\qquad \lvert w\rvert^2=\lvert w_0\rvert^2+\lvert u\rvert^2
$$
である。$V[w^{\mathsf T}b]=V[w^{\mathsf T}\varepsilon]=w^{\mathsf T}(\sigma^2I_m)w=\sigma^2\lvert w\rvert^2$ なので、$V[w^{\mathsf T}b]=\sigma^2\lvert w_0\rvert^2+\sigma^2\lvert u\rvert^2\ge\sigma^2\lvert w_0\rvert^2$ であり、等号は $u=0$ のときに限る。最後に $\lvert w_0\rvert^2=c^{\mathsf T}(A^{\mathsf T}A)^{-1}A^{\mathsf T}A(A^{\mathsf T}A)^{-1}c=c^{\mathsf T}(A^{\mathsf T}A)^{-1}c$ である。$\square$
$\hat\beta$ が $c^{\mathsf T}\beta$ の線形不偏推定量の中で分散最小であるという形は ESL17 §3.2.2 の (3.19)（p. 51）にあり、$\operatorname{Cov}[\hat\beta]=\sigma^2(A^{\mathsf T}A)^{-1}$ は同書 (3.8)（p. 47）にある。cor-gm-functional の $w_0$ は、方程式 $A^{\mathsf T}w=c$ の解のうち長さが最小のもの（$A$ の列空間に属する解）である。
誤差の共分散が一般の場合
誤差の共分散行列が既知の正定値行列の定数倍であれば、観測を 1 次変換して thm-gm-main の仮定に戻せる。
def-gm-model の線形モデルで、$A$ の列は 1 次独立とし、$E[\varepsilon]=0$、$\operatorname{Cov}[\varepsilon]=\sigma^2W$ とする。ここで $\sigma>0$ で、$W$ は既知の $m$ 次の正定値実対称行列である。
$$
\beta^{\dagger}:=(A^{\mathsf T}W^{-1}A)^{-1}A^{\mathsf T}W^{-1}b
$$
は線形不偏推定量で、$\operatorname{Cov}[\beta^{\dagger}]=\sigma^2(A^{\mathsf T}W^{-1}A)^{-1}$ であり、任意の線形不偏推定量 $\tilde\beta$ について $\operatorname{Cov}[\tilde\beta]\succeq\operatorname{Cov}[\beta^{\dagger}]$ である。
正定値行列 の定理「半正定値な平方根の存在と一意性」により、$S^2=W$ となる半正定値な実対称行列 $S$ がある。$(\det S)^2=\det W>0$ なので $S$ は正則である。$b':=S^{-1}b$、$A':=S^{-1}A$、$\varepsilon':=S^{-1}\varepsilon$ とおくと $b'=A'\beta+\varepsilon'$ であり、$E[\varepsilon']=0$、
$$
\operatorname{Cov}[\varepsilon']=\sigma^2S^{-1}WS^{-1}=\sigma^2S^{-1}SSS^{-1}=\sigma^2I_m
$$
である（$S$ は対称なので $(S^{-1})^{\mathsf T}=S^{-1}$）。$S^{-1}$ は正則なので $A'$ の列は 1 次独立である。
元のモデルの線形推定量 $Cb$ は、新しいモデルの線形推定量 $(CS)b'$ と同じ確率変数であり、$C\mapsto CS$ は全単射である。lem-gm-unbiased により、$Cb$ が不偏であることは $CA=I_n$、すなわち $(CS)A'=I_n$ と同値なので、両方のモデルの線形不偏推定量はちょうど同じものである。新しいモデルに thm-gm-main を使うと、最良のものは
$$
(A'^{\mathsf T}A')^{-1}A'^{\mathsf T}b'=(A^{\mathsf T}S^{-2}A)^{-1}A^{\mathsf T}S^{-2}b=\beta^{\dagger}
$$
であり（$S^{-2}=W^{-1}$）、その共分散行列は $\sigma^2(A'^{\mathsf T}A')^{-1}=\sigma^2(A^{\mathsf T}W^{-1}A)^{-1}$ である。$\square$
$\beta^{\dagger}$ は、重み付きの 2 乗和 $(b-Ax)^{\mathsf T}W^{-1}(b-Ax)$ を最小にする $x$ であり、一般化最小二乗推定量 と呼ばれる。$W$ が対角行列 $\operatorname{diag}(w_1,\dots,w_m)$ なら、これは $i$ 番目の残差の 2 乗に重み $1/w_i$ を付けた最小二乗法（最小二乗法 の節「公式の表」の重み付きの行）である。分散の大きい観測ほど軽く扱うのが最良になる。このとき通常の最小二乗推定量 $\hat\beta$ も不偏ではあるが、一般には最良ではない（下の表の 2・3 行目）。
例
同じ量 $\beta$ を $m$ 回測る：$b_i=\beta+\varepsilon_i$（$A$ はすべて $1$ の列、$n=1$）。誤差が平均 $0$・無相関・分散 $\sigma^2$ なら、最小二乗推定量は標本平均 $\bar b=\frac1m\sum_ib_i$ で、分散は $\sigma^2/m$ である。
重み付きの平均 $\sum_iw_ib_i$ が不偏であることは $\sum_iw_i=1$ と同値で（cor-gm-functional で $c=1$、$A^{\mathsf T}w=\sum_iw_i$）、分散は $\sigma^2\sum_iw_i^2$ である。Cauchy–Schwarzの不等式 により $1=(\sum_iw_i)^2\le m\sum_iw_i^2$ なので、分散は $\sigma^2/m$ 以上で、等号は $w_i=1/m$ のときに限る。これは cor-gm-functional のこの場合を直接確かめたものである。
$t=0,1,2,3$ で $b_i=\beta_0+\beta_1t_i+\varepsilon_i$ を観測する。誤差は平均 $0$・無相関・分散 $\sigma^2$ とする。
$A^{\mathsf T}A=\begin{pmatrix}4&6\\6&14\end{pmatrix}$、$(A^{\mathsf T}A)^{-1}=\begin{pmatrix}0.7&-0.3\\-0.3&0.2\end{pmatrix}$ なので、最小二乗推定量の傾き $\hat\beta_1$ の分散は $0.2\sigma^2$ である。$\hat\beta_1=w_0^{\mathsf T}b$ の係数は $w_0=A(A^{\mathsf T}A)^{-1}e_2=(-0.3,-0.1,0.1,0.3)$ で、$\lvert w_0\rvert^2=0.2$ と一致する。
両端の 2 点だけを使う傾き $\frac{b_4-b_1}3$ も不偏である（期待値は $\frac{(\beta_0+3\beta_1)-\beta_0}3=\beta_1$）。係数 $w=(-\frac13,0,0,\frac13)$ は $w=w_0+u$、$u=(-\frac1{30},\frac1{10},-\frac1{10},\frac1{30})$ と分かれ、$u$ の成分の和も $t_iu_i$ の和も $0$ である（$A^{\mathsf T}u=0$）。分散は $\sigma^2\lvert w\rvert^2=\frac29\sigma^2=\bigl(0.2+\frac1{45}\bigr)\sigma^2$ で、$\sigma^2\lvert u\rvert^2=\frac1{45}\sigma^2$ だけ大きい。
仮定を外すと成り立たなくなること
各行で外す条件は 1 つだけで、ほかの条件はすべて満たしている。1〜5 行目はどれも $A$ がすべて $1$ の列（同じ量を繰り返し測る）の場合である。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 誤差の平均が $0$ | $b_i=\beta+\varepsilon_i$、$\varepsilon_i=\delta+\eta_i$（$\delta\ne0$ は定数、$\eta_i$ は平均 $0$・無相関・分散 $\sigma^2$） | $E[\bar b]=\beta+\delta$ で、最小二乗推定量は不偏でない（線形不偏推定量は 1 つもない） |
| 等分散 | $m=2$、無相関、$V[\varepsilon_1]=1$、$V[\varepsilon_2]=4$ | 平均 $\bar b$ の分散 $\frac54$ より、$\frac{4b_1+b_2}5$ の分散 $\frac45$ が小さい |
| 無相関 | $m=3$、分散はどれも $1$、$\mathrm{Cov}[\varepsilon_1,\varepsilon_2]=\frac12$、ほかの組は無相関 | 平均の分散 $\frac49$ より、$\frac{2b_1+2b_2+3b_3}7$ の分散 $\frac37$ が小さい |
| 推定量が $b$ の 1 次式 | $m=3$、$\varepsilon_i$ は独立に $-1,0,1$ を確率 $\frac13$ ずつとる | 最小値と最大値の平均 $\frac{\min_ib_i+\max_ib_i}2$ は不偏で、分散 $\frac5{27}$ は平均の分散 $\frac29=\frac6{27}$ より小さい |
| 推定量が不偏 | $m=4$、$\sigma^2=1$、推定量 $0.8\,\bar b$ | 分散 $0.16$ は $\bar b$ の分散 $0.25$ より小さく、$\lvert\beta\rvert< 1.5$ なら平均 2 乗誤差も小さい |
| $A$ の列が 1 次独立 | $A=\begin{pmatrix}1&1\\1&1\\1&1\end{pmatrix}$、誤差は定理の仮定どおり | 線形不偏推定量が存在しない（$\beta$ と $\beta+s(1,-1)^{\mathsf T}$ で $b$ の分布が同じ） |
各行の計算と、外した条件以外が成り立っていることを確かめる。
各行の確かめを開く
1 行目：$\operatorname{Cov}[\varepsilon]=\sigma^2I_m$ で無相関・等分散だが、$E[\varepsilon]=\delta\mathbf 1\ne0$ である（$\mathbf 1$ は成分がすべて $1$ のベクトル）。$w^{\mathsf T}b$ の期待値は $(\beta+\delta)\sum_iw_i$ なので、すべての $\beta$ で $\beta$ に等しくなることはない。
2 行目：$\bar b$ の分散は $\frac{1+4}4=\frac54$。$\frac{4b_1+b_2}5$ は係数の和が $1$ で不偏であり、分散は $\frac{16\cdot1+1\cdot4}{25}=\frac45$ である。これは $W=\operatorname{diag}(1,4)$ の thm-gm-aitken の推定量（重み $1$ と $\frac14$ の比 $4:1$）である。
3 行目：共分散行列は $W=\begin{pmatrix}1&\frac12&0\\\frac12&1&0\\0&0&1\end{pmatrix}$ で、分散はすべて $1$ である。平均の分散は $\frac19\mathbf 1^{\mathsf T}W\mathbf 1=\frac{3+1}9=\frac49$。$w=\frac17(2,2,3)$ は係数の和が $1$ で、$w^{\mathsf T}Ww=\frac{4+4+9+2\cdot\frac12\cdot2\cdot2}{49}=\frac{21}{49}=\frac37$ である。$W^{-1}\mathbf 1=(\frac23,\frac23,1)$ なので、この $w$ は thm-gm-aitken の推定量の係数 $W^{-1}\mathbf 1/(\mathbf 1^{\mathsf T}W^{-1}\mathbf 1)$ である。
4 行目：誤差は独立なので無相関で、平均 $0$、分散 $\frac23$（等分散）であり、$\bar b$ の分散は $\frac29$。$M:=\frac{\min_i\varepsilon_i+\max_i\varepsilon_i}2$ とおくと推定量は $\beta+M$ である。27 通りのうち、3 つとも等しい 3 通りで $M\in\{-1,0,1\}$、$-1$ と $0$ だけが現れる $2^3-2=6$ 通りで $M=-\frac12$、$0$ と $1$ だけが現れる 6 通りで $M=\frac12$、残りの 12 通り（$-1$ と $1$ が両方現れる）で $M=0$ である。分布が $0$ について対称なので $E[M]=0$ で不偏であり、$V[M]=\frac{1+1+6\cdot\frac14+6\cdot\frac14}{27}=\frac5{27}$ である。この推定量は $b$ の 1 次式でないので、定理と矛盾しない。
5 行目：モデルは定理の仮定を満たす。$E[0.8\,\bar b]=0.8\beta$ で、$\beta\ne0$ では不偏でない。分散は $0.64\cdot\frac14=0.16$、平均 2 乗誤差は分散と偏りの 2 乗の和 $0.16+0.04\beta^2$ で、$\lvert\beta\rvert< 1.5$ のとき $0.25$ より小さい。
6 行目：$A$ の階数は $1$ で、$CA=I_2$ となる $C$ はない（$\operatorname{rank}(CA)\le1$）。lem-gm-unbiased により線形不偏推定量はない。$A(1,-1)^{\mathsf T}=0$ なので、$\beta$ と $\beta+s(1,-1)^{\mathsf T}$ は同じ観測の分布を与え、観測から区別できない。
補足
偏りと分散。 推定量 $\tilde\theta$ の平均 2 乗誤差は $E[(\tilde\theta-\theta)^2]=V[\tilde\theta]+(E[\tilde\theta]-\theta)^2$ と、分散と偏りの 2 乗の和に分かれる（ESL17 (3.20)、p. 51）。Gauss–Markov の定理は偏りが $0$ のものどうしを比べる定理であり、表の 5 行目のように少し偏りを許すと平均 2 乗誤差が下がることがある。係数を $0$ の方へ縮める推定（リッジ回帰など）はこの考えによる（ESL17 p. 52）。
誤差の分散の推定。 定理は $\hat\beta$ の共分散行列を $\sigma^2(A^{\mathsf T}A)^{-1}$ と与えるが、$\sigma^2$ はふつう未知である。同じ仮定のもとで $m>n$ なら、残差平方和を $m-n$ で割ったものが $\sigma^2$ の不偏推定量になる（最小二乗法 の命題「誤差の分散の不偏推定」）。
仮定の性格。 定理が使うのは誤差の 1 次と 2 次の積率だけで、誤差の分布の形は問わない。逆にいえば、比べる相手を 1 次式に限ったことの代償として、表の 4 行目のように分布によっては 1 次式でない推定量に負ける。誤差が独立に同じ正規分布 $N(0,\sigma^2)$ に従うなら、$b$ の密度は $\exp\bigl(-\lvert b-A\beta\rvert^2/(2\sigma^2)\bigr)$ に比例するので、尤度を最大にする $\beta$ は最小二乗推定量と一致する（正規分布）。
名前。 C. F. Gauss と A. A. Markov の名による。統計の文脈では、モデル $b=A\beta+\varepsilon$ を線形回帰モデル、$A$ を計画行列と呼ぶことが多い（回帰分析）。
関連項目
- 前提: 最小二乗法, 共分散, 正定値行列
- 道具: Cauchy–Schwarzの不等式, 正射影と射影行列
- 応用: 回帰分析
- 比較: Moore–Penrose逆行列, 多変量正規分布
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
