回帰分析

前提知識: 最小二乗法, 正射影と射影行列, 多変量正規分布, t分布, カイ二乗分布

回帰分析（regression analysis）は、目的の量 $y$ が説明のための量 $x_1,\dots,x_k$ によってどう変わるかを、データから推し量る統計の方法である。もっとも基本的な 線形回帰 では、$y$ の期待値が係数について 1 次の式 $\beta_1+\beta_2x+\cdots$ で書けると仮定し、係数を 最小二乗法 で推定する。
回帰分析では、観測の誤差に確率のモデルを置き、次の問いに答える。

• 推定した係数はどれくらい確かか（標準誤差と信頼区間）。
• 係数が $0$ かどうか、つまりその説明変数が本当に効いているか（$t$ 検定）。
• 説明変数のいくつかをまとめて外してよいか（$F$ 検定）。
• 当てはまりはどの程度か（決定係数）。新しい $x$ での $y$ はどの範囲に入るか（予測区間）。
  どれも一つの定理から出る。誤差が独立に同じ正規分布に従うとき、係数の推定量は正規分布に従い、残差平方和は推定量と独立にカイ二乗分布に従う（thm-reg-sampling）。鍵は、当てはめが正射影であることである。

定義と使える条件

$n$ 組のデータ $(x_{i1},\dots,x_{ip};\ y_i)$（$i=1,\dots,n$）を考える。$x_{ij}$ を並べた $n\times p$ 行列 $X=(x_{ij})$ を 計画行列、$y=(y_1,\dots,y_n)^{\top}$ を 目的変数 のベクトルという。切片を入れるときは $X$ の第 1 列をすべて $1$ にする。単回帰（説明変数が一つ）は $X$ の第 $i$ 行が $(1,x_i)$ の場合である。

最小二乗法 の定理「最小二乗解と正規方程式」により、$\hat\beta$ は $\lvert y-Xb\rvert^2$ を最小にするただ一つの $b$ であり、$H$ は $X$ の列空間 $\operatorname{Im}X$ への正射影の行列である。正射影と射影行列 の定理「射影行列は対称で冪等な行列」と定理「射影行列の固有値・対角化・トレース」により、$H$ と $I_n-H$ は対称で冪等、階数（＝トレース）はそれぞれ $p$ と $n-p$ である。
検定と区間推定に使う分布を一つ定めておく。

$T\sim t_b$ なら、t分布 の定理「$t$ 分布の密度」により $T$ は $Z/\sqrt{W/b}$（$Z\sim N(0,1)$ と $W\sim\chi^2_b$ が独立）と同じ分布に従い、$Z^2\sim\chi^2_1$ なので $T^2\sim F_{1,b}$ である。とくに $F_{1,b}(\alpha)=t_b(\alpha/2)^2$ である。

公式の表

正規線形回帰モデル（def-reg-model の 1〜4）のもとでの公式である。「条件」の列は、必要な条件の番号である。

単回帰では $S_{xx}:=\sum_i(x_i-\bar x)^2$、$S_{xy}:=\sum_i(x_i-\bar x)(y_i-\bar y)$ である。

主定理と証明

推定量と残差平方和の分布

$\sigma$ を知っていれば $Z_c\sim N(0,1)$ をそのまま使えるが、実際には $\sigma$ は未知で、$\hat\sigma$ で置き換える。その代償として、正規分布が自由度 $n-p$ の $t$ 分布に変わる。t分布 の定理「Student の定理」は、$X=\mathbf 1$（$p=1$、$\beta$ は母平均）の場合にあたる。

予測区間の $\sqrt{1+h_0}$ の $1$ は新しい観測そのものの誤差 $\varepsilon_0$、$h_0$ は係数の推定の誤差による。期待値 $x_0^{\top}\beta$ だけの信頼区間なら $\sqrt{h_0}$ になる（thm-reg-sampling の 4 で $c=x_0$）。

平方和の分解と決定係数

単回帰の場合は 散布図と回帰直線 の系「回帰直線の性質」の (4)（残差平方和の最小値が $ns_y^2(1-r^2)$）と同じ内容である。

入れ子のモデルの $F$ 検定

したがって、係数を一つだけ外すかどうかの $F$ 検定は、その係数の $t$ 検定と同じ判定をする（def-reg-f の後の $F_{1,b}(\alpha)=t_b(\alpha/2)^2$）。

計算の手順

データ $(X,y)$ と有意水準 $\alpha$（たとえば $0.05$）が与えられたとき、次の順に計算する。

1. モデルを決める。 計画行列 $X$ の列（切片、説明変数、その 2 乗や積など）を決め、列が 1 次独立で $n>p$ であることを確かめる。そうでなければ列を減らす（ex-reg-counterexamples の 1 行目）。
2. 係数を求める。 正規方程式 $X^{\top}X\hat\beta=X^{\top}y$ を解く。数値的には QR 分解を使う方が安定である（最小二乗法 の定理「QR 分解による最小二乗解」）。単回帰なら $\hat\beta_2=S_{xy}/S_{xx}$、$\hat\beta_1=\bar y-\hat\beta_2\bar x$。
3. 残差と分散を求める。 $e=y-X\hat\beta$、$\mathrm{RSS}=\lvert e\rvert^2$、$\hat\sigma^2=\mathrm{RSS}/(n-p)$。
4. 標準誤差と $t$ 統計量。 $v_j=((X^{\top}X)^{-1})_{jj}$、$\mathrm{se}_j=\hat\sigma\sqrt{v_j}$、$t_j=\hat\beta_j/\mathrm{se}_j$。$\lvert t_j\rvert>t_{n-p}(\alpha/2)$ なら「$\beta_j=0$」を水準 $\alpha$ で棄却する（thm-reg-sampling の 4）。信頼区間は $\hat\beta_j\pm t_{n-p}(\alpha/2)\mathrm{se}_j$。
5. 当てはまりと全体の検定。 切片があれば $R^2=1-\mathrm{RSS}/\mathrm{TSS}$、$F=\frac{R^2/(p-1)}{(1-R^2)/(n-p)}$ を $F_{p-1,n-p}(\alpha)$ と比べる（thm-reg-f）。いくつかの列をまとめて外すかどうかは、外したモデルの $\mathrm{RSS}_0$ で thm-reg-f の $F$ を計算する。
6. 予測。 $x_0$ での予測値 $x_0^{\top}\hat\beta$ と、予測区間 $x_0^{\top}\hat\beta\pm t_{n-p}(\alpha/2)\hat\sigma\sqrt{1+h_0}$（cor-reg-intervals）。
7. 残差を見る。 残差を当てはめ値や説明変数に対して描き、曲がり・ばらつきの変化・外れ値がないかを見る。手順 4〜6 の分布は def-reg-model の 1〜4 に依存するので、条件が崩れていそうなら結論を保留する（ex-reg-counterexamples）。

   場合	やること	結果の形
   係数 1 つが $0$ か	手順 4 の $t$ 検定	$t_{n-p}$ と比べる
   係数をまとめて外せるか	手順 5 の入れ子の $F$ 検定	$F_{p-p_0,n-p}$ と比べる
   期待値 $x_0^{\top}\beta$ の区間	$x_0^{\top}\hat\beta\pm t_{n-p}(\alpha/2)\hat\sigma\sqrt{h_0}$	区間
   新しい観測 $y_0$ の区間	手順 6	区間（期待値の区間より広い）

例題

以下の $t_\nu(\alpha)$、$F_{a,b}(\alpha)$ の値は数値計算による値である（$t_4(0.025)\approx2.776445$、$F_{1,4}(0.05)=t_4(0.025)^2\approx7.708647$、$F_{2,4}(0.05)=2(\sqrt{20}-1)\approx6.944272$）。

図 1 は ex-reg-simple と ex-reg-prediction を描いたものである。
ex-reg-simple のデータ（黒い点）と回帰直線（青の実線）。灰色の縦線は残差。内側の濃い帯（灰色がかった青）は期待値 β1+β2x の 95% 信頼区間、外側の薄い橙の帯は新しい観測の 95% 予測区間で、x = 7 での予測区間は約 12.68 から 18.65

使える条件と反例

thm-reg-sampling とそこから導いた区間・検定は、def-reg-model の 1〜4 をすべて使う。thm-reg-anova は切片（$\mathbf 1\in\operatorname{Im}X$）を使う。次の表の各行は、条件を一つだけ外している。

よくある誤り

補足

• 正規性がないとき。 def-reg-model の 1〜3 だけでも、$\hat\beta$ は不偏で、線形な不偏推定量のなかで分散が最小である（最小二乗法 の定理「Gauss–Markov の定理」）。区間・検定の分布は 4 に依存し、誤差が正規分布でないときは一般に正確でない（ex-reg-counterexamples の 4 行目）。$n$ が大きいときの近似には計画行列にも条件が要る。たとえば $X$ の列が $\mathbf 1$ と $(1,0,\dots,0)^{\top}$ なら $\hat\beta_2-\beta_2=\varepsilon_1-\frac1{n-1}\sum_{i\ge2}\varepsilon_i$ で、$n$ を大きくしても $\varepsilon_1$ の分布が残る。この記事では大標本の近似は扱わない。
• 列が 1 次独立でないとき。 当てはめ値は一つに決まり、最小ノルムの係数は Moore–Penrose逆行列 で $X^+y$ と書ける。
• 線形回帰の位置づけ。 係数の推定・標準誤差・$t$ 統計量・$F$ 統計量の扱いは ESL17 §3.2（(3.6)〜(3.16)、pp. 44–51）にまとまっている。そこでは標本分布（(3.10)・(3.11)）と $F$ 統計量の分布は証明なしで述べられている。
• 名前。 「回帰」の由来は、親子の身長の関係で予測が平均の側に戻ることにある（散布図と回帰直線 の注意「「回帰」という名前」）。

関連項目

• 前提: 最小二乗法, 正射影と射影行列, 多変量正規分布
• 別版: 散布図と回帰直線
• 理論: t分布, カイ二乗分布, Moore–Penrose逆行列
• 比較: 多項分布, 仮説検定の考え方