散布図と回帰直線
概要
散布図と回帰直線（scatter plots and regression lines）とは、2 つの変量の組 $(x_i,y_i)$（$i=1,\dots,n$）を点として描いた散布図に、残差 $e_i=y_i-a-bx_i$ の 2 乗の和を最小にする直線 $y=a+bx$ を引く方法（最小二乗法）である。$x_i$ がすべて等しくはない（$s_x>0$）とき、最小にする直線はただ 1 本で、傾きは $b=s_{xy}/s_x^2$、切片は $a=\bar y-b\bar x$ である。これはデータのベクトルの正射影とも見られる。回帰直線は平均の点を通り、残差の和は $0$ で、$s_y>0$ なら傾きは $rs_y/s_x$、2 乗の和の最小値は $ns_y^2(1-r^2)$ である。外れ値 1 点で傾きが大きく変わることがあり、$x$ と $y$ を入れ替えると別の直線になる。
前提知識: 相関係数（高校数学）, 2次関数の最大・最小, 平均値と二乗誤差
高校での出発点：散布図に直線を引く
2 つの変量の組 $(x_1,y_1),\dots,(x_n,y_n)$ を座標平面の点として描いた図を 散布図 という。点が右上がりに並んでいれば正の相関、右下がりなら負の相関があり、その強さを表すのが相関係数 $r$ であった（相関係数（高校数学））。この記事では一歩進んで、散布図の点の並びに「いちばんよく合う直線」を引く方法を調べる。その直線を 回帰直線 という。まず、5 点のデータに直線を当ててみる。
5 人の生徒の、ある週の勉強時間 $x$（時間）と小テストの点数 $y$（10 点満点）が
$$
(x,y)=(1,2),\ (2,3),\ (3,5),\ (4,4),\ (5,6)
$$
であったとする。散布図を描くと、点はおよそ右上がりに並ぶ（図 1）。
目分量で直線 $y=1+x$ を引いてみる。この直線で予想した点数と実際の点数の差（実際 − 予想）は
$$
2-2=0,\quad 3-3=0,\quad 5-4=1,\quad 4-5=-1,\quad 6-6=0
$$
で、差の 2 乗の和は $0+0+1+1+0=2$ である。
直線 $y=1.3+0.9x$ では、予想は $2.2,\ 3.1,\ 4.0,\ 4.9,\ 5.8$ で、差は
$$
-0.2,\quad -0.1,\quad 1,\quad -0.9,\quad 0.2
$$
である。2 乗の和は $0.04+0.01+1+0.81+0.04=1.9$ で、$y=1+x$ の $2$ より小さい。この記事の主定理（thm-spr-regression）から、2 乗の和を $1.9$ より小さくする直線はない。
5 点の散布図と回帰直線 y=1.3+0.9x。赤い縦の線分が残差で、四角は平均の点 (3,4)
3 点 $(0,1),(1,1),(2,4)$ を考える。直線 $y=0.5+1.5x$ で予想すると $0.5,\ 2,\ 3.5$ で、差は $0.5,\ -1,\ 0.5$、2 乗の和は $0.25+1+0.25=1.5$ である。直線 $y=x+1$ なら予想は $1,2,3$、差は $0,-1,1$、2 乗の和は $2$ で、$1.5$ より大きい。$y=0.5+1.5x$ が 3 点の回帰直線であることは ex-spr-three-problem で確かめる。
2 つの例から、次の問いが出てくる。
- 「いちばんよく合う」を、どういう意味で測るのか。→ def-spr-least-squares
- いちばんよい直線は、どう求めるのか。1 本に決まるのか。→ thm-spr-regression
- 回帰直線と相関係数は、どうつながるのか。→ cor-spr-properties
- 回帰直線は、どんなときに当てにならないのか。→ ex-spr-outlier、ex-spr-parabola
高校の計算 この記事の言葉 大学の言葉 予想と実際の差 残差 $e_i$ 残差 差の 2 乗の和を最小にする 最小二乗法 最小二乗法 $a$ について平方完成、次に $b$ について平方完成 2 段階の平方完成 正規方程式 回帰直線は平均の点を通る、残差の和は $0$ 残差の性質 残差ベクトルの直交性（正射影）
残差と 2 乗の和
以下、$\bar x,\bar y$ は平均値、$s_x,s_y$ は標準偏差、$s_{xy}$ は共分散である。相関係数（高校数学） と同じく
$$
s_x^2=\frac1n\sum_{i=1}^n(x_i-\bar x)^2,\qquad s_{xy}=\frac1n\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)
$$
とし、$s_x>0$、$s_y>0$ のとき相関係数を $r=\dfrac{s_{xy}}{s_xs_y}$ とする。
直線 $y=a+bx$ に対し、$i$ 番目のデータの 残差 を
$$
e_i=y_i-(a+bx_i)
$$
と定める。残差は、点 $(x_i,y_i)$ と直線との 縦（$y$ 方向）の ずれである。残差の 2 乗の和を
$$
S(a,b)=\sum_{i=1}^n\bigl(y_i-a-bx_i\bigr)^2
$$
と書く。$S(a,b)$ を最小にする $a,b$ を求めて直線を決める方法を 最小二乗法 といい、得られた直線 $y=a+bx$ を $y$ の $x$ への回帰直線 という。
縦のずれを使うのは、$x$ から $y$ を予想したいからである。点から直線への垂線の長さ（最短距離）を使うのではない。この違いは ex-spr-two-lines で見る。
ex-spr-five のデータで、いくつかの直線の $S(a,b)$ を計算する。
| 直線 | 残差 | $S(a,b)$ |
|---|---|---|
| $y=4$（$b=0$、平均の高さ） | $-2,\,-1,\,1,\,0,\,2$ | $10$ |
| $y=1+x$ | $0,\,0,\,1,\,-1,\,0$ | $2$ |
| $y=\frac65x$ | $0.8,\,0.6,\,1.4,\,-0.8,\,0$ | $3.6$ |
| $y=1.3+0.9x$ | $-0.2,\,-0.1,\,1,\,-0.9,\,0.2$ | $1.9$ |
$y=\frac65x$ の行は、たとえば $x=3$ で $5-\frac65\cdot3=5-3.6=1.4$ である。2 乗の和は $0.64+0.36+1.96+0.64+0=3.6$ となる。
主定理：回帰直線の公式
$s_x>0$ とする（$x_i$ がすべて等しいわけではない）。$S(a,b)$ を最小にする $(a,b)$ はただ 1 組で、
$$
b=\frac{s_{xy}}{s_x^2},\qquad a=\bar y-b\bar x
$$
である。最小値は $n\left(s_y^2-\dfrac{s_{xy}^2}{s_x^2}\right)$ である。
証明の前に、ex-spr-five で公式を確かめる。
$\bar x=\dfrac{1+2+3+4+5}5=3$、$\bar y=\dfrac{2+3+5+4+6}5=4$ である。偏差は
$$
x_i-\bar x=-2,\,-1,\,0,\,1,\,2,\qquad y_i-\bar y=-2,\,-1,\,1,\,0,\,2
$$
なので、
$$
s_x^2=\frac{4+1+0+1+4}5=2,\qquad s_y^2=\frac{4+1+1+0+4}5=2,\qquad s_{xy}=\frac{4+1+0+0+4}5=\frac95
$$
である。よって $b=\dfrac{9/5}2=\dfrac9{10}=0.9$、$a=4-0.9\cdot3=1.3$ で、回帰直線は $y=1.3+0.9x$ である。最小値は $5\left(2-\dfrac{(9/5)^2}2\right)=5\left(2-\dfrac{81}{50}\right)=5\cdot\dfrac{19}{50}=1.9$ で、ex-spr-five の計算と一致する。
方針：$S(a,b)$ は 2 つの文字 $a,b$ の 2 次式である。まず $b$ を止めて $a$ の 2 次関数とみて平方完成し、次に残った部分を $b$ の 2 次関数とみて平方完成する。2 次関数の最小は頂点でとる（2次関数の最大・最小）。
段 1（$a$ について平方完成する）。$b$ を止めて $z_i=y_i-bx_i$ とおくと、$S(a,b)=\sum_{i=1}^n(z_i-a)^2$ である。$z_i$ の平均は $\bar z=\bar y-b\bar x$ である。$z_i-a=(z_i-\bar z)+(\bar z-a)$ と分けて展開すると
$$
\sum_{i=1}^n(z_i-a)^2=\sum_{i=1}^n(z_i-\bar z)^2+2(\bar z-a)\sum_{i=1}^n(z_i-\bar z)+n(\bar z-a)^2
$$
となる。偏差の和 $\sum_{i=1}^n(z_i-\bar z)=\sum z_i-n\bar z$ は $0$ なので、真ん中の項は消えて
$$
S(a,b)=n\bigl(a-(\bar y-b\bar x)\bigr)^2+\sum_{i=1}^n(z_i-\bar z)^2
$$
である（平均値が 2 乗の和を最小にするという 平均値と二乗誤差 の計算と同じ）。
段 2（残りを $b$ で書く）。$u_i=x_i-\bar x$、$v_i=y_i-\bar y$ とおくと、$z_i-\bar z=(y_i-bx_i)-(\bar y-b\bar x)=v_i-bu_i$ である。よって
$$
\sum_{i=1}^n(z_i-\bar z)^2=\sum_{i=1}^n(v_i-bu_i)^2=b^2\sum u_i^2-2b\sum u_iv_i+\sum v_i^2=n\bigl(s_x^2b^2-2s_{xy}b+s_y^2\bigr)
$$
である。最後の等号では、$\sum u_i^2=ns_x^2$、$\sum u_iv_i=ns_{xy}$、$\sum v_i^2=ns_y^2$（分散と共分散の定義）を使った。
段 3（$b$ について平方完成する）。$s_x^2>0$ なので
$$
s_x^2b^2-2s_{xy}b+s_y^2=s_x^2\left(b-\frac{s_{xy}}{s_x^2}\right)^2+s_y^2-\frac{s_{xy}^2}{s_x^2}
$$
である（右辺を展開すると $s_x^2b^2-2s_{xy}b+\dfrac{s_{xy}^2}{s_x^2}+s_y^2-\dfrac{s_{xy}^2}{s_x^2}$ で左辺に戻る）。
段 4（まとめ）。段 1〜3 から
$$
S(a,b)=n\bigl(a-\bar y+b\bar x\bigr)^2+ns_x^2\left(b-\frac{s_{xy}}{s_x^2}\right)^2+n\left(s_y^2-\frac{s_{xy}^2}{s_x^2}\right)
$$
である。右辺の最初の 2 つの項は $0$ 以上なので、$S(a,b)\ge n\left(s_y^2-\dfrac{s_{xy}^2}{s_x^2}\right)$ である。等号が成り立つのは 2 つの項がどちらも $0$ のとき、つまり $b=\dfrac{s_{xy}}{s_x^2}$（$ns_x^2>0$ なので、2 つ目の項が $0$ になるのはこのときだけ）かつ $a=\bar y-b\bar x$ のときであり、そのときに限る。よって最小にする $(a,b)$ はただ 1 組で、最小値は主張のとおりである。$\square$
a=ȳ−bx̄ ととったときの 2 乗の和を b の関数として描いたもの。b=0.9 で最小値 1.9 をとる放物線
ex-spr-five では $n=5$、$s_x^2=2$、$s_{xy}=\dfrac95$、$s_y^2=2$ なので、$a=\bar y-b\bar x$ ととったあとの 2 乗の和は
$$
5\left(2b^2-\frac{18}5b+2\right)=10b^2-18b+10
$$
である（図 2）。$b=0$ で $10$（ex-spr-compare の $y=4$）、$b=1$ で $2$（$a=4-3=1$ なので $y=1+x$）、頂点 $b=\dfrac{18}{20}=0.9$ で $10\cdot0.81-18\cdot0.9+10=8.1-16.2+10=1.9$ である。
回帰直線の性質と相関係数
$s_x>0$ とし、$y=a+bx$ を回帰直線、$e_i=y_i-a-bx_i$ をその残差とする。
(1) 回帰直線は平均の点 $(\bar x,\bar y)$ を通る。
(2) $\displaystyle\sum_{i=1}^ne_i=0$、$\displaystyle\sum_{i=1}^nx_ie_i=0$ である。
(3) $s_y>0$ なら $b=r\dfrac{s_y}{s_x}$ である。特に、回帰直線の傾きの符号は相関係数 $r$ の符号と同じである。
(4) $s_y>0$ なら、残差の 2 乗の和の最小値は $ns_y^2(1-r^2)$ である。したがって、すべての点が回帰直線の上にあることと $r=\pm1$ は同値である。
方針：thm-spr-regression の $a=\bar y-b\bar x$、$b=\dfrac{s_{xy}}{s_x^2}$ を代入して計算する。記号 $u_i=x_i-\bar x$、$v_i=y_i-\bar y$ は prf-spr-regression と同じである。
(1) $x=\bar x$ のとき $a+b\bar x=(\bar y-b\bar x)+b\bar x=\bar y$ である。
(2) $a=\bar y-b\bar x$ を代入すると $e_i=y_i-\bar y-b(x_i-\bar x)=v_i-bu_i$ である。偏差の和は $0$（$\sum u_i=\sum v_i=0$）なので、$\sum e_i=\sum v_i-b\sum u_i=0$ である。また
$$
\sum u_ie_i=\sum u_iv_i-b\sum u_i^2=ns_{xy}-\frac{s_{xy}}{s_x^2}\cdot ns_x^2=0
$$
である。$x_i=u_i+\bar x$ なので、$\sum x_ie_i=\sum u_ie_i+\bar x\sum e_i=0+0=0$ である。
(3) $r=\dfrac{s_{xy}}{s_xs_y}$ から $s_{xy}=rs_xs_y$ なので、$b=\dfrac{rs_xs_y}{s_x^2}=r\dfrac{s_y}{s_x}$ である。$\dfrac{s_y}{s_x}>0$ なので、$b$ と $r$ の符号は同じである。
(4) 最小値は $n\left(s_y^2-\dfrac{s_{xy}^2}{s_x^2}\right)=n\left(s_y^2-\dfrac{r^2s_x^2s_y^2}{s_x^2}\right)=ns_y^2(1-r^2)$ である。すべての点が回帰直線の上にあるとは、すべての $e_i$ が $0$ であること、つまり最小値 $\sum e_i^2$ が $0$ であることである。$ns_y^2>0$ なので、これは $1-r^2=0$、つまり $r=\pm1$ と同値である。$\square$
ex-spr-five の回帰直線 $y=1.3+0.9x$ では、残差は $-0.2,\,-0.1,\,1,\,-0.9,\,0.2$ である。
- (1)：$x=3$ で $1.3+2.7=4=\bar y$。図 1 の四角の点を直線が通っている。
- (2)：$-0.2-0.1+1-0.9+0.2=0$、$1\cdot(-0.2)+2\cdot(-0.1)+3\cdot1+4\cdot(-0.9)+5\cdot0.2=-0.2-0.2+3-3.6+1=0$。
- (3)：$r=\dfrac{9/5}{\sqrt2\sqrt2}=\dfrac9{10}=0.9$ で、$r\dfrac{s_y}{s_x}=0.9\cdot\dfrac{\sqrt2}{\sqrt2}=0.9=b$。
- (4)：$ns_y^2(1-r^2)=5\cdot2\cdot(1-0.81)=1.9$。
- の $\sum e_i=0$ は、残差のプラスとマイナスがちょうど打ち消し合うことを表す。(4) から、$r^2$ は「$y$ のばらつき $ns_y^2$ のうち、回帰直線で説明できる割合」とも読める。$r=0.9$ なら $r^2=0.81$ で、2 乗の和は直線を使わないとき（$y=\bar y$ で予想したとき）の $ns_y^2=10$ から $1.9$ まで、$81\%$ 減っている。
例と反例
thm-spr-regression の仮定や回帰直線の使い方を外すと何が崩れるかを、先にまとめる。
| 外した仮定・使い方 | 崩れること | ボックス |
|---|---|---|
| $s_x>0$ | 回帰直線が 1 本に決まらない | ex-spr-vertical |
| 外れ値がない | 1 点で傾きが大きく変わる | ex-spr-outlier |
| 縦のずれで測る | $x$ と $y$ を入れ替えると別の直線になる | ex-spr-two-lines |
| 関係が直線的 | $r=0$ で水平な直線になり、関係を見落とす | ex-spr-parabola |
| データの範囲の中で使う | 範囲の外の予想はありえない値になる | ex-spr-extrapolation |
3 点 $(1,0),(1,2),(1,7)$ では $x_i$ がすべて $1$ で、$s_x=0$ である。$\bar y=3$ なので、点 $(1,3)$ を通る直線 $y=3+t(x-1)$ は、どの傾き $t$ でも $x=1$ で $3$ を予想する。残差は $-3,\,-1,\,4$ で、2 乗の和は $9+1+16=26$ である。どの直線でも、$x=1$ での値 $c$ に対して 2 乗の和は $(0-c)^2+(2-c)^2+(7-c)^2$ で、$c=3$ のとき最小の $26$ になる。したがって、最小値 $26$ をとる直線は $(1,3)$ を通るすべての（縦でない）直線で、1 本に決まらない。prf-spr-regression の段 3 で $s_x^2$ で割るところが使えなくなる。同じ反例を行列の言葉で見たものが 正射影と射影行列 にある。
ex-spr-five の 5 点に、6 人目の点 $(7,2)$ を加える。6 点では
$$
\bar x=\frac{22}6=\frac{11}3,\qquad \bar y=\frac{22}6=\frac{11}3,\qquad s_x^2=\frac{35}9,\qquad s_{xy}=\frac7{18}
$$
となり、$b=\dfrac{7/18}{35/9}=\dfrac7{18}\cdot\dfrac9{35}=\dfrac1{10}$、$a=\dfrac{11}3-\dfrac1{10}\cdot\dfrac{11}3=\dfrac{11}3\cdot\dfrac9{10}=3.3$ である。回帰直線は $y=1.3+0.9x$ から $y=3.3+0.1x$ に変わり、傾きは $0.9$ から $0.1$ になる（図 3）。相関係数も $0.9$ から約 $0.13$ に下がる。
2 乗の和は大きなずれを大きく数えるので、ほかの点から離れた 1 点に直線が強く引かれる。平均値が外れ値に引っ張られるのと同じ理由である（四分位数と箱ひげ図 の主定理と比べるとよい）。回帰直線を引く前に散布図を描き、離れた点がないかを見る必要がある。
5 点の回帰直線（実線）と、点 (7,2) を加えた 6 点の回帰直線（破線）。1 点で傾きが 0.9 から 0.1 に変わる
ex-spr-five のデータで、今度は $y$ から $x$ を予想する直線 $x=c+dy$ を、横（$x$ 方向）のずれの 2 乗の和で求める。thm-spr-regression で $x$ と $y$ の役割を入れ替えると
$$
d=\frac{s_{xy}}{s_y^2}=\frac{9/5}2=0.9,\qquad c=\bar x-d\bar y=3-0.9\cdot4=-0.6
$$
である。$x=-0.6+0.9y$ を $y$ について解くと $y=\dfrac{x+0.6}{0.9}=\dfrac23+\dfrac{10}9x$ で、傾き $\dfrac{10}9=1.11\ldots$ は $y$ の $x$ への回帰直線の傾き $0.9$ と違う（図 4）。どちらの直線も平均の点 $(3,4)$ を通る。
一般に、$s_x>0$、$s_y>0$、$r\ne0$ のとき、2 本の傾きは $r\dfrac{s_y}{s_x}$ と $\dfrac1r\cdot\dfrac{s_y}{s_x}$（cor-spr-properties (3) を $x,y$ を入れ替えて使う）なので、一致するのは $r^2=1$ のときだけである。$r=0$ なら、$x$ の $y$ への回帰直線は $d=0$ で縦の直線 $x=\bar x$ になり、傾き $\dfrac1r$ は考えられない。たとえば ex-spr-parabola のデータでは、$y$ の $x$ への回帰直線は $y=2$、$x$ の $y$ への回帰直線は $x=0$ である。
y の x への回帰直線（実線）と x の y への回帰直線（破線）。どちらも平均の点を通るが、傾きが違う
5 点 $(-2,4),(-1,1),(0,0),(1,1),(2,4)$ はすべて放物線 $y=x^2$ の上にあり、$x$ から $y$ が完全に決まる。しかし $\bar x=0$、$\bar y=2$ で、
$$
s_{xy}=\frac{(-2)\cdot2+(-1)\cdot(-1)+0\cdot(-2)+1\cdot(-1)+2\cdot2}5=\frac{-4+1+0-1+4}5=0
$$
なので $r=0$、$b=0$ で、回帰直線は水平な $y=2$ になる。残差は $2,\,-1,\,-2,\,-1,\,2$ で、2 乗の和は $14=ns_y^2$（$s_y^2=\frac{14}5$）であり、直線で説明できる部分はない。回帰直線は「直線的な関係」だけを見る道具で、曲がった関係は散布図で見る必要がある（相関係数（高校数学） の反例と同じ現象）。
ex-spr-five の回帰直線 $y=1.3+0.9x$ で、勉強時間 $x=10$ 時間の生徒の点数を予想すると $1.3+9=10.3$ 点になり、10 点満点を超える。$x=0$ なら $1.3$ 点、$x=-1$ という意味のない値を入れれば $0.4$ 点が出てくる。回帰直線は、データのある範囲（ここでは $1\le x\le5$）で点の並びをよく表す直線であって、その外でも同じ関係が続くことは保証しない。
大学数学で見る：正射影と正規方程式
回帰直線を大学の線形代数の言葉で見直す。まず高校数学で解ける問題を置き、次にその背後の構造を述べる。
3 点 $(0,1),(1,1),(2,4)$ について、$S(a,b)=(1-a)^2+(1-a-b)^2+(4-a-2b)^2$ を最小にする $a,b$ と最小値を求めよ。
方針：thm-spr-regression の公式に当てはめ、最小値を prf-spr-regression の段 4 の式で確かめる。
段 1（平均・分散・共分散）。$\bar x=\dfrac{0+1+2}3=1$、$\bar y=\dfrac{1+1+4}3=2$ である。偏差は $x$ が $-1,0,1$、$y$ が $-1,-1,2$ なので、
$$
s_x^2=\frac{1+0+1}3=\frac23,\qquad s_y^2=\frac{1+1+4}3=2,\qquad s_{xy}=\frac{1+0+2}3=1
$$
である。
段 2（公式）。$b=\dfrac{1}{2/3}=\dfrac32$、$a=2-\dfrac32\cdot1=\dfrac12$ である。
段 3（最小値）。最小値は $n\left(s_y^2-\dfrac{s_{xy}^2}{s_x^2}\right)=3\left(2-\dfrac1{2/3}\right)=3\cdot\dfrac12=\dfrac32$ である。直接計算しても、$S\!\left(\frac12,\frac32\right)=\left(\frac12\right)^2+(-1)^2+\left(\frac12\right)^2=\frac32$ で一致する（ex-spr-three）。$\square$
$n$ 個のデータを $\mathbb{R}^n$ のベクトル $\boldsymbol x=(x_1,\dots,x_n)$、$\boldsymbol y=(y_1,\dots,y_n)$ とみて、$\boldsymbol 1=(1,\dots,1)$ とおく。すると
$$
S(a,b)=\bigl\|\boldsymbol y-(a\boldsymbol 1+b\boldsymbol x)\bigr\|^2
$$
は、$\boldsymbol y$ と、$\boldsymbol 1$ と $\boldsymbol x$ の張る平面上の点 $a\boldsymbol 1+b\boldsymbol x$ との距離の 2 乗である。これを最小にする点は、$\boldsymbol y$ からこの平面への 正射影 である。正射影では、残差ベクトル $\boldsymbol e=\boldsymbol y-a\boldsymbol 1-b\boldsymbol x$ が平面に直交する。すなわち
$$
\langle\boldsymbol e,\boldsymbol 1\rangle=\sum e_i=0,\qquad\langle\boldsymbol e,\boldsymbol x\rangle=\sum x_ie_i=0
$$
で、これが cor-spr-properties (2) である。この 2 式を $a,b$ について書くと
$$
na+\Bigl(\sum x_i\Bigr)b=\sum y_i,\qquad\Bigl(\sum x_i\Bigr)a+\Bigl(\sum x_i^2\Bigr)b=\sum x_iy_i
$$
となり、これを 正規方程式 という。ex-spr-three-problem では $\sum x_i=3$、$\sum x_i^2=5$、$\sum y_i=6$、$\sum x_iy_i=0+1+8=9$ なので、$3a+3b=6$、$3a+5b=9$ で、引き算して $2b=3$、$b=\frac32$、$a=2-b=\frac12$ となり、同じ答えが出る。
正射影が距離を最小にすること、正規方程式の解がただ 1 つであるための条件（$\boldsymbol 1$ と $\boldsymbol x$ が 1 次独立、つまり $s_x>0$）は 正射影と射影行列 で証明する。この見方では、$\boldsymbol 1$ と $\boldsymbol x$ の代わりに $\boldsymbol 1,\boldsymbol x,\boldsymbol x^2$ をとれば放物線の当てはめ、説明に使う変量を増やせば重回帰になり、どれも「正射影を 1 回とる」ことで解ける。相関係数が偏差ベクトルのなす角の余弦であることも、同じ図の中で読める（相関係数（高校数学））。
cor-spr-properties (1)(3) から、回帰直線は
$$
\frac{y-\bar y}{s_y}=r\cdot\frac{x-\bar x}{s_x}
$$
と書ける。$x$ が平均から標準偏差の $1$ 倍離れていると、予想される $y$ は平均から標準偏差の $r$ 倍しか離れない（ここでは $s_x>0$、$s_y>0$ とする）。$|r|\le1$ であり、$|r|<1$ のとき、予想は平均の側に寄る（$r=\pm1$ ならすべての点が直線上にあり、寄らない）。Galton は親子の身長のデータで、背の高い親の子の身長が平均の側に寄る現象を見つけ、これを「平均への回帰」と呼んだ（Gal86）。回帰直線の名前はここから来ている。この寄り方は、ex-spr-two-lines で 2 本の直線の傾きが違う理由でもある。
さらに先へ
- 2 乗の和の代わりに絶対値の和 $\sum|y_i-a-bx_i|$ を最小にすると、外れ値に強い直線が得られる。これは中央値が絶対値の和を最小にすること（中央値と絶対誤差）の直線版で、四分位数の損失関数を使えば 分位点回帰 になる。
- 回帰直線を行列で扱い、変量を増やした一般の場合は 最小二乗法 と 回帰分析 で扱う。正規方程式が行列で $A^{\mathsf T}A\boldsymbol\theta=A^{\mathsf T}\boldsymbol y$ と書けることは 正射影と射影行列 にある。
- 2 次関数の最小を 2 回使う証明の筋道は、2次関数の最大・最小 と同じ平方完成である。
関連項目
- 前提: 相関係数（高校数学）, 2次関数の最大・最小, 平均値と二乗誤差
- 前に読む: 相関係数（高校数学）
- 次に読む: 正射影と射影行列
- 関連（高校数学）: 2次関数の最大・最小, 平均値と二乗誤差, 四分位数と箱ひげ図, Cauchy–Schwarzの不等式（高校数学）
- 発展: 最小二乗法, 回帰分析, 正規方程式
- 比較: 中央値と絶対誤差, 分位点回帰
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
