相関係数

$aX+b-E[aX+b]=a(X-E[X])$ なので $\mathrm{Cov}[aX+b,cY+d]=ac\,\mathrm{Cov}[X,Y]$、$V[aX+b]=a^2V[X]$、$V[cY+d]=c^2V[Y]$ である。よって $\rho(aX+b,cY+d)=\dfrac{ac}{\lvert a\rvert\lvert c\rvert}\rho(X,Y)$ である。$\square$

2：$E[U]=E[Y]-\alpha^*-\beta^*E[X]=0$ である。$\mathrm{Cov}[U,X]=\mathrm{Cov}[Y,X]-\beta^*V[X]=0$ である（共分散は各変数について線形で、定数との共分散は $0$）。
1：任意の $a,b$ について $Y-a-bX=U+(\alpha^*-a)+(\beta^*-b)X$ である。$c:=\alpha^*-a+(\beta^*-b)E[X]$、$\delta:=\beta^*-b$ とおくと、$Y-a-bX=U+c+\delta(X-E[X])$ と書ける。2 乗して期待値をとると、2 の $E[U]=0$ と $E[U(X-E[X])]=\mathrm{Cov}[U,X]=0$、$E\bigl[X-E[X]\bigr]=0$ により交差項が消え、
$$ E\bigl[(Y-a-bX)^2\bigr]=E[U^2]+c^2+\delta^2V[X] $$
を得る。$V[X]>0$ なので右辺は $E[U^2]$ 以上で、等号は $c=\delta=0$、すなわち $b=\beta^*$ かつ $a=\alpha^*$ のときに限る。
3：$U=(Y-E[Y])-\beta^*(X-E[X])$ なので
$$ E[U^2]=V[Y]-2\beta^*\mathrm{Cov}[X,Y]+(\beta^*)^2V[X]=V[Y]-\frac{\mathrm{Cov}[X,Y]^2}{V[X]} $$
である。$V[Y]>0$ なら、これは $V[Y]\bigl(1-\frac{\mathrm{Cov}[X,Y]^2}{V[X]V[Y]}\bigr)=V[Y](1-\rho^2)$ である。$\square$

共分散も右辺も $(X,Y)$ の同時分布だけで決まるので、$(X,Y)$ と同じ分布に従う組 $(X',Y')$ を、$(X,Y)$ と独立になるように積の確率空間の上にとって計算してよい。
段 1。 $E[(X-X')(Y-Y')]=2\,\mathrm{Cov}[X,Y]$ である。実際、展開すると $E[XY]+E[X'Y']-E[XY']-E[X'Y]$ であり、独立性から $E[XY']=E[X]E[Y']=E[X]E[Y]$（積の確率空間の上で Fubiniの定理 を使う）、同様に $E[X'Y]=E[X]E[Y]$、また $E[X'Y']=E[XY]$ である。
段 2。 差の積分表示を $X,X'$ と $Y,Y'$ に使い、積をとると
$$ (X-X')(Y-Y')=\int\!\!\int\bigl(\mathbf 1_{\{X'\le s\}}-\mathbf 1_{\{X\le s\}}\bigr)\bigl(\mathbf 1_{\{Y'\le t\}}-\mathbf 1_{\{Y\le t\}}\bigr)\,ds\,dt $$
である。被積分関数の絶対値の $(s,t)$ についての積分は $\lvert X-X'\rvert\lvert Y-Y'\rvert$ であり、$\lvert X-X'\rvert\lvert Y-Y'\rvert\le\frac12(X-X')^2+\frac12(Y-Y')^2$ の期待値は有限である。よって Fubiniの定理 により、期待値と $(s,t)$ についての積分を入れ替えてよい。
段 3。 各 $(s,t)$ で、被積分関数の期待値は
$$ P(X'\le s,Y'\le t)-P(X'\le s,Y\le t)-P(X\le s,Y'\le t)+P(X\le s,Y\le t)=2H(s,t)-2F(s)G(t) $$
である（2 項目と 3 項目は独立性から $F(s)G(t)$）。段 1・2 と合わせて $2\,\mathrm{Cov}[X,Y]=\int\!\!\int2(H-FG)\,ds\,dt$ を得る。可積分性は、$2\lvert H-FG\rvert$ が被積分関数の絶対値の期待値以下で、その積分が段 2 で有限だったことによる。$\square$

1：独立なら $H(s,t)=P(X\le s)P(Y\le t)=F(s)G(t)$ なので、thm-cor-hoeffding の被積分関数は $0$ である。
2：$D:=H-FG\ge0$ なので thm-cor-hoeffding から $\mathrm{Cov}\ge0$ である。$\mathrm{Cov}=0$ とすると、$D\ge0$ の積分が $0$ なので、$D=0$ がほとんどいたるところで成り立つ。任意の $(s_0,t_0)$ をとる。正方形 $[s_0,s_0+\frac1k)\times[t_0,t_0+\frac1k)$ は測度が正なので、その中に $D(s_k,t_k)=0$ となる点がある。$H(s_0,t_0)\le H(s_k,t_k)\le H(s_0+\frac1k,t_0+\frac1k)$ であり、事象 $\{X\le s_0+\frac1k,\,Y\le t_0+\frac1k\}$ は $k$ について減少して共通部分が $\{X\le s_0,Y\le t_0\}$ なので、確率空間 の命題「確率の連続性」により $H(s_k,t_k)\to H(s_0,t_0)$ である。同様に $F(s_k)G(t_k)\to F(s_0)G(t_0)$ である。よって $D(s_0,t_0)=0$ がすべての点で成り立つ。2 つの確率変数は、すべての $s,t$ で $H(s,t)=F(s)G(t)$ なら独立である（Dur19 Theorem 2.1.8（p. 47）。この記事では証明しない）。
3：$A:=\{g(X)\le s\}$、$B:=\{h(X)\le t\}$ とおく。$g$ が非減少なので、$g(x)\le s$ となる $x$ の全体 $I$ は「$x\in I$、$x'< x$ なら $x'\in I$」を満たす区間（空集合、$\mathbb R$、$(-\infty,c)$、$(-\infty,c]$ のどれか）であり、$h$ についての $J$ も同様である。このような区間の 2 つは一方が他方に含まれるので、$A=\{X\in I\}$ と $B=\{X\in J\}$ も一方が他方に含まれ、
$$ P(A\cap B)=\min\bigl(P(A),P(B)\bigr)\ge P(A)P(B) $$
である。よって $(g(X),h(X))$ は正の象限従属で、2 から共分散は $0$ 以上である。$\square$

$\bar X_n:=\frac1n\sum_{i\le n}X_i$ とし、同様に $\bar Y_n$、$\overline{XY}_n$、$\overline{X^2}_n$、$\overline{Y^2}_n$ を定める。$X_iY_i$ は可積分で、$X_i,Y_i,X_iY_i,X_i^2,Y_i^2$ のそれぞれが独立で同じ分布に従う可積分な確率変数の列なので、大数の強法則（Dur19 Theorem 2.4.1（p. 76）。この記事では証明しない）により、確率 $1$ の事象 $\Omega_0$ の上で 5 つの平均がそれぞれ $E[X]$、$E[Y]$、$E[XY]$、$E[X^2]$、$E[Y^2]$ に収束する。$r_n$ の分子と分母を $n$ で割ると
$$ r_n=\frac{\overline{XY}_n-\bar X_n\bar Y_n}{\sqrt{\overline{X^2}_n-\bar X_n^2}\sqrt{\overline{Y^2}_n-\bar Y_n^2}} $$
である。$\Omega_0$ の上では、分母の 2 つの根号の中身が $V[X]>0$、$V[Y]>0$ に収束するので、十分大きい $n$ で正になり（このとき $r_n$ は定義される）、分子は $\mathrm{Cov}[X,Y]$ に収束する。関数 $(p,q,u,v,w)\mapsto\dfrac{u-pq}{\sqrt{v-p^2}\sqrt{w-q^2}}$ は $v>p^2$、$w>q^2$ の範囲で連続なので、$\Omega_0$ の上で $r_n\to\rho(X,Y)$ である。$\square$