順序統計量

$x$ を固定する。事象 $\{X_1\le x\},\dots,\{X_n\le x\}$ は互いに独立で、どれも確率 $F(x)$ をもつ。よって $N(x)$ は二項分布 $B(n,F(x))$ に従う。実際、$0\le j\le n$ について、事象 $\{N(x)=j\}$ は、$j$ 元集合 $A\subset\{1,\dots,n\}$ ごとの事象 $\bigcap_{i\in A}\{X_i\le x\}\cap\bigcap_{i\notin A}\{X_i>x\}$（$\binom nj$ 個あり、互いに交わらない）の和であり、$X_i$ の独立性から各事象の確率は $F(x)^j\bigl(1-F(x)\bigr)^{n-j}$ である（離散確率空間での同じ計算が 二項分布 の命題「成功の回数の分布」である）。定義の後に述べた $\{X_{(k)}\le x\}=\{N(x)\ge k\}$ により
$$ P(X_{(k)}\le x)=P(N(x)\ge k)=\sum_{j=k}^n\binom njF(x)^j\bigl(1-F(x)\bigr)^{n-j} $$
である。$k=n$ なら和は $j=n$ の項 $F(x)^n$ だけであり、$k=1$ なら $P(X_{(1)}>x)=P(N(x)=0)=(1-F(x))^n$ である。$\square$

両辺は $u$ の多項式で、$u=0$ ではどちらも $0$ である（左辺は $j\ge k\ge1$ の項だけなので）。導関数が等しいことを示せばよい。$0\le j\le n-1$ について $a_j(u):=n\binom{n-1}ju^j(1-u)^{n-1-j}$、$a_n(u):=0$ とおく。$j\binom nj=n\binom{n-1}{j-1}$、$(n-j)\binom nj=n\binom{n-1}j$ を使うと、$k\le j\le n$ について
$$ \frac d{du}\Bigl(\binom nju^j(1-u)^{n-j}\Bigr)=j\binom nju^{j-1}(1-u)^{n-j}-(n-j)\binom nju^j(1-u)^{n-j-1}=a_{j-1}(u)-a_j(u) $$
である（$j=n$ では第 2 項は $0$ で、$a_n=0$ と合う）。$j=k,\dots,n$ について足すと、隣り合う項が打ち消し合って左辺の導関数は $a_{k-1}(u)-a_n(u)=n\binom{n-1}{k-1}u^{k-1}(1-u)^{n-k}=\beta_k(u)$ になる。これは右辺の導関数である。$\square$

$0\le u\le1$ では $F(u)=u$ なので、thm-ord-cdf と lem-ord-beta により $P(U_{(k)}\le u)=\int_0^u\beta_k(t)\,dt$ である。$u< 0$ では両辺 $0$、$u>1$ では $P(U_{(k)}\le u)=1=\int_0^1\beta_k$（lem-ord-beta で $u=1$）である。よって 確率密度関数 の定理「分布関数による特徴づけ」により、上の関数は $U_{(k)}$ の密度である。
期待値は、確率密度関数 の定理「密度による期待値の公式」と Beta関数 の系「正の整数での値」$B(a,b)=\frac{(a-1)!(b-1)!}{(a+b-1)!}$ により
$$ E[U_{(k)}]=\frac{n!}{(k-1)!(n-k)!}B(k+1,n-k+1)=\frac{n!}{(k-1)!(n-k)!}\cdot\frac{k!\,(n-k)!}{(n+1)!}=\frac k{n+1} $$
であり、同様に $E[U_{(k)}^2]=\frac{n!}{(k-1)!(n-k)!}B(k+2,n-k+1)=\frac{k(k+1)}{(n+1)(n+2)}$ である。よって $V[U_{(k)}]=\frac{k(k+1)}{(n+1)(n+2)}-\frac{k^2}{(n+1)^2}=\frac{k(n-k+1)}{(n+1)^2(n+2)}$ である。$\square$

$X'_i:=Q(U_i)$ とおく。分位点 の定理「分位点変換と確率積分変換」の 1 により各 $X'_i$ の分布関数は $F$ である。Borel 集合 $B_1,\dots,B_n$ について $\{X'_i\in B_i\}=\{U_i\in Q^{-1}(B_i)\}$ であり（$Q$ は単調なので Borel 可測）、$U_i$ の独立性から $P(X'_1\in B_1,\dots,X'_n\in B_n)=\prod_iP(X'_i\in B_i)$ である。よって $(X'_1,\dots,X'_n)$ と $(X_1,\dots,X_n)$ は、直積集合の上で同じ確率を与え、したがって同じ同時分布に従う（直積集合は共通部分について閉じ、$\mathbb R^n$ の Borel 集合族を生成するので、Dynkinのπ-λ定理 の定理「π系の上で一致する測度の一意性」による）。並べ替えの写像は連続なので、それぞれの順序統計量も同じ同時分布に従う。
最後に、$Q$ は単調非減少なので $Q(U_{(1)})\le\dots\le Q(U_{(n)})$ であり、これは値 $Q(U_1),\dots,Q(U_n)$ を並べ替えたものである。よって $X'_{(k)}=Q(U_{(k)})$ である。$\square$

要点：thm-ord-cdf と lem-ord-beta から $P(X_{(k)}\le x)=\int_0^{F(x)}\beta_k(u)\,du$ である。これが $\int_{-\infty}^x\beta_k(F(s))f(s)\,ds$ に等しいことを、$F(X)$ が一様分布に従うことを使って示す。

$\varepsilon>0$ を固定し、$N_n(x):=\#\{i\le n\mid X_i\le x\}$ とおく。$Z_i:=\mathbf 1_{\{X_i\le x\}}-F(x)$ とおくと、$E[Z_i]=0$、$E[Z_i^2]=F(x)\bigl(1-F(x)\bigr)\le\frac14$ であり、$i\ne j$ では独立性から $E[Z_iZ_j]=P(X_i\le x,X_j\le x)-F(x)^2=0$ である。よって $E\bigl[(N_n(x)/n-F(x))^2\bigr]=\frac1{n^2}\sum_{i\le n}E[Z_i^2]\le\frac1{4n}$ であり、$\mathbf 1_{\{\lvert z\rvert\ge\delta\}}\le z^2/\delta^2$ を $z=N_n(x)/n-F(x)$ に当てて期待値をとると（離散確率空間での同じ評価が 大数の法則 の系「相対頻度の法則」である）、すべての $\delta>0$ で
$$ P\Bigl(\Bigl\lvert\frac{N_n(x)}n-F(x)\Bigr\rvert\ge\delta\Bigr)\le\frac1{4n\delta^2} $$
である。
下側。 $p:=F(\xi-\varepsilon)< \tau$、$\delta:=\frac{\tau-p}2>0$ とおく。$k_n/n\to\tau$ なので、十分大きい $n$ で $k_n/n\ge p+\delta$ である。このとき $\{X_{(k_n)}^{[n]}\le\xi-\varepsilon\}=\{N_n(\xi-\varepsilon)\ge k_n\}\subset\{N_n(\xi-\varepsilon)/n-p\ge\delta\}$ なので、確率は $\frac1{4n\delta^2}$ 以下で、$n\to\infty$ で $0$ に近づく。
上側。 $p':=F(\xi+\varepsilon)>\tau$、$\delta':=\frac{p'-\tau}2>0$ とおく。十分大きい $n$ で $k_n/n\le p'-\delta'$ であり、$\{X_{(k_n)}^{[n]}>\xi+\varepsilon\}=\{N_n(\xi+\varepsilon)< k_n\}\subset\{p'-N_n(\xi+\varepsilon)/n>\delta'\}$ の確率は $\frac1{4n\delta'^2}$ 以下である。
2 つを合わせて $P(\lvert X_{(k_n)}^{[n]}-\xi\rvert>\varepsilon)\to0$ を得る。$\square$