強大数の法則

$A_N:=\bigcup_{n\ge N}\{|Z_n-Z|\ge\varepsilon\}$ は $N$ について減少する事象の列で、$\bigcap_NA_N$ に属する $\omega$ では $|Z_n(\omega)-Z(\omega)|\ge\varepsilon$ となる $n$ が無限個あるので $Z_n(\omega)\not\to Z(\omega)$ である。よって $P\bigl(\bigcap_NA_N\bigr)=0$ であり、測度 の定理「測度の連続性」から $P(A_N)\to0$ である。$P(|Z_N-Z|\ge\varepsilon)\le P(A_N)$ なので主張を得る。
逆が成り立たない例：$[0,1]$ の上の Lebesgue 測度を確率とし、測度 の例「区間を往復する列」の区間 $E_n$ をとって $Z_n:=\mathbf 1_{E_n}$ とおく。$P(|Z_n|\ge\varepsilon)\le\lambda(E_n)\to0$ なので $Z_n$ は $0$ に確率収束するが、すべての $x\in[0,1]$ は無限個の $E_n$ に属し、また $E_n$ の長さは $0$ に近づくので無限個の $E_n$ の外にもあり、$Z_n(x)$ は $0$ と $1$ を無限回とって収束しない。$\square$

各 $\omega$ について、$\sum_{k\ge1}\mathbf 1_{\{|X|>k\}}(\omega)$ は $k<|X(\omega)|$ となる自然数 $k\ge1$ の個数なので $|X(\omega)|$ 以下であり、$\sum_{k\ge1}\mathbf 1_{\{|X|\ge k\}}(\omega)$ は $k\le|X(\omega)|$ となる $k\ge1$ の個数 $\lfloor|X(\omega)|\rfloor$ なので $|X(\omega)|-1$ 以上である。単調収束定理 により $0$ 以上の可測関数の級数の期待値は項ごとの期待値の和なので、$E[\mathbf 1_A]=P(A)$ と合わせて不等式を得る。$\square$

実数 $a\ge1$ について、$m:=\lceil a\rceil$ とおくと
$$ \sum_{k\ge a}\frac1{k^2}=\sum_{k\ge m}\frac1{k^2}\le\frac1{m^2}+\int_m^\infty\frac{dt}{t^2}=\frac1{m^2}+\frac1m\le\frac2m\le\frac2a $$
である（$k\ge m+1$ の項は $\int_{k-1}^k t^{-2}\,dt$ 以下）。単調収束定理 で和と期待値を入れ替えると、左辺は $E\bigl[X^2\sum_{k\ge\max(1,|X|)}k^{-2}\bigr]$ に等しく、これは $E\bigl[2X^2/\max(1,|X|)\bigr]$ 以下である。$|X|\ge1$ なら $2X^2/|X|=2|X|$、$|X|<1$ なら $2X^2\le2|X|$ なので、全体は $2E|X|$ 以下である。$\square$

段 0（$X_j\ge0$ への帰着）。 $X_j^+:=\max(X_j,0)$、$X_j^-:=\max(-X_j,0)$ は $X_j$ の Borel 可測関数なので、列 $(X_j^+)$ と $(X_j^-)$ はそれぞれ 2 つずつ独立で同じ分布に従い、$0\le X_j^\pm\le|X_j|$ から可積分である。$0$ 以上の場合に定理が示されれば、$\frac1n\sum_{j\le n}X_j^+\to E[X_1^+]$ と $\frac1n\sum_{j\le n}X_j^-\to E[X_1^-]$ がそれぞれ a.s. に成り立ち、2 つの確率 $1$ の事象の共通部分の上で $\frac{S_n}n\to E[X_1^+]-E[X_1^-]=\mu$ である。以下 $X_j\ge0$ とする。
段 1（切り捨て）。 $Y_j:=X_j\mathbf 1_{\{X_j\le j\}}$、$T_m:=Y_1+\dots+Y_m$ とおく。同じ分布であることと lem-slln-tail から
$$ \sum_{j=1}^\infty P(X_j\ne Y_j)=\sum_{j=1}^\infty P(X_j>j)=\sum_{j=1}^\infty P(X_1>j)\le E[X_1]<\infty $$
である。測度 の定理「Borel–Cantelliの補題」により、a.s. に $X_j\ne Y_j$ となる $j$ は有限個であり、そのような $\omega$ では $|S_m(\omega)-T_m(\omega)|$ は $m$ によらない数 $R(\omega)$ で押さえられ、$\frac{S_m-T_m}m\to0$ である。よって $\frac{T_m}m\to\mu$ a.s. を示せばよい。
段 2（期待値）。 $E[Y_j]=E[X_1\mathbf 1_{\{X_1\le j\}}]$ であり、$j\to\infty$ で $X_1\mathbf 1_{\{X_1\le j\}}\to X_1$（各点）、$0\le X_1\mathbf 1_{\{X_1\le j\}}\le X_1$ なので、優収束定理 により $E[Y_j]\to\mu$ である。収束する数列の平均は同じ極限に収束するので、$\frac{E[T_m]}m=\frac1m\sum_{j\le m}E[Y_j]\to\mu$ である。
段 3（部分列での収束）。 $\alpha>1$ を固定し、$n\ge1$ について $\ell(n):=\lfloor\alpha^n\rfloor$ とおく。$\ell(n)\ge1$ であり、$y\ge1$ なら $\lfloor y\rfloor\ge\frac y2$ なので $\ell(n)^{-2}\le4\alpha^{-2n}$ である。$Y_j$ は $0\le Y_j\le j$ なので 2 乗可積分で、2 つずつ独立である。$\varepsilon>0$ について、Chebyshevの不等式 の定理「Chebyshev の不等式」と分散の和の公式から
$$ \sum_{n=1}^\infty P\bigl(|T_{\ell(n)}-E[T_{\ell(n)}]|\ge\varepsilon\,\ell(n)\bigr)\le\frac1{\varepsilon^2}\sum_{n=1}^\infty\frac1{\ell(n)^2}\sum_{j=1}^{\ell(n)}V[Y_j]=\frac1{\varepsilon^2}\sum_{j=1}^\infty V[Y_j]\sum_{n:\,\ell(n)\ge j}\frac1{\ell(n)^2} $$
である（$0$ 以上の項の二重級数なので和の順序を入れ替えてよい）。$\ell(n)\ge j$ なら $\alpha^n\ge j$ なので、$\alpha^{n_0}\ge j$ となる最小の $n_0$ をとると
$$ \sum_{n:\,\ell(n)\ge j}\frac1{\ell(n)^2}\le\sum_{n\ge n_0}4\alpha^{-2n}=\frac{4\alpha^{-2n_0}}{1-\alpha^{-2}}\le\frac{4}{(1-\alpha^{-2})\,j^2} $$
である。$V[Y_j]\le E[Y_j^2]=E\bigl[X_1^2\mathbf 1_{\{X_1\le j\}}\bigr]$ と lem-slln-second から、上の和は $\frac{8E[X_1]}{\varepsilon^2(1-\alpha^{-2})}$ 以下で有限である。Borel–Cantelli の補題により、a.s. に十分大きいすべての $n$ で $|T_{\ell(n)}-E[T_{\ell(n)}]|<\varepsilon\,\ell(n)$ である。$\varepsilon=\frac1r$（$r=1,2,\dots$）の可算個について同時に成り立つので、$\frac{T_{\ell(n)}-E[T_{\ell(n)}]}{\ell(n)}\to0$ a.s. であり、$\ell(n)\to\infty$ と段 2 から $\frac{T_{\ell(n)}}{\ell(n)}\to\mu$ a.s. である。
段 4（部分列のあいだ）。 $Y_j\ge0$ なので $T_m$ は $m$ について単調非減少である。$m\ge\ell(1)$ について、$\ell(n)\le m$ となる最大の $n$ をとると $\ell(n)\le m<\ell(n+1)$ であり、
$$ \frac{\ell(n)}{\ell(n+1)}\cdot\frac{T_{\ell(n)}}{\ell(n)}=\frac{T_{\ell(n)}}{\ell(n+1)}\le\frac{T_m}m\le\frac{T_{\ell(n+1)}}{\ell(n)}=\frac{\ell(n+1)}{\ell(n)}\cdot\frac{T_{\ell(n+1)}}{\ell(n+1)} $$
である。$m\to\infty$ のとき $n\to\infty$ であり、$\alpha^n-1<\ell(n)\le\alpha^n$ から $\frac{\ell(n+1)}{\ell(n)}\to\alpha$ である。段 3 の事象の上で
$$ \frac\mu\alpha\le\liminf_{m\to\infty}\frac{T_m}m\le\limsup_{m\to\infty}\frac{T_m}m\le\alpha\mu $$
である。$\alpha=1+\frac1r$（$r=1,2,\dots$）の可算個について同時に成り立つので、$\frac{T_m}m\to\mu$ a.s. である。段 1 とあわせて定理が示された。$\square$

$M< N$ とする。$\Omega\setminus A_n=\{X_n\in\mathbb R\setminus B_n\}$ なので、独立性の定義から $P\bigl(\bigcap_{n=M}^N(\Omega\setminus A_n)\bigr)=\prod_{n=M}^N(1-P(A_n))$ であり、$1-x\le e^{-x}$ からこれは $\exp\bigl(-\sum_{n=M}^NP(A_n)\bigr)$ 以下で、$N\to\infty$ で $0$ に近づく。測度 の定理「測度の連続性」により $P\bigl(\bigcap_{n\ge M}(\Omega\setminus A_n)\bigr)=0$、すなわち $P\bigl(\bigcup_{n\ge M}A_n\bigr)=1$ である。$M=1,2,\dots$ の可算個の共通部分をとれば、無限個の $A_n$ が起こる事象の確率は $1$ である。$\square$

lem-slln-tail と同じ分布であることから $\sum_nP(|X_n|\ge n)=\sum_nP(|X_1|\ge n)\ge E|X_1|-1=\infty$ なので、lem-slln-bc2 により前半が成り立つ。$\frac{S_n(\omega)}n\to c\in\mathbb R$ となる $\omega$ では
$$ \frac{X_n(\omega)}n=\frac{S_n(\omega)}n-\frac{n-1}n\cdot\frac{S_{n-1}(\omega)}{n-1}\to c-c=0 $$
なので、$|X_n(\omega)|\ge n$ となる $n$ は有限個しかない。よってその事象は前半の確率 $1$ の事象と交わらず、確率 $0$ である。$\square$

自然数 $M$ について $\min(X_j,M)$ は thm-slln-main の仮定を満たすので、a.s. に $\liminf_n\frac{S_n}n\ge\lim_n\frac1n\sum_{j\le n}\min(X_j,M)=E[\min(X_1,M)]$ である。$M=1,2,\dots$ について同時に成り立ち、単調収束定理 により $E[\min(X_1,M)]\to E[X_1]=\infty$ である。$\square$

要点：$S_{N_t}\le t< S_{N_t+1}$ を $N_t$ で割り、$N_t\to\infty$ と thm-slln-main を使う。