Bernoulli試行

2 ならば 1：独立性の定義（独立性(確率論)）で全体の添字の集合をとると
$$ P(X_1=x_1,\dots,X_n=x_n)=\prod_{i=1}^nP(X_i=x_i)=\prod_{i=1}^np^{x_i}q^{1-x_i}=p^sq^{n-s} $$
である。
1 ならば 2：空でない $J\subset\{1,\dots,n\}$ と $x_j\in\{0,1\}$（$j\in J$）をとる。事象 $\bigcap_{j\in J}\{X_j=x_j\}$ は、$J$ の外の回の値 $x_k$（$k\notin J$）をすべての組み合わせにわたって動かした事象 $\{X_1=x_1,\dots,X_n=x_n\}$ の、互いに交わらない有限個の和である。1 の式は $\prod_{i=1}^np^{x_i}q^{1-x_i}$ と書けるので、有限加法性により
$$ P\Bigl(\bigcap_{j\in J}\{X_j=x_j\}\Bigr)=\prod_{j\in J}p^{x_j}q^{1-x_j}\cdot\prod_{k\notin J}\Bigl(\sum_{x_k\in\{0,1\}}p^{x_k}q^{1-x_k}\Bigr)=\prod_{j\in J}p^{x_j}q^{1-x_j} $$
である（$p+q=1$）。$J=\{i\}$ とすれば $P(X_i=x_i)=p^{x_i}q^{1-x_i}$ なので $X_i$ は Bernoulli 分布に従い、それを代入すると一般の $J$ の式は $P\bigl(\bigcap_{j\in J}\{X_j=x_j\}\bigr)=\prod_{j\in J}P(X_j=x_j)$ となる。これが互いに独立であることの定義である。

事象 $\{S_n=k\}$ は、$x_1+\cdots+x_n=k$ を満たす $(x_1,\dots,x_n)\in\{0,1\}^n$ にわたる事象 $\{X_1=x_1,\dots,X_n=x_n\}$ の互いに交わらない和である。そのような並びは $1$ の位置の選び方だけあるので $\binom nk$ 個で、どれも確率 $p^kq^{n-k}$ をもつ。これで分布の式を得る。
期待値は線形性により $E[S_n]=\sum_iE[X_i]=np$ である。$X_i^2=X_i$ であり、$i\ne j$ のとき $X_iX_j$ は事象 $\{X_i=1\}\cap\{X_j=1\}$ の指示関数で、prop-bt-independence によりその確率は $p^2$ である。したがって
$$ E[S_n^2]=\sum_iE[X_i^2]+\sum_{i\ne j}E[X_iX_j]=np+n(n-1)p^2 $$
となり、$V[S_n]=E[S_n^2]-(E[S_n])^2=np+n(n-1)p^2-n^2p^2=np-np^2=npq$ である。

$m:=\lfloor2^{k-1}\omega\rfloor$ とおくと $m\le2^{k-1}\omega< m+1$ なので $2m\le2^k\omega< 2m+2$ であり、$\lfloor2^k\omega\rfloor$ は $2m$ か $2m+1$ である。したがって $d_k(\omega)\in\{0,1\}$ で、$\lfloor2^k\omega\rfloor=2\lfloor2^{k-1}\omega\rfloor+d_k(\omega)$ が成り立つ。$\lfloor2^0\omega\rfloor=0$ から $k$ についての帰納法により
$$ \lfloor2^n\omega\rfloor=\sum_{k=1}^nd_k(\omega)\,2^{n-k}\qquad(n\ge1) $$
を得る。$(a_1,\dots,a_n)\in\{0,1\}^n$ に対して $M:=\sum_{k=1}^na_k2^{n-k}$ とおくと、2 進表記の一意性により $(a_1,\dots,a_n)\mapsto M$ は $\{0,1\}^n$ から $\{0,1,\dots,2^n-1\}$ への全単射である。よって
$$ \{d_1=a_1,\dots,d_n=a_n\}=\{\lfloor2^n\omega\rfloor=M\}=\Bigl[\frac M{2^n},\frac{M+1}{2^n}\Bigr) $$
であり、この事象の確率は区間の長さ $2^{-n}=(\frac12)^n$ に等しい。これは $p=q=\frac12$ のときの def-bt-trials の式そのものである。

1：$\{T>k\}=\{X_1=\cdots=X_k=0\}$ なので、def-bt-trials により確率は $q^k$ である（$k=0$ では全体で確率 $1$）。$\{T=k\}=\{X_1=\cdots=X_{k-1}=0,\ X_k=1\}$ の確率は $q^{k-1}p$ である。
2：$\{T=\infty\}$ はどの $k$ についても $\{T>k\}$ に含まれるので $P(T=\infty)\le q^k$ である。$0\le q< 1$ なので $q^k\to0$ となり、$P(T=\infty)=0$ である。
3：$p< 1$ なら $P(T>m)=q^m>0$ で条件付き確率が定まり、$\{T>m+k\}\subset\{T>m\}$ なので、その値は $q^{m+k}/q^m=q^k$ である。
4：項が $0$ 以上の二重級数の和の順序を入れ替えて（Sho08 付録 A7、p. 564）
$$ \sum_{k\ge1}kP(T=k)=\sum_{k\ge1}\sum_{j=0}^{k-1}P(T=k)=\sum_{j\ge0}\sum_{k>j}P(T=k)=\sum_{j\ge0}P(j< T< \infty) $$
である。2 により $P(j< T< \infty)=P(T>j)=q^j$ なので、和は $\sum_{j\ge0}q^j=\frac1{1-q}=\frac1p$ である。

$T_r=k$ となるのは、はじめの $k-1$ 回にちょうど $r-1$ 回成功し、$k$ 回目に成功するときである。したがって $\{T_r=k\}$ は、$x_1+\cdots+x_{k-1}=r-1$、$x_k=1$ を満たす $(x_1,\dots,x_k)\in\{0,1\}^k$ にわたる事象 $\{X_1=x_1,\dots,X_k=x_k\}$ の互いに交わらない和である。そのような並びは、はじめの $k-1$ 回のうち成功する $r-1$ 回の選び方だけあるので $\binom{k-1}{r-1}$ 個で、どれも確率 $p^rq^{k-r}$ をもつ。
$0< p\le1$ とする。$T_r=\infty$ ならどの $k$ でも $S_k:=X_1+\cdots+X_k\le r-1$ なので、prop-bt-count により
$$ P(T_r=\infty)\le P(S_k\le r-1)=\sum_{j=0}^{r-1}\binom kjp^jq^{k-j}\le\sum_{j=0}^{r-1}k^jq^{k-j} $$
である。$p=1$ なら $k\ge r$ で右辺は $0$、$0< q< 1$ なら各項は $k\to\infty$ で $0$ に近づくので、$P(T_r=\infty)=0$ である。したがって $\sum_{k\ge r}P(T_r=k)=1$ がすべての $r\ge1$ で成り立つ。期待値は、$k\binom{k-1}{r-1}=r\binom kr$ を使って
$$ \sum_{k\ge r}k\binom{k-1}{r-1}p^rq^{k-r}=\frac rp\sum_{k\ge r}\binom{k}{r}p^{r+1}q^{k-r}=\frac rp\sum_{k'\ge r+1}P(T_{r+1}=k')=\frac rp $$
である（$k'=k+1$ とおいた）。

$|w|:=w_1+\cdots+w_m$、$r:=p^{|w|}q^{m-|w|}$ とおく。$0< p< 1$ かつ $m\ge1$ なので $0< r< 1$ である。$l\ge1$ について、$l$ 番目の区画が $w$ に一致する事象を
$$ E_l:=\{(X_{(l-1)m+1},\dots,X_{lm})=w\} $$
とする。$L\ge1$、$N\ge0$ を固定し、$n:=(L+N)m$ とおく。事象 $E_L^c\cap\cdots\cap E_{L+N}^c$ は、区画 $L,\dots,L+N$ がどれも $w$ でないような $x\in\{0,1\}^n$ にわたる事象 $\{X_1=x_1,\dots,X_n=x_n\}$ の互いに交わらない和である。各 $x$ の確率 $\prod_{i=1}^np^{x_i}q^{1-x_i}$ は区画ごとの積に分かれるので、$u\in\{0,1\}^m$ について $\pi(u):=p^{|u|}q^{m-|u|}$（$\sum_u\pi(u)=(p+q)^m=1$）と書けば
$$ P(E_L^c\cap\cdots\cap E_{L+N}^c)=\Bigl(\sum_{u}\pi(u)\Bigr)^{L-1}\Bigl(\sum_{u\ne w}\pi(u)\Bigr)^{N+1}=(1-r)^{N+1} $$
である。$\bigcap_{l\ge L}E_l^c$ はどの $N$ についても左辺の事象に含まれ、$(1-r)^{N+1}\to0$（$N\to\infty$）なので、その確率は $0$ である。すなわち、すべての $L$ について $P\bigl(\bigcup_{l\ge L}E_l\bigr)=1$ である。
$E_l$ が無限に多くの $l$ で起こる事象は $G:=\bigcap_{L\ge1}\bigcup_{l\ge L}E_l$ で、その余事象 $\bigcup_{L\ge1}\bigcap_{l\ge L}E_l^c$ は確率 $0$ の事象の可算個の和なので確率 $0$ である。よって $P(G)=1$ であり、$G$ の上では $j=(l-1)m$（$E_l$ が起こる $l$）が無限に多く存在する。