統計学
概要
統計学（statistics）とは、観測したデータを確率変数の実現値とみて、データを生んだ確率分布について推論する方法を研究する分野である。分布の候補の族（統計モデル）を立て、データの関数（統計量）を使って、未知の母数を値で見積もる推定、範囲で見積もる区間推定、仮説の当否を判断する仮説検定を行い、その手続きのよさを、真の母数が何であっても成り立つ確率の性質として評価する。標本空間が可算のとき、条件付き分布が母数によらない統計量（十分統計量）は確率関数の因子分解で見分けられ、2 乗可積分な推定量を十分統計量で条件付けると、平均二乗誤差が増えない推定量が得られる（Rao–Blackwell の定理）。
統計学 は、観測したデータから、そのデータを生んだ確率分布について推論する方法を研究する分野である。確率論は「分布が分かっているとき、データがどう振る舞うか」を問う。統計学は向きが逆で、「データが手元にあるとき、分布について何が言えるか」を問う。硬貨を $100$ 回投げて表が $58$ 回出たとき、確率論は公平な硬貨でこれが起こる確率を計算し、統計学はその計算を使って「表の出る確率はいくらと見積もるのがよいか」「公平だと考えてよいか」に答える。
数学としての統計学（数理統計学）は、データを確率変数の実現値とみて、分布の候補の族（統計モデル）を立て、データの関数（統計量）で未知の分布についての問いに答える手続きを作り、その手続きのよさを確率で測る。問いの型は、未知の量を 1 つの値で見積もる 推定、範囲で見積もる 区間推定、仮説の当否を判断する 仮説検定 の 3 つが基本である。Fisher は統計の問題を、母集団の分布の形を選ぶ問題、母数を推定する問題、統計量の分布を求める問題の 3 つに分けている（Fis22 §3、p. 313）。
この記事は統計学の案内である。前半で統計モデル・統計量・推定量の定義と、推定・区間推定・検定の 3 つの問いを述べる。中ほどで、統計学の代表的な定理として、データの情報を損なわずに要約する 十分統計量 と、それによって推定量を改良する Rao–Blackwell の定理 を、離散的なデータの場合に完全に証明する。後半で主な結果と学ぶ順を、対応する記事とともに一覧する。
統計学の枠組み
- 統計モデル：可測空間 $(\mathcal X,\mathcal A)$ とその上の確率分布の族 $\{P_\theta\}_{\theta\in\Theta}$ の組。$\mathcal X$ を 標本空間、$\Theta$ を 母数空間、$\theta$ を 母数 という。データ $X$ は $\mathcal X$ に値をとる確率変数で、その分布はある未知の $\theta$ について $P_\theta$ であるとする。$\theta$ についての確率・期待値を $P_\theta$、$E_\theta$ と書く。
- 統計量：可測空間 $\mathcal T$ への可測写像 $T\colon\mathcal X\to\mathcal T$。$T$ は $\theta$ を含まない式で決まるので、データ $X$ から $T(X)$ が計算できる。
- 推定量：母数の関数 $\tau\colon\Theta\to\mathbb R$ を見積もるために使う実数値の統計量 $\delta\colon\mathcal X\to\mathbb R$。$\tau(\theta)$ を 推定対象 という。
- 偏り と 平均二乗誤差：$E_\theta[\delta(X)^2]< \infty$ のとき、$b_\theta(\delta):=E_\theta[\delta(X)]-\tau(\theta)$ を偏り、$\mathrm{MSE}_\theta(\delta):=E_\theta[(\delta(X)-\tau(\theta))^2]$ を平均二乗誤差という。すべての $\theta$ で $b_\theta(\delta)=0$ のとき、$\delta$ は $\tau$ の 不偏推定量 であるという。
$\Theta$ が $\mathbb R^d$ の部分集合のとき パラメトリックなモデル という。もっとも基本的なのは、$X=(X_1,\dots,X_n)$ が互いに独立で同じ分布 $Q_\theta$ に従う場合で、$X_1,\dots,X_n$ を大きさ $n$ の 標本 という（母集団と標本）。たとえば硬貨投げは、$X_i\in\{0,1\}$、$P_p(X_i=1)=p$、$\Theta=(0,1)$ のモデルである。
推定量のよさを平均二乗誤差で測るとき、次の分解が基本になる。
$E_\theta[\delta(X)^2]< \infty$ なら、$\mathrm{MSE}_\theta(\delta)=\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ である。とくに不偏推定量の平均二乗誤差は分散に等しい。
$m:=E_\theta[\delta(X)]$ とおくと $\delta(X)-\tau(\theta)=(\delta(X)-m)+(m-\tau(\theta))$ である。2 乗して期待値をとると、交差項は $2(m-\tau(\theta))E_\theta[\delta(X)-m]=0$ なので、$E_\theta[(\delta(X)-m)^2]+(m-\tau(\theta))^2$ が残る。$\square$
統計学の 3 つの問い
| 問い | 答えの形 | よさの基準 | 記事 |
|---|---|---|---|
| 点推定 | 推定量 $\delta(X)$ | 不偏性、平均二乗誤差、一致性（$n\to\infty$ で真の値に近づく） | 推定量のよさ, 最尤推定 |
| 区間推定 | 区間 $[L(X),U(X)]$ | どの $\theta$ でも真の値を含む確率が $1-\alpha$ 以上 | 信頼区間 |
| 仮説検定 | 棄却するかどうか | 帰無仮説のもとで誤って棄却する確率が $\alpha$ 以下、そのうえで検出力が大きい | 統計的仮説検定, p値 |
3 つの問いは互いに結びついている。信頼集合は各母数値での検定で棄却されない値の全体と一致し（信頼区間 の定理「信頼集合と検定の双対性」）、$p$ 値は棄却できる最小の有意水準である（p値）。どの問いでも、手続きのよさは「真の $\theta$ が何であっても保証される性質」として述べられる。$\theta$ は未知なので、特定の $\theta$ でだけよい手続きは役に立たない。
代表的な定理：十分統計量と Rao–Blackwell の定理
データ全体 $X$ を持っていなくても、ある統計量 $T(X)$ の値さえ分かれば $\theta$ についての推論には足りる、ということがある。硬貨を $n$ 回投げたとき、表が何回目に出たかは表の出る確率 $p$ について何も教えず、表の回数だけが意味をもつように見える。これを数学として述べるのが十分統計量である。Fisher は、同じ標本から計算するほかのどの統計量も推定する母数の値についての情報を付け加えないとき、その統計量は十分性の基準を満たすと述べた（Fis22 p. 310）。
この節では、標本空間 $\mathcal X$ が可算集合で、$\mathcal A$ がそのすべての部分集合の族である場合を扱う。$f_\theta(x):=P_\theta(X=x)$ とおき、統計量は可算集合 $\mathcal T$ への写像 $T$ とする。
統計量 $T\colon\mathcal X\to\mathcal T$ が 十分統計量（sufficient statistic）であるとは、$\theta$ によらない関数 $w\colon\mathcal X\to[0,1]$ があって、すべての $\theta\in\Theta$ と $x\in\mathcal X$ について
$$
f_\theta(x)=w(x)\,P_\theta\bigl(T(X)=T(x)\bigr)
$$
が成り立つことをいう。
$P_\theta(T(X)=t)>0$ なら、$T(x)=t$ を満たす $x$ について $P_\theta(X=x\mid T(X)=t)=w(x)$ である。つまり $T$ の値を知ったあとの $X$ の条件付き分布が $\theta$ によらない。$T$ の値を知ったうえで $X$ の残りの部分を見ても、$\theta$ によらない乱数を見るのと同じであり、$\theta$ についての情報は増えない。
十分統計量は、確率関数の形から次のように見分けられる。
統計量 $T\colon\mathcal X\to\mathcal T$ が十分統計量であることは、関数 $g_\theta\colon\mathcal T\to[0,\infty)$（$\theta\in\Theta$）と $\theta$ によらない関数 $h\colon\mathcal X\to[0,\infty)$ があって、すべての $\theta$ と $x$ について
$$
f_\theta(x)=g_\theta\bigl(T(x)\bigr)\,h(x)
$$
と書けることと同値である。
十分なら分解できる。 $g_\theta(t):=P_\theta(T(X)=t)$、$h:=w$ とおけば、定義の式がそのまま分解の式になる。
分解できるなら十分。 $t\in\mathcal T$ について $H(t):=\sum_{y\colon T(y)=t}h(y)\in[0,\infty]$ とおく。$T(y)=t$ を満たす $y$ について足し合わせると
$$
P_\theta(T(X)=t)=\sum_{y\colon T(y)=t}g_\theta(t)\,h(y)=g_\theta(t)\,H(t)
$$
である（$0\cdot\infty=0$ と約束する）。左辺は $1$ 以下なので、$g_\theta(t)>0$ となる $\theta$ が 1 つでもあれば $H(t)< \infty$ である。$w(x):=h(x)/H(T(x))$（$0< H(T(x))< \infty$ のとき）、$w(x):=0$（それ以外のとき）と定める。$h(x)\le H(T(x))$ なので $0\le w\le1$ であり、$w$ は $\theta$ によらない。$t:=T(x)$ として、定義の式を 3 つの場合に分けて確かめる。
- $0< H(t)< \infty$ のとき：$f_\theta(x)=g_\theta(t)h(x)=g_\theta(t)H(t)\cdot\dfrac{h(x)}{H(t)}=P_\theta(T(X)=t)\,w(x)$。
- $H(t)=0$ のとき：$h(x)=0$ なので両辺とも $0$。
- $H(t)=\infty$ のとき：上の注意からすべての $\theta$ で $g_\theta(t)=0$ なので、$f_\theta(x)=0$ であり、右辺も $P_\theta(T(X)=t)=g_\theta(t)H(t)=0$ より $0$。
よって $T$ は十分統計量である。$\square$
- 硬貨投げ：$X_1,\dots,X_n$ が互いに独立で $P_p(X_i=1)=p$、$P_p(X_i=0)=1-p$（$0< p< 1$）なら、$x\in\{0,1\}^n$ について $f_p(x)=p^{t}(1-p)^{n-t}$（$t=x_1+\dots+x_n$）である。$g_p(t)=p^t(1-p)^{n-t}$、$h=1$ として、表の回数 $T=X_1+\dots+X_n$ は十分統計量である。$w(x)=1/\binom nt$ であり、表の回数を知ったあとの並び方は、$\binom nt$ 通りのどれも同じ確率になる。
- 個数のデータ：$X_1,\dots,X_n$ が互いに独立で、どれも平均 $\lambda>0$ の Poisson分布 に従うなら、$x\in\mathbb Z_{\ge0}^n$ について
$$ f_\lambda(x)=\prod_{i=1}^n\frac{e^{-\lambda}\lambda^{x_i}}{x_i!}=e^{-n\lambda}\lambda^{x_1+\dots+x_n}\cdot\frac1{x_1!\cdots x_n!} $$
である。$g_\lambda(t)=e^{-n\lambda}\lambda^t$、$h(x)=1/(x_1!\cdots x_n!)$ として、和 $T=X_1+\dots+X_n$ は十分統計量である。
次の定理は、十分統計量の値で条件付けると、どの推定量も平均二乗誤差を増やさずに $T$ だけの関数に取り替えられることを述べる。
$T\colon\mathcal X\to\mathcal T$ を十分統計量とし、$w$ を def-stat-sufficient の関数とする。推定量 $\delta\colon\mathcal X\to\mathbb R$ がすべての $\theta$ について $E_\theta[\delta(X)^2]< \infty$ を満たすとする。$t\in\mathcal T$ について、級数 $\sum_{x\colon T(x)=t}w(x)\delta(x)$ が絶対収束するならその和を $\eta(t)$ とし、そうでなければ $\eta(t):=0$ とおく。このとき、すべての $\theta\in\Theta$ について次が成り立つ。
- $P_\theta(T(X)=t)>0$ となるすべての $t$ で、級数は絶対収束し、$\eta(t)=E_\theta[\delta(X)\mid T(X)=t]$ である。
- $E_\theta[\eta(T(X))^2]< \infty$ かつ $E_\theta[\eta(T(X))]=E_\theta[\delta(X)]$ である。
- どの実数 $c$ についても
$$ E_\theta\bigl[(\delta(X)-c)^2\bigr]=E_\theta\bigl[(\eta(T(X))-c)^2\bigr]+E_\theta\bigl[(\delta(X)-\eta(T(X)))^2\bigr]. $$
とくに $\mathrm{MSE}_\theta(\eta\circ T)\le\mathrm{MSE}_\theta(\delta)$ であり、等号は $P_\theta\bigl(\delta(X)=\eta(T(X))\bigr)=1$ のときに限る。
$\eta$ の定義には $\theta$ が現れないので、$\eta\circ T$ はデータから計算できる推定量である。2 により、$\delta$ が $\tau$ の不偏推定量なら $\eta\circ T$ も不偏であり、3 で $c=\tau(\theta)$ とおくと、その分散は $\delta$ の分散以下である。
$\theta$ を固定し、$q_t:=P_\theta(T(X)=t)$ とおく。
1。 $q_t>0$ とする。$T(x)=t$ なら $f_\theta(x)=w(x)q_t$ なので、$T(x)=t$ を満たす $x$ について足して $\sum_{x\colon T(x)=t}w(x)=1$ を得る。また
$$
\sum_{x\colon T(x)=t}w(x)\delta(x)^2=\frac1{q_t}\sum_{x\colon T(x)=t}f_\theta(x)\delta(x)^2\le\frac{E_\theta[\delta(X)^2]}{q_t}< \infty
$$
である。重み $w(x)$ についての Cauchy–Schwarzの不等式 により
$$
\Bigl(\sum_{x\colon T(x)=t}w(x)\lvert\delta(x)\rvert\Bigr)^2\le\sum_{x\colon T(x)=t}w(x)\cdot\sum_{x\colon T(x)=t}w(x)\delta(x)^2=\sum_{x\colon T(x)=t}w(x)\delta(x)^2
$$
なので、級数は絶対収束し、
$$
\eta(t)=\sum_{x\colon T(x)=t}\delta(x)\frac{f_\theta(x)}{q_t}=E_\theta[\delta(X)\mid T(X)=t]
$$
である。同じ不等式から $\eta(t)^2\le\sum_{x\colon T(x)=t}w(x)\delta(x)^2$ も得られる。
2。 $q_t=0$ の $t$ は期待値に寄与しない。1 の最後の不等式に $q_t$ を掛けて $t$ について足すと
$$
E_\theta[\eta(T(X))^2]=\sum_{t\colon q_t>0}q_t\,\eta(t)^2\le\sum_{t\colon q_t>0}\ \sum_{x\colon T(x)=t}f_\theta(x)\delta(x)^2=E_\theta[\delta(X)^2]< \infty
$$
である。$E_\theta\lvert\delta(X)\rvert< \infty$ なので和の順序を入れ替えてよく、
$$
E_\theta[\eta(T(X))]=\sum_{t\colon q_t>0}q_t\sum_{x\colon T(x)=t}\delta(x)\frac{f_\theta(x)}{q_t}=\sum_{x\in\mathcal X}\delta(x)f_\theta(x)=E_\theta[\delta(X)].
$$
3。 $D:=\delta(X)-\eta(T(X))$、$R:=\eta(T(X))-c$ とおくと $\delta(X)-c=D+R$ である。$D,R$ は 2 乗可積分なので（2 による）$DR$ は可積分であり、$E_\theta[(\delta(X)-c)^2]=E_\theta[R^2]+2E_\theta[DR]+E_\theta[D^2]$ となる。交差項は、$t$ ごとに分けて
$$
E_\theta[DR]=\sum_{t\colon q_t>0}(\eta(t)-c)\sum_{x\colon T(x)=t}(\delta(x)-\eta(t))f_\theta(x)=\sum_{t\colon q_t>0}(\eta(t)-c)\,q_t\Bigl(\sum_{x\colon T(x)=t}w(x)\delta(x)-\eta(t)\sum_{x\colon T(x)=t}w(x)\Bigr)
$$
であり、1 により括弧の中は $\eta(t)-\eta(t)\cdot1=0$ である。よって等式が成り立つ。$E_\theta[D^2]\ge0$ から不等式が従い、等号は $E_\theta[D^2]=0$、すなわち $P_\theta(D=0)=1$ のときに限る。$\square$
例：推定量を十分統計量で改良する
ex-stat-sufficient の 1 で、$\delta(X):=X_1$ は $p$ の不偏推定量であり、分散は $p(1-p)$ である。表の回数 $T$ が $t$ のとき、並び方はどれも確率 $1/\binom nt$ なので、$X_i=1$ となる並び方の割合はどの $i$ についても同じである。$\sum_{i=1}^nE_p[X_i\mid T=t]=t$ より $\eta(t)=E_p[X_1\mid T=t]=t/n$ となり、改良した推定量は標本平均 $\bar X=T/n$ である。その分散は $p(1-p)/n$ で、$n\ge2$ なら $\delta$ の分散より真に小さい。
ex-stat-sufficient の 2 で $n\ge2$ とし、推定対象を $\tau(\lambda):=e^{-\lambda}=P_\lambda(X_1=0)$ とする。$\delta(X):=\mathbf 1\{X_1=0\}$ は不偏推定量である。$X_2+\dots+X_n$ は平均 $(n-1)\lambda$ の Poisson 分布に従い（Poisson分布 の定理「Poisson 分布の再生性」）、$X_1$ と独立なので、
$$
\eta(t)=P_\lambda(X_1=0\mid T=t)=\frac{e^{-\lambda}\cdot e^{-(n-1)\lambda}\frac{((n-1)\lambda)^t}{t!}}{e^{-n\lambda}\frac{(n\lambda)^t}{t!}}=\Bigl(1-\frac1n\Bigr)^{t}
$$
である。thm-stat-rao-blackwell により $(1-\frac1n)^T$ も $e^{-\lambda}$ の不偏推定量で、分散は $\delta$ の分散以下である。実際、$T$ は平均 $n\lambda$ の Poisson 分布に従うので $E_\lambda[s^T]=e^{n\lambda(s-1)}$ であり、$s=1-\frac1n$ と $s=(1-\frac1n)^2$ を代入すると
$$
E_\lambda\Bigl[\Bigl(1-\frac1n\Bigr)^T\Bigr]=e^{-\lambda},\qquad \mathrm{Var}_\lambda\Bigl(\Bigl(1-\frac1n\Bigr)^T\Bigr)=e^{-2\lambda+\lambda/n}-e^{-2\lambda}=e^{-2\lambda}\bigl(e^{\lambda/n}-1\bigr)
$$
となる。$n=5$、$\lambda=1$ なら、$\delta$ の分散 $e^{-1}(1-e^{-1})=0.2325\ldots$ に対し、改良した推定量の分散は $0.0299\ldots$ である。
条件を外した反例
thm-stat-rao-blackwell の仮定の十分性を外すか、誤差の測り方を 2 乗から変えると、結論が成り立たなくなる。どちらの反例も、硬貨を $2$ 回投げるモデル（$X_1,X_2$ が互いに独立で $P_p(X_i=1)=p$、$0< p< 1$）で、$\delta(X):=X_1$ を使う。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $T$ が十分統計量 | $T:=X_2$ | $E_p[X_1\mid T]=p$ が未知の $p$ に依存し、データから計算できる推定量にならない |
| 誤差を 2 乗で測る | $T:=X_1+X_2$、誤差を $\mathbf 1\{\lvert d-p\rvert\ge\frac14\}$ で測る | $p=0.9$ で、改良したはずの $\eta(T)=T/2$ の誤差の期待値 $0.19$ が $\delta$ の $0.1$ より大きい |
1 行目：$T=X_2$ は十分統計量でない。実際 $f_p(x)/P_p(X_2=x_2)=p^{x_1}(1-p)^{1-x_1}$ は $p$ に依存するので、定義の $w$ は存在しない。$X_1$ と $X_2$ は独立なので $E_p[X_1\mid X_2]=E_p[X_1]=p$ である。
2 行目：$T=X_1+X_2$ は十分統計量で（ex-stat-sufficient の 1）、ex-stat-rb-bernoulli と同じ計算で $\eta(T)=T/2\in\{0,\frac12,1\}$ である。$p=0.9$ とする。$\delta=X_1$ について、$\lvert1-0.9\rvert=0.1< \frac14$、$\lvert0-0.9\rvert\ge\frac14$ なので、誤差の期待値は $P(X_1=0)=0.1$ である。$\eta(T)$ について、$\lvert1-0.9\rvert< \frac14$、$\lvert\frac12-0.9\rvert\ge\frac14$、$\lvert0-0.9\rvert\ge\frac14$ なので、誤差の期待値は $P(T\le1)=1-0.9^2=0.19$ である。$\square$
2 行目の誤差の測り方は、$d$ が $p$ から $\frac14$ 以上離れたら $1$、そうでなければ $0$ とするもので、平均をとる操作と相性が悪い。thm-stat-rao-blackwell の証明の 3 は、2 乗の誤差に特有の分解（交差項が消えること）を使っている。
統計学の主な結果
次の表は、統計学の主な結果と、それを扱っている記事の一覧である。
| 分野 | 結果 | 記事 |
|---|---|---|
| 標本分布 | 正規母集団の標本平均と標本分散は独立で、$t$ 統計量は $t$ 分布に従う（Student の定理） | t分布, カイ二乗分布 |
| 極限定理 | 標本平均は期待値に近づき（大数の法則）、標準化した和は正規分布に近づく（中心極限定理） | 大数の法則, 中心極限定理 |
| 点推定 | 対数尤度が凹なときの最尤推定量の一致性と、指数型分布族での漸近正規性 | 最尤推定 |
| 点推定 | 誤差が平均 $0$・無相関・等分散なら、最小二乗推定量は線形な不偏推定量のなかで分散が最小（Gauss–Markov の定理） | 最小二乗法 |
| 区間推定 | ピボットによる信頼区間、信頼集合と検定の双対性 | 信頼区間 |
| 仮説検定 | 検定の誤りの限界、尤度比検定と $t$ 検定 | 統計的仮説検定 |
| 仮説検定 | 単純仮説の最強力検定は尤度比検定（Neyman–Pearson の補題） | Neyman–Pearsonの補題 |
| 仮説検定 | $p$ 値の妥当性、多くの仮説を同時に検定するときの補正 | p値, 多重比較 |
| 仮説検定 | 2×2 の分割表の、近似を使わない検定 | Fisherの正確検定 |
| 線形モデル | 正規線形回帰の推定量の分布と $F$ 検定 | 回帰分析 |
線形モデル $y=A\beta+\varepsilon$（$A$ は既知の行列、$\varepsilon$ は誤差）の最小二乗解は正規方程式 $A^{\top}A\beta=A^{\top}y$ の解であり、$A$ の列が 1 次独立でないときにも、Moore–Penrose逆行列 $A^+$ を使った $A^+y$ が解のうちノルムが最小のものを与える（Moore–Penrose逆行列 の定理「最小二乗解とその最小ノルム性」）。統計学の計算の多くは、このように線形代数の問題に帰着する。
学ぶ順の目安
- 高校の統計：平均・中央値・分散、母集団と標本、仮説検定の考え方、仮説検定（高校数学）。
- 確率論の基礎：確率論、確率変数、期待値、分散、条件付き確率、大数の法則、中心極限定理。
- 分布：二項分布、Poisson分布、正規分布、多変量正規分布、カイ二乗分布、t分布、順序統計量。
- 推定：推定量のよさ、最尤推定、信頼区間。
- 検定：統計的仮説検定、p値、Neyman–Pearsonの補題、多重比較、Fisherの正確検定。
- 線形モデル：最小二乗法、回帰分析、Moore–Penrose逆行列。
この記事の十分統計量と Rao–Blackwell の定理は、標本空間が可算の場合に限って述べた。一般の標本空間では、条件付き確率の代わりに 条件付き期待値 を使って十分統計量を定義する。
関連項目
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
