統計学(statistics)とは、観測したデータを確率変数の実現値とみて、データを生んだ確率分布について推論する方法を研究する分野である。分布の候補の族(統計モデル)を立て、データの関数(統計量)を使って、未知の母数を値で見積もる推定、範囲で見積もる区間推定、仮説の当否を判断する仮説検定を行い、その手続きのよさを、真の母数が何であっても成り立つ確率の性質として評価する。標本空間が可算のとき、条件付き分布が母数によらない統計量(十分統計量)は確率関数の因子分解で見分けられ、2 乗可積分な推定量を十分統計量で条件付けると、平均二乗誤差が増えない推定量が得られる(Rao–Blackwell の定理)。
統計学 は、観測したデータから、そのデータを生んだ確率分布について推論する方法を研究する分野である。確率論は「分布が分かっているとき、データがどう振る舞うか」を問う。統計学は向きが逆で、「データが手元にあるとき、分布について何が言えるか」を問う。硬貨を $100$ 回投げて表が $58$ 回出たとき、確率論は公平な硬貨でこれが起こる確率を計算し、統計学はその計算を使って「表の出る確率はいくらと見積もるのがよいか」「公平だと考えてよいか」に答える。
数学としての統計学(数理統計学)は、データを確率変数の実現値とみて、分布の候補の族(統計モデル)を立て、データの関数(統計量)で未知の分布についての問いに答える手続きを作り、その手続きのよさを確率で測る。問いの型は、未知の量を 1 つの値で見積もる 推定、範囲で見積もる 区間推定、仮説の当否を判断する 仮説検定 の 3 つが基本である。Fisher は統計の問題を、母集団の分布の形を選ぶ問題、母数を推定する問題、統計量の分布を求める問題の 3 つに分けている(Fis22 §3、p. 313)。
この記事は統計学の案内である。前半で統計モデル・統計量・推定量の定義と、推定・区間推定・検定の 3 つの問いを述べる。中ほどで、統計学の代表的な定理として、データの情報を損なわずに要約する 十分統計量 と、それによって推定量を改良する Rao–Blackwellの定理 を、離散的なデータの場合に述べる。一般の標本空間での定義と定理の証明は、それぞれの記事で扱う。後半で主な結果と学ぶ順を、対応する記事とともに一覧する。
$\Theta$ が $\mathbb R^d$ の部分集合のとき パラメトリックなモデル という。もっとも基本的なのは、$X=(X_1,\dots,X_n)$ が互いに独立で同じ分布 $Q_\theta$ に従う場合で、$X_1,\dots,X_n$ を大きさ $n$ の 標本 という(母集団と標本)。たとえば硬貨投げは、$X_i\in\{0,1\}$、$P_p(X_i=1)=p$、$\Theta=(0,1)$ のモデルである。
推定量のよさを平均二乗誤差で測るとき、次の分解が基本になる。
$E_\theta[\delta(X)^2]< \infty$ なら、$\mathrm{MSE}_\theta(\delta)=\mathrm{Var}_\theta(\delta(X))+b_\theta(\delta)^2$ である。とくに不偏推定量の平均二乗誤差は分散に等しい。
$m:=E_\theta[\delta(X)]$ とおくと $\delta(X)-\tau(\theta)=(\delta(X)-m)+(m-\tau(\theta))$ である。2 乗して期待値をとると、交差項は $2(m-\tau(\theta))E_\theta[\delta(X)-m]=0$ なので、$E_\theta[(\delta(X)-m)^2]+(m-\tau(\theta))^2$ が残る。$\square$
| 問い | 答えの形 | よさの基準 | 記事 |
|---|---|---|---|
| 点推定 | 推定量 $\delta(X)$ | 不偏性、平均二乗誤差、一致性($n\to\infty$ で真の値に近づく) | 推定量のよさ, 最尤推定 |
| 区間推定 | 区間 $[L(X),U(X)]$ | どの $\theta$ でも真の値を含む確率が $1-\alpha$ 以上 | 信頼区間 |
| 仮説検定 | 棄却するかどうか | 帰無仮説のもとで誤って棄却する確率が $\alpha$ 以下、そのうえで検出力が大きい | 統計的仮説検定, p値 |
3 つの問いは互いに結びついている。信頼集合は各母数値での検定で棄却されない値の全体と一致し(信頼区間 の定理「信頼集合と検定の双対性」)、$p$ 値は棄却できる最小の有意水準である(p値)。どの問いでも、手続きのよさは「真の $\theta$ が何であっても保証される性質」として述べられる。$\theta$ は未知なので、特定の $\theta$ でだけよい手続きは役に立たない。
データ全体 $X$ を持っていなくても、ある統計量 $T(X)$ の値さえ分かれば $\theta$ についての推論には足りる、ということがある。硬貨を $n$ 回投げたとき、表が何回目に出たかは表の出る確率 $p$ について何も教えず、表の回数だけが意味をもつように見える。これを数学として述べるのが十分統計量である。Fisher は、同じ標本から計算するほかのどの統計量も推定する母数の値についての情報を付け加えないとき、その統計量は十分性の基準を満たすと述べた(Fis22 p. 310)。
この節では、標本空間 $\mathcal X$ が可算集合で、$\mathcal A$ がそのすべての部分集合の族である場合を扱う。$f_\theta(x):=P_\theta(X=x)$ とおき、統計量は可算集合 $\mathcal T$ への写像 $T$ とする。
統計量 $T\colon\mathcal X\to\mathcal T$ が 十分統計量(sufficient statistic)であるとは、$\theta$ によらない関数 $w\colon\mathcal X\to[0,1]$ があって、すべての $\theta\in\Theta$ と $x\in\mathcal X$ について
$$
f_\theta(x)=w(x)\,P_\theta\bigl(T(X)=T(x)\bigr)
$$
が成り立つことをいう。
$P_\theta(T(X)=t)>0$ なら、$T(x)=t$ を満たす $x$ について $P_\theta(X=x\mid T(X)=t)=w(x)$ である。つまり $T$ の値を知ったあとの $X$ の条件付き分布が $\theta$ によらない。$T$ の値を知ったうえで $X$ の残りの部分を見ても、$\theta$ によらない乱数を見るのと同じであり、$\theta$ についての情報は増えない。
十分統計量は、確率関数の形から次のように見分けられる。
統計量 $T\colon\mathcal X\to\mathcal T$ が十分統計量であることは、関数 $g_\theta\colon\mathcal T\to[0,\infty)$($\theta\in\Theta$)と $\theta$ によらない関数 $h\colon\mathcal X\to[0,\infty)$ があって、すべての $\theta$ と $x$ について
$$
f_\theta(x)=g_\theta\bigl(T(x)\bigr)\,h(x)
$$
と書けることと同値である。
証明は 十分統計量 の定理「因子分解定理(可算の場合)」にある。十分なら、$g_\theta(t):=P_\theta(T(X)=t)$、$h:=w$ とおくだけで定義の式が分解の式になる。逆向きは、$T$ の値ごとに $h$ を和が $1$ になるように正規化して $w$ を作る。
硬貨投げ($X_1,\dots,X_n$ が互いに独立で $P_p(X_i=1)=p$、$0< p< 1$)では、$x\in\{0,1\}^n$ について $f_p(x)=p^{t}(1-p)^{n-t}$($t=x_1+\dots+x_n$)なので、$h=1$ として表の回数 $T=X_1+\dots+X_n$ は十分統計量である。ほかの例は 十分統計量 の例「独立同分布の標本でよく使う十分統計量」にある。
次の定理は、十分統計量の値で条件付けると、どの推定量も平均二乗誤差を増やさずに $T$ だけの関数に取り替えられることを述べる。
$T\colon\mathcal X\to\mathcal T$ を十分統計量とし、$w$ を def-stat-sufficient の関数とする。推定量 $\delta\colon\mathcal X\to\mathbb R$ がすべての $\theta$ について $E_\theta[\delta(X)^2]< \infty$ を満たすとする。$t\in\mathcal T$ について、級数 $\sum_{x\colon T(x)=t}w(x)\delta(x)$ が絶対収束するならその和を $\eta(t)$ とし、そうでなければ $\eta(t):=0$ とおく。このとき、すべての $\theta\in\Theta$ について次が成り立つ。
$\eta$ の定義には $\theta$ が現れないので、$\eta\circ T$ はデータから計算できる推定量である。2 により、$\delta$ が $\tau$ の不偏推定量なら $\eta\circ T$ も不偏であり、3 で $c=\tau(\theta)$ とおくと、その分散は $\delta$ の分散以下である。
$\theta$ を固定し、$q_t:=P_\theta(T(X)=t)$ とおく。
1。 $q_t>0$ とする。$T(x)=t$ なら $f_\theta(x)=w(x)q_t$ であり、$E_\theta\lvert\delta(X)\rvert< \infty$ なので
$$
\sum_{x\colon T(x)=t}w(x)\lvert\delta(x)\rvert=\frac1{q_t}\sum_{x\colon T(x)=t}f_\theta(x)\lvert\delta(x)\rvert\le\frac{E_\theta\lvert\delta(X)\rvert}{q_t}< \infty
$$
である。よって級数は絶対収束し、$\eta(t)=\sum_{x\colon T(x)=t}\delta(x)f_\theta(x)/q_t=E_\theta[\delta(X)\mid T(X)=t]$ である。
2、3。 1 により、$\eta\circ T$ は 条件付き期待値 $E_\theta[\delta(X)\mid T(X)]$ の、$\theta$ によらない版である。すなわち、$T$ の値だけで決まる 1 つの関数が、どの $\theta$ についても条件付き期待値になっている($q_t=0$ の $t$ は確率 $0$ なので無視できる)。$T$ は 十分統計量 の命題「可算の場合の 2 つの定義の一致」により一般の定義でも十分統計量なので、2 と 3 は Rao–Blackwellの定理 の定理「Rao–Blackwell の定理(2 乗の誤差)」の 1〜3 に含まれる。そこでは、条件付き期待値が $L^2$ での直交射影であることから、3 の式の交差項が消えることを示している。$\square$
硬貨投げでは、$\delta(X):=X_1$ を表の回数 $T$ で条件付けると標本平均 $T/n$ になり、分散は $p(1-p)$ から $p(1-p)/n$ に下がる。
$n\ge2$ とし、$X_1,\dots,X_n$ が互いに独立で、どれも平均 $\lambda>0$ の Poisson分布 に従うとする。和 $T=X_1+\dots+X_n$ は十分統計量である(十分統計量 の例「独立同分布の標本でよく使う十分統計量」の 2)。推定対象を $\tau(\lambda):=e^{-\lambda}=P_\lambda(X_1=0)$ とする。$\delta(X):=\mathbf 1\{X_1=0\}$ は不偏推定量である。$X_2+\dots+X_n$ は平均 $(n-1)\lambda$ の Poisson 分布に従い(Poisson分布 の定理「Poisson 分布の再生性」)、$X_1$ と独立なので、
$$
\eta(t)=P_\lambda(X_1=0\mid T=t)=\frac{e^{-\lambda}\cdot e^{-(n-1)\lambda}\frac{((n-1)\lambda)^t}{t!}}{e^{-n\lambda}\frac{(n\lambda)^t}{t!}}=\Bigl(1-\frac1n\Bigr)^{t}
$$
である。thm-stat-rao-blackwell により $(1-\frac1n)^T$ も $e^{-\lambda}$ の不偏推定量で、分散は $\delta$ の分散以下である。実際、$T$ は平均 $n\lambda$ の Poisson 分布に従うので $E_\lambda[s^T]=e^{n\lambda(s-1)}$ であり、$s=1-\frac1n$ と $s=(1-\frac1n)^2$ を代入すると
$$
E_\lambda\Bigl[\Bigl(1-\frac1n\Bigr)^T\Bigr]=e^{-\lambda},\qquad \mathrm{Var}_\lambda\Bigl(\Bigl(1-\frac1n\Bigr)^T\Bigr)=e^{-2\lambda+\lambda/n}-e^{-2\lambda}=e^{-2\lambda}\bigl(e^{\lambda/n}-1\bigr)
$$
となる。$n=5$、$\lambda=1$ なら、$\delta$ の分散 $e^{-1}(1-e^{-1})=0.2325\ldots$ に対し、改良した推定量の分散は $0.0299\ldots$ である。
thm-stat-rao-blackwell の仮定の十分性を外すか、誤差の測り方を 2 乗から凸でないものに変えると、結論が成り立たないことがある。反例は Rao–Blackwellの定理 の記事の「反例:条件を外すと成り立たないこと」の節にある。
次の表は、統計学の主な結果と、それを扱っている記事の一覧である。
| 分野 | 結果 | 記事 |
|---|---|---|
| 標本分布 | 正規母集団の標本平均と標本分散は独立で、$t$ 統計量は $t$ 分布に従う(Student の定理) | t分布, カイ二乗分布 |
| 極限定理 | 標本平均は期待値に近づき(大数の法則)、標準化した和は正規分布に近づく(中心極限定理) | 大数の法則, 中心極限定理 |
| 点推定 | 対数尤度が凹なときの最尤推定量の一致性と、指数型分布族での漸近正規性 | 最尤推定 |
| 点推定 | 誤差が平均 $0$・無相関・等分散なら、最小二乗推定量は線形な不偏推定量のなかで分散が最小 | Gauss–Markovの定理 |
| 点推定 | 十分統計量で条件付けると平均二乗誤差は増えない(Rao–Blackwell の定理)。完備な十分統計量の関数である 2 乗可積分な不偏推定量は分散最小(Lehmann–Scheffé の定理) | Rao–Blackwellの定理 |
| 区間推定 | ピボットによる信頼区間、信頼集合と検定の双対性 | 信頼区間 |
| 仮説検定 | 検定の誤りの限界、尤度比検定と $t$ 検定 | 統計的仮説検定 |
| 仮説検定 | 単純仮説の最強力検定は尤度比検定(Neyman–Pearson の補題) | Neyman–Pearsonの補題 |
| 仮説検定 | $p$ 値の妥当性、多くの仮説を同時に検定するときの補正 | p値, 多重比較 |
| 仮説検定 | 2×2 の分割表の、近似を使わない検定 | Fisherの正確検定 |
| 線形モデル | 正規線形回帰の推定量の分布と $F$ 検定 | 回帰分析 |
線形モデル $y=A\beta+\varepsilon$($A$ は既知の行列、$\varepsilon$ は誤差)の最小二乗解は正規方程式 $A^{\top}A\beta=A^{\top}y$ の解であり、$A$ の列が 1 次独立でないときにも、Moore–Penrose逆行列 $A^+$ を使った $A^+y$ が解のうちノルムが最小のものを与える(Moore–Penrose逆行列 の定理「最小二乗解とその最小ノルム性」)。統計学の計算の多くは、このように線形代数の問題に帰着する。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する