数理統計学(mathematical statistics)とは、データから分布について推論する手順を、確率論の定理として定式化し、精度の限界と最適性を比べる分野である。推定と検定は、損失の期待値である危険度という共通の言葉で書ける。十分統計量、Cramér–Rao の不等式、Neyman–Pearson の補題が基本の結果である。不偏性や最尤性は最適性を保証せず、$p\ge3$ 次元の正規分布の平均の推定では、標本そのものより危険度が真に小さい James–Stein の推定量がある。
数理統計学(mathematical statistics)は、データから分布について推論する方法を、確率論の定理として定式化して比べる分野で、統計学 の数学的な部分である。問うのは「どの手順が、どの基準で、どこまでよいのか」である。
中心の問いは 3 つある。データのどの部分が推論に必要か。推定や検定の精度にはどんな限界があるか。その限界に達する手順はあるか。これらは、損失と危険度という共通の言葉で書くと 1 つの枠組みに入る。この記事は、その枠組みを定義し、それぞれの問いに入る記事の一覧を示す。
観測 $X$ の分布の候補の族 $\{P_\theta\}_{\theta\in\Theta}$ を 統計モデル という。統計モデル、統計量、推定量の定義は 統計学 にある。
統計モデル $\{P_\theta\}_{\theta\in\Theta}$ に対し、集合 $\mathcal{A}$ と関数 $\ell\colon\Theta\times\mathcal{A}\to[0,\infty)$ をとる。$\mathcal{A}$ を 行動の空間、$\ell$ を 損失関数 という。データから行動を選ぶ可測写像 $\delta$ を 決定関数 といい、
$$
R(\theta,\delta):=E_\theta\bigl[\ell(\theta,\delta(X))\bigr]
$$
を 危険度 という。
実数の母数の推定は $\mathcal{A}=\Theta$、$\ell(\theta,a)=(\theta-a)^2$ の場合で、危険度は平均二乗誤差である。仮説検定は $\mathcal{A}=\{\text{採択},\text{棄却}\}$ で、誤った判断に $1$、正しい判断に $0$ の損失を与える場合で、危険度は誤りの確率である。
危険度は $\theta$ の関数なので、2 つの決定関数の大小は一般には比べられない。そこで次の基準を使う。
決定関数 $\delta$ について:
| 問い | 代表的な結果 | 入る記事 |
|---|---|---|
| 正規母集団の統計量の分布は | 標本平均と標本分散は独立で、$t$ 統計量は $t$ 分布に従う | t分布, カイ二乗分布, Basuの定理 |
| 標本が大きいとどうなるか | 標本平均は期待値に近づき、標準化した和は正規分布に近づく | 大数の法則, 中心極限定理 |
| データのどこまでを保てばよいか | 十分統計量は因子分解で判定でき、最小十分統計量は尤度比で判定できる | 十分統計量 |
| 推定量はどう改良できるか | 十分統計量で条件付けると凸な損失の危険度は増えない(Rao–Blackwell)。完備十分統計量の関数である不偏推定量は分散が最小である(Lehmann–Scheffé) | Rao–Blackwellの定理, 不偏推定量 |
| 推定の精度に限界はあるか | 正則なモデルの $n$ 個の独立な観測による母数 $\theta$ の不偏推定量の分散は $1/(nI(\theta))$ 以上である(Cramér–Rao) | Fisher情報量 |
| 推定量をどう作るか | 積率法、最尤法、Bayes 法。最尤推定量は適切な条件で一致性と漸近正規性をもつ | 点推定, 最尤推定, ベイズ統計 |
| 最も強力な検定は何か | 単純仮説どうしの最強力検定は尤度比検定である(Neyman–Pearson) | Neyman–Pearsonの補題, 統計的仮説検定 |
| 複合仮説をどう検定するか | 尤度比の統計量 $-2\log\Lambda$ の分布は帰無仮説のもとで漸近的にカイ二乗分布に近づく(Wilks。1 母数の指数型分布族の場合) | 尤度比検定 |
| 誤りの確率をどう報告するか | $p$ 値の妥当性、多くの仮説を同時に検定するときの補正 | p値, 多重比較 |
| 区間でどう推定するか | ピボットによる構成、信頼集合と検定の双対性 | 信頼区間 |
| 線形モデルでは | 最小二乗推定量は線形不偏推定量のなかで分散が最小である(Gauss–Markov)。正規線形回帰の推定量の分布と $F$ 検定 | Gauss–Markovの定理, 回帰分析 |
Rao–Blackwell の定理と Cramér–Rao の不等式は、def-ms-risk の言葉では危険度の比較の定理である。不偏性は比較の対象を制限する条件で、ESL17 §3.2.2 のように、偏りを許すと平均二乗誤差が小さくなることがある。次の例はこの点を示す。
一覧の各行は、def-ms-admissible の基準との関係で読める。Bayes 決定関数は事前分布について危険度を平均して比べ、ミニマックスは最悪の危険度で比べる。不偏性のような制約を置く方法は、比べる範囲を狭めて最良のものを探す。どの基準を選ぶかは数学だけでは決まらないが、基準を決めたあとの最適性は定理として述べられる。
$X$ を $\mathbb{R}^p$ に値をとる確率変数で、$N(\theta,I_p)$ に従うものとし、損失を $\ell(\theta,a)=\lvert\theta-a\rvert^2$ とする。$\delta_0(X)=X$ は最尤推定量かつ不偏推定量で、危険度はすべての $\theta$ で $p$ である。不偏推定量のなかでも、平行移動で不変な推定量のなかでも、危険度は最小である(JS61 §2)。ところが $p\ge3$ では、次の推定量の方が危険度が真に小さい。
$p\ge3$ とし、$\delta^{\mathrm{JS}}(X)=\Bigl(1-\dfrac{p-2}{\lvert X\rvert^2}\Bigr)X$ とおく。このとき、すべての $\theta\in\mathbb{R}^p$ で
$$
R(\theta,\delta^{\mathrm{JS}})=p-(p-2)^2E_\theta\bigl[\lvert X\rvert^{-2}\bigr]< p
$$
である。とくに $\delta_0$ は許容的でない。
$p\ge3$ なので $\lvert x\rvert^{-2}$ は原点の近くで可積分で、原点の外では有界である。$X$ の密度 $\varphi(x)=(2\pi)^{-p/2}\exp(-\lvert x-\theta\rvert^2/2)$ は有界なので $E_\theta[\lvert X\rvert^{-2}]$ は有限で正である。
$g(x)=x/\lvert x\rvert^2$ とおく。$\nabla\varphi(x)=-(x-\theta)\varphi(x)$ と $\operatorname{div}g(x)=(p-2)/\lvert x\rvert^2$ から
$$
\operatorname{div}(\varphi g)=-(x-\theta)\cdot g\,\varphi+\frac{p-2}{\lvert x\rvert^2}\varphi
$$
である。領域 $\{\varepsilon<\lvert x\rvert< r\}$ で発散定理を使う。半径 $\varepsilon$ の球面の上で $\lvert g\rvert=1/\varepsilon$、$\varphi$ は有界で、面積は $\varepsilon^{p-1}$ の定数倍なので、境界の積分は $O(\varepsilon^{p-2})\to0$ である。半径 $r$ の球面の境界の積分は、$\varphi$ の Gauss 型の減衰により $r\to\infty$ で $0$ に近づく。$\lvert(x-\theta)\cdot g\rvert\,\varphi\le\lvert x-\theta\rvert\lvert x\rvert^{-1}\varphi$ は可積分なので、極限をとって
$$
E_\theta\bigl[(X-\theta)\cdot g(X)\bigr]=(p-2)E_\theta\bigl[\lvert X\rvert^{-2}\bigr]
$$
を得る。$c=p-2$ とおくと $\delta^{\mathrm{JS}}(X)-\theta=(X-\theta)-c\,g(X)$ で、$\lvert g(X)\rvert^2=\lvert X\rvert^{-2}$ なので
$$
R(\theta,\delta^{\mathrm{JS}})=p-2c(p-2)E_\theta[\lvert X\rvert^{-2}]+c^2E_\theta[\lvert X\rvert^{-2}]=p-(p-2)^2E_\theta[\lvert X\rvert^{-2}]
$$
である。$p\ge3$ なので第 2 項は正である。$\square$
$\theta=0$ なら $\lvert X\rvert^2$ は自由度 $p$ のカイ二乗分布に従い、$E[\lvert X\rvert^{-2}]=1/(p-2)$ なので、危険度は $p-(p-2)=2$ である。$p=10$ なら、$\delta_0$ の危険度 $10$ に対して $\theta=0$ での危険度は $2$ になる。
この推定量は、原点の方向に全成分を縮める。$\theta$ の各成分が互いに無関係な量であっても、合計の平均二乗誤差については改善が起きる。各成分ごとの誤差がすべて小さくなるとは限らない。比べているのは、損失の合計の期待値である。正部分による改良、経験 Bayes 推定量としての見方、$p\le2$ で同じ形の縮小が働かないことと $p=1$ での許容性は James–Stein推定量 で扱う。
各基準のあいだの含意は、次のように成り立たない。
| 誤った含意 | 反例 | 確かめ |
|---|---|---|
| 不偏で危険度が最小(不偏推定量のなかで)$\Rightarrow$ 許容的 | $p\ge3$ の $\delta_0(X)=X$ | prop-ms-james-stein により許容的でない |
| 最尤推定量 $\Rightarrow$ 許容的 | 同じ $\delta_0$ | $\delta_0$ は $N(\theta,I_p)$ の最尤推定量である |
| 許容的 $\Rightarrow$ よい手順 | $N(\theta,1)$ で定数 $\delta(X)\equiv\theta_0$ | $\theta=\theta_0$ で危険度 $0$ である。$R(\theta_0,\delta')=0$ なら $\delta'=\theta_0$ が確率 $1$ で成り立ち、分布はどの $\theta$ でも互いに絶対連続なので $\delta'$ の危険度は $\delta$ と同じである。よって許容的だが、データを使っていない |
| 段階 | 読むもの | 得られること |
|---|---|---|
| 1. 確率論の基礎 | 確率変数, 期待値, 条件付き期待値, 大数の法則, 中心極限定理 | 極限定理 |
| 2. 分布 | 正規分布, 多変量正規分布, カイ二乗分布, t分布 | 標本分布 |
| 3. 枠組み | 統計学、この記事の def-ms-risk | 統計モデル、危険度 |
| 4. 推定 | 十分統計量, 不偏推定量, Rao–Blackwellの定理, Fisher情報量, 点推定, 最尤推定 | 推定量の比較 |
| 5. 検定と区間 | 統計的仮説検定, Neyman–Pearsonの補題, 尤度比検定, 信頼区間 | 検定の最適性 |
| 6. 線形モデルと Bayes | 回帰分析, Gauss–Markovの定理, ベイズ統計 | 応用の標準の枠組み |
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する