数理統計学

同義語:mathematical statistics数理統計

概要

数理統計学(mathematical statistics)とは、データから分布について推論する手順を、確率論の定理として定式化し、精度の限界と最適性を比べる分野である。推定と検定は、損失の期待値である危険度という共通の言葉で書ける。十分統計量、Cramér–Rao の不等式、Neyman–Pearson の補題が基本の結果である。不偏性や最尤性は最適性を保証せず、$p\ge3$ 次元の正規分布の平均の推定では、標本そのものより危険度が真に小さい James–Stein の推定量がある。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 統計学, 期待値, 正規分布

数理統計学(mathematical statistics)は、データから分布について推論する方法を、確率論の定理として定式化して比べる分野で、統計学 の数学的な部分である。問うのは「どの手順が、どの基準で、どこまでよいのか」である。
中心の問いは 3 つある。データのどの部分が推論に必要か。推定や検定の精度にはどんな限界があるか。その限界に達する手順はあるか。これらは、損失と危険度という共通の言葉で書くと 1 つの枠組みに入る。この記事は、その枠組みを定義し、それぞれの問いに入る記事の一覧を示す。

定義

観測 $X$ の分布の候補の族 $\{P_\theta\}_{\theta\in\Theta}$ を 統計モデル という。統計モデル、統計量、推定量の定義は 統計学 にある。

統計的決定問題と危険度

統計モデル $\{P_\theta\}_{\theta\in\Theta}$ に対し、集合 $\mathcal{A}$ と関数 $\ell\colon\Theta\times\mathcal{A}\to[0,\infty)$ をとる。$\mathcal{A}$ を 行動の空間、$\ell$ を 損失関数 という。データから行動を選ぶ可測写像 $\delta$ を 決定関数 といい、
$$ R(\theta,\delta):=E_\theta\bigl[\ell(\theta,\delta(X))\bigr] $$
を 危険度 という。

実数の母数の推定は $\mathcal{A}=\Theta$、$\ell(\theta,a)=(\theta-a)^2$ の場合で、危険度は平均二乗誤差である。仮説検定は $\mathcal{A}=\{\text{採択},\text{棄却}\}$ で、誤った判断に $1$、正しい判断に $0$ の損失を与える場合で、危険度は誤りの確率である。
危険度は $\theta$ の関数なので、2 つの決定関数の大小は一般には比べられない。そこで次の基準を使う。

許容性・ミニマックス性・Bayes 性

決定関数 $\delta$ について:

  1. すべての $\theta$ で $R(\theta,\delta')\le R(\theta,\delta)$ で、ある $\theta$ で真の不等号となる $\delta'$ があるとき、$\delta$ は 許容的でない といい、そのような $\delta'$ がないとき 許容的 という。
  2. $\sup_\theta R(\theta,\delta)$ が決定関数全体のなかで最小のとき、$\delta$ を ミニマックス という。
  3. $\Theta$ 上の確率測度 $\pi$(事前分布)について $\int R(\theta,\delta)\,d\pi(\theta)$ が最小のとき、$\delta$ を $\pi$ に関する Bayes 決定関数 という。

主な問題と結果の一覧

問い代表的な結果入る記事
正規母集団の統計量の分布は標本平均と標本分散は独立で、$t$ 統計量は $t$ 分布に従うt分布, カイ二乗分布, Basuの定理
標本が大きいとどうなるか標本平均は期待値に近づき、標準化した和は正規分布に近づく大数の法則, 中心極限定理
データのどこまでを保てばよいか十分統計量は因子分解で判定でき、最小十分統計量は尤度比で判定できる十分統計量
推定量はどう改良できるか十分統計量で条件付けると凸な損失の危険度は増えない(Rao–Blackwell)。完備十分統計量の関数である不偏推定量は分散が最小である(Lehmann–Scheffé)Rao–Blackwellの定理, 不偏推定量
推定の精度に限界はあるか正則なモデルの $n$ 個の独立な観測による母数 $\theta$ の不偏推定量の分散は $1/(nI(\theta))$ 以上である(Cramér–Rao)Fisher情報量
推定量をどう作るか積率法、最尤法、Bayes 法。最尤推定量は適切な条件で一致性と漸近正規性をもつ点推定, 最尤推定, ベイズ統計
最も強力な検定は何か単純仮説どうしの最強力検定は尤度比検定である(Neyman–Pearson)Neyman–Pearsonの補題, 統計的仮説検定
複合仮説をどう検定するか尤度比の統計量 $-2\log\Lambda$ の分布は帰無仮説のもとで漸近的にカイ二乗分布に近づく(Wilks。1 母数の指数型分布族の場合)尤度比検定
誤りの確率をどう報告するか$p$ 値の妥当性、多くの仮説を同時に検定するときの補正p値, 多重比較
区間でどう推定するかピボットによる構成、信頼集合と検定の双対性信頼区間
線形モデルでは最小二乗推定量は線形不偏推定量のなかで分散が最小である(Gauss–Markov)。正規線形回帰の推定量の分布と $F$ 検定Gauss–Markovの定理, 回帰分析

Rao–Blackwell の定理と Cramér–Rao の不等式は、def-ms-risk の言葉では危険度の比較の定理である。不偏性は比較の対象を制限する条件で、ESL17 §3.2.2 のように、偏りを許すと平均二乗誤差が小さくなることがある。次の例はこの点を示す。
一覧の各行は、def-ms-admissible の基準との関係で読める。Bayes 決定関数は事前分布について危険度を平均して比べ、ミニマックスは最悪の危険度で比べる。不偏性のような制約を置く方法は、比べる範囲を狭めて最良のものを探す。どの基準を選ぶかは数学だけでは決まらないが、基準を決めたあとの最適性は定理として述べられる。

具体例:多次元の正規平均の推定

$X$ を $\mathbb{R}^p$ に値をとる確率変数で、$N(\theta,I_p)$ に従うものとし、損失を $\ell(\theta,a)=\lvert\theta-a\rvert^2$ とする。$\delta_0(X)=X$ は最尤推定量かつ不偏推定量で、危険度はすべての $\theta$ で $p$ である。不偏推定量のなかでも、平行移動で不変な推定量のなかでも、危険度は最小である(JS61 §2)。ところが $p\ge3$ では、次の推定量の方が危険度が真に小さい。

James–Stein の推定量

$p\ge3$ とし、$\delta^{\mathrm{JS}}(X)=\Bigl(1-\dfrac{p-2}{\lvert X\rvert^2}\Bigr)X$ とおく。このとき、すべての $\theta\in\mathbb{R}^p$ で
$$ R(\theta,\delta^{\mathrm{JS}})=p-(p-2)^2E_\theta\bigl[\lvert X\rvert^{-2}\bigr]< p $$
である。とくに $\delta_0$ は許容的でない。

発散定理による部分積分

$p\ge3$ なので $\lvert x\rvert^{-2}$ は原点の近くで可積分で、原点の外では有界である。$X$ の密度 $\varphi(x)=(2\pi)^{-p/2}\exp(-\lvert x-\theta\rvert^2/2)$ は有界なので $E_\theta[\lvert X\rvert^{-2}]$ は有限で正である。
$g(x)=x/\lvert x\rvert^2$ とおく。$\nabla\varphi(x)=-(x-\theta)\varphi(x)$ と $\operatorname{div}g(x)=(p-2)/\lvert x\rvert^2$ から
$$ \operatorname{div}(\varphi g)=-(x-\theta)\cdot g\,\varphi+\frac{p-2}{\lvert x\rvert^2}\varphi $$
である。領域 $\{\varepsilon<\lvert x\rvert< r\}$ で発散定理を使う。半径 $\varepsilon$ の球面の上で $\lvert g\rvert=1/\varepsilon$、$\varphi$ は有界で、面積は $\varepsilon^{p-1}$ の定数倍なので、境界の積分は $O(\varepsilon^{p-2})\to0$ である。半径 $r$ の球面の境界の積分は、$\varphi$ の Gauss 型の減衰により $r\to\infty$ で $0$ に近づく。$\lvert(x-\theta)\cdot g\rvert\,\varphi\le\lvert x-\theta\rvert\lvert x\rvert^{-1}\varphi$ は可積分なので、極限をとって
$$ E_\theta\bigl[(X-\theta)\cdot g(X)\bigr]=(p-2)E_\theta\bigl[\lvert X\rvert^{-2}\bigr] $$
を得る。$c=p-2$ とおくと $\delta^{\mathrm{JS}}(X)-\theta=(X-\theta)-c\,g(X)$ で、$\lvert g(X)\rvert^2=\lvert X\rvert^{-2}$ なので
$$ R(\theta,\delta^{\mathrm{JS}})=p-2c(p-2)E_\theta[\lvert X\rvert^{-2}]+c^2E_\theta[\lvert X\rvert^{-2}]=p-(p-2)^2E_\theta[\lvert X\rvert^{-2}] $$
である。$p\ge3$ なので第 2 項は正である。$\square$

$\theta=0$ なら $\lvert X\rvert^2$ は自由度 $p$ のカイ二乗分布に従い、$E[\lvert X\rvert^{-2}]=1/(p-2)$ なので、危険度は $p-(p-2)=2$ である。$p=10$ なら、$\delta_0$ の危険度 $10$ に対して $\theta=0$ での危険度は $2$ になる。
この推定量は、原点の方向に全成分を縮める。$\theta$ の各成分が互いに無関係な量であっても、合計の平均二乗誤差については改善が起きる。各成分ごとの誤差がすべて小さくなるとは限らない。比べているのは、損失の合計の期待値である。正部分による改良、経験 Bayes 推定量としての見方、$p\le2$ で同じ形の縮小が働かないことと $p=1$ での許容性は James–Stein推定量 で扱う。

反例

各基準のあいだの含意は、次のように成り立たない。

誤った含意反例確かめ
不偏で危険度が最小(不偏推定量のなかで)$\Rightarrow$ 許容的$p\ge3$ の $\delta_0(X)=X$prop-ms-james-stein により許容的でない
最尤推定量 $\Rightarrow$ 許容的同じ $\delta_0$$\delta_0$ は $N(\theta,I_p)$ の最尤推定量である
許容的 $\Rightarrow$ よい手順$N(\theta,1)$ で定数 $\delta(X)\equiv\theta_0$$\theta=\theta_0$ で危険度 $0$ である。$R(\theta_0,\delta')=0$ なら $\delta'=\theta_0$ が確率 $1$ で成り立ち、分布はどの $\theta$ でも互いに絶対連続なので $\delta'$ の危険度は $\delta$ と同じである。よって許容的だが、データを使っていない

読み進め方

段階読むもの得られること
1. 確率論の基礎確率変数, 期待値, 条件付き期待値, 大数の法則, 中心極限定理極限定理
2. 分布正規分布, 多変量正規分布, カイ二乗分布, t分布標本分布
3. 枠組み統計学、この記事の def-ms-risk統計モデル、危険度
4. 推定十分統計量, 不偏推定量, Rao–Blackwellの定理, Fisher情報量, 点推定, 最尤推定推定量の比較
5. 検定と区間統計的仮説検定, Neyman–Pearsonの補題, 尤度比検定, 信頼区間検定の最適性
6. 線形モデルと Bayes回帰分析, Gauss–Markovの定理, ベイズ統計応用の標準の枠組み

関連項目

参考文献

[1]
W. James, Charles Stein, Estimation with quadratic loss, Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, Vol. 1, University of California Press,, 1961, §2, (1)–(6), pp. 362–364

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する