ノンパラメトリック回帰

同義語:nonparametric regressionNadaraya–Watson推定量Nadaraya–Watson estimatorkernel regression

概要

ノンパラメトリック回帰(nonparametric regression)とは、観測 $Y_i=m(x_i)+\varepsilon_i$ から回帰関数 $m$ を、母数の形を仮定せず滑らかさだけを仮定して推定する方法である。基本の Nadaraya–Watson 推定量は近くの $Y_i$ を核の重みで平均する。観測点を固定した計画で、$m$ が 2 回連続微分可能、核が対称なら、内部の点で偏りは $h^2$、分散は $1/(nh)$ の大きさで、最適な帯域幅は $n^{-1/5}$ に比例し、2 乗誤差は $n^{-4/5}$ の速さで減る。端の点では偏りが $h$ の大きさになり、局所線形推定がこれを直す。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 回帰分析, カーネル密度推定, Taylorの定理, 有界変動関数

ノンパラメトリック回帰(nonparametric regression)は、観測 $(x_i,Y_i)$ から回帰関数 $m(x)$ を、直線や多項式のような有限個の母数の形を仮定せずに推定する方法である。最も基本的な推定量は、点 $x$ の近くの観測の $Y_i$ を、核 $K$ の重みで平均する Nadaraya–Watson 推定量
$$ \hat m_h(x)=\frac{\sum_{i=1}^nK\bigl((x-x_i)/h\bigr)Y_i}{\sum_{i=1}^nK\bigl((x-x_i)/h\bigr)} $$
である。回帰分析 の線形回帰では $m$ が 1 次関数だと決めてかかるので、本当の $m$ が曲がっていれば、データをいくら増やしてもその曲がりは捉えられない。ノンパラメトリック回帰は $m$ の滑らかさだけを仮定し、その代わりに帯域幅 $h$ の選び方という新しい問題を抱える。
$h$ が小さいと平均に使う観測が少なく、推定はばらつく。$h$ が大きいと遠くの観測まで混ぜるので、$m$ の山や谷がならされる。この記事では、観測点を固定した計画のもとで、内部の点での偏りと分散の主要項
$$ \mathbb{E}\hat m_h(x)-m(x)\approx h^2\mu_2\Bigl(\frac{m''(x)}2+\frac{m'(x)g'(x)}{g(x)}\Bigr),\qquad\operatorname{Var}\hat m_h(x)\approx\frac{\sigma^2R(K)}{nh\,g(x)} $$
を証明し、そこから最適な帯域幅が $n^{-1/5}$ に比例し、2 乗誤差が $n^{-4/5}$ の速さで減ることを導く。端の点で Nadaraya–Watson 推定量の偏りが大きくなることと、それを直す局所線形推定も扱う。記号は次の節で定める。

定義と使える条件

観測は $n$ 組 $(x_1,Y_1),\dots,(x_n,Y_n)$ で、
$$ Y_i=m(x_i)+\varepsilon_i\qquad(i=1,\dots,n) $$
とする。$\varepsilon_1,\dots,\varepsilon_n$ は独立で、平均 $0$、分散 $\sigma^2$ をもつ(正規分布は仮定しない)。$m$ を 回帰関数 という。観測点 $x_i$ も確率変数とする場合は $m(x)$ は条件付き期待値 $\mathbb{E}[Y\mid X=x]$(条件付き期待値)にあたるが、この記事では観測点を固定した場合だけを扱う。

Nadaraya–Watson 推定量

$K\colon\mathbb{R}\to\mathbb{R}$ を $\int K=1$ を満たす関数、$h>0$ とし、$K_i(x)=K((x-x_i)/h)$ と書く。$\sum_iK_i(x)\ne0$ のとき
$$ \hat m_h(x)=\sum_{i=1}^nw_i(x)Y_i,\qquad w_i(x)=\frac{K_i(x)}{\sum_{j=1}^nK_j(x)} $$
を Nadaraya–Watson 推定量 という(HTF09 §6.1、式 (6.2)、p. 193)。$K$ を 核、$h$ を 帯域幅 という。

重み $w_i(x)$ は $Y_1,\dots,Y_n$ によらないので、$\hat m_h(x)$ は $Y_i$ の 1 次式である。このような推定量を 線形平滑化 という。重みの和は $1$ で、$K\ge0$ なら $\hat m_h(x)$ は近くの $Y_i$ の重み付き平均である。$\hat m_h(x)$ は $\sum_iK_i(x)(Y_i-a)^2$ を最小にする定数 $a$ でもある。

局所線形推定量

$K\ge0$ とし、$S_k(x)=\sum_iK_i(x)(x_i-x)^k$($k=0,1,2$)とおく。$S_0S_2-S_1^2>0$ のとき、$\sum_iK_i(x)\bigl(Y_i-a-b(x_i-x)\bigr)^2$ を最小にする $(a,b)$ の $a$ を $\hat m^{\mathrm{LL}}_h(x)$ と書き、局所線形推定量 という(HTF09 §6.1.1、式 (6.7)〜(6.9)、pp. 194–195)。

この記事の定理を使う条件をまとめる。

  1. 核の条件 (K):$K$ は $[-1,1]$ の外で $0$、偶関数、$\mathbb{R}$ 上で有界変動(全変動を $V(K)$ と書く)、$\int K=1$。$\mu_2=\int u^2K(u)\,du$、$R(K)=\int K^2$ とおく。
  2. 計画の条件 (D):$G\colon[0,1]\to[0,1]$ は狭義増加の $C^1$ 級の全単射で $G'>0$、$x_i=G(i/n)$ とする。$g=(G^{-1})'$ を 計画の密度 といい、点 $x$ の近くで $C^1$ 級とする。等間隔 $x_i=i/n$ は $G(s)=s$、$g\equiv1$ の場合である。
  3. 回帰関数の条件 (M):$m$ は $[0,1]$ で $C^1$ 級、点 $x$ の近くで $C^2$ 級。$L=\sup\lvert m'\rvert$ とおく。
  4. 内部の点:$0< x< 1$。$h< \min(x,1-x)$ なら $K_i(x)\ne0$ となる $x_i$ はすべて $[x-h,x+h]\subset[0,1]$ にある(反例の表の 2 行目)。
  5. $h\to0$ と $nh\to\infty$:$h=h_n$ が $n$ とともにこう動くこと。

公式の表

量式使える条件根拠
期待値と分散$\mathbb{E}\hat m_h(x)=\sum_iw_i(x)m(x_i)$、$\operatorname{Var}\hat m_h(x)=\sigma^2\sum_iw_i(x)^2$$\sum_iK_i(x)\ne0$thm-npr-nw の証明
内部の偏り$h^2B(x)+o(h^2)+O(1/n)$、$B=\mu_2\bigl(\frac{m''}2+\frac{m'g'}g\bigr)$(K)(D)(M)、内部の点thm-npr-nw
内部の分散$\dfrac{\sigma^2R(K)}{nh\,g(x)}(1+o(1))$同上thm-npr-nw
最適な帯域幅$h^\ast=\Bigl[\dfrac{\sigma^2R(K)}{4g(x)B(x)^2\,n}\Bigr]^{1/5}$同上、$B(x)\ne0$cor-npr-hopt
等間隔での最適な帯域幅$h^\ast=\Bigl[\dfrac{\sigma^2R(K)}{\mu_2^2m''(x)^2\,n}\Bigr]^{1/5}$$g\equiv1$、$m''(x)\ne0$cor-npr-hopt
最小の主要項$\frac54\bigl(4B^2\bigr)^{1/5}\bigl(\sigma^2R(K)/g\bigr)^{4/5}n^{-4/5}$同上cor-npr-hopt
局所線形の重み$\sum_il_i=1$、$\sum_il_i(x_i-x)=0$$K\ge0$、$S_0S_2-S_1^2>0$prop-npr-ll
局所線形の偏り$\lvert\text{偏り}\rvert\le\frac{h^2}2\sup\lvert m''\rvert\sum_i\lvert l_i\rvert$同上、(K)、$m\in C^2$prop-npr-ll
1 個抜きの残差$Y_i-\hat m_h^{(-i)}(x_i)=\dfrac{Y_i-\hat m_h(x_i)}{1-S_{ii}}$$K\ge0$、$\sum_{j\ne i}K_j(x_i)>0$prop-npr-loo

Epanechnikov 核 $K(u)=\frac34(1-u^2)$($\lvert u\rvert\le1$)では $\mu_2=\frac15$、$R(K)=\frac35$、$V(K)=\frac32$ である。核の定数の一覧は カーネル密度推定 の公式の表にある。

主定理と証明

和を積分で置き換える評価から始める。$\psi$ の $[0,1]$ 上の全変動を $V(\psi)$ と書く。

和と積分の差

(D) を仮定する。$\psi\colon[0,1]\to\mathbb{R}$ が有界変動なら
$$ \Bigl\lvert\frac1n\sum_{i=1}^n\psi(x_i)-\int_0^1\psi(t)g(t)\,dt\Bigr\rvert\le\frac{V(\psi)}n . $$

$\varphi=\psi\circ G$ とおく。$G$ は $[0,1]$ からそれ自身への増加の全単射なので、$[0,1]$ の分割を $G$ で移すと分割どうしが 1 対 1 に対応し、$V(\varphi)=V(\psi)$ である。置換 $t=G(s)$ で $ds=g(t)\,dt$ だから $\int_0^1\varphi(s)\,ds=\int_0^1\psi(t)g(t)\,dt$。区間 $I_i=[(i-1)/n,i/n]$ の上で $\lvert\varphi(i/n)-\varphi(s)\rvert\le V_{I_i}(\varphi)$ なので
$$ \Bigl\lvert\frac1n\varphi(i/n)-\int_{I_i}\varphi\Bigr\rvert\le\frac{V_{I_i}(\varphi)}n $$
で、$i$ について足すと $\sum_iV_{I_i}(\varphi)=V(\varphi)$ から主張を得る。$\square$

内部の点での偏りと分散

(K)(D)(M) を仮定し、$0< x< 1$、$h=h_n\to0$、$nh\to\infty$ とする。$n$ が十分大きければ $\sum_iK_i(x)>0$ で、
$$ \mathbb{E}\hat m_h(x)-m(x)=h^2B(x)+o(h^2)+O\Bigl(\frac1n\Bigr),\qquad\operatorname{Var}\hat m_h(x)=\frac{\sigma^2R(K)}{nh\,g(x)}\bigl(1+o(1)\bigr) $$
が成り立つ。ここで $B(x)=\mu_2\bigl(\frac12m''(x)+m'(x)g'(x)/g(x)\bigr)$ である。したがって平均 2 乗誤差は
$$ \mathrm{MSE}(x)=\mathbb{E}\bigl(\hat m_h(x)-m(x)\bigr)^2=h^4B(x)^2+\frac{\sigma^2R(K)}{nh\,g(x)}+o\Bigl(h^4+\frac1{nh}\Bigr) $$
で、特に $\hat m_h(x)$ は $m(x)$ に 2 乗平均で収束する。

期待値と分散を和で書く。 $n$ を十分大きくとり $h< \min(x,1-x)$ とする。
$$ D_n=\frac1{nh}\sum_iK_i(x),\qquad N_n=\frac1{nh}\sum_iK_i(x)\bigl(m(x_i)-m(x)\bigr),\qquad Q_n=\frac1{nh}\sum_iK_i(x)^2 $$
とおく。$D_n>0$ なら、重みの和が $1$ なので $\mathbb{E}\hat m_h(x)-m(x)=\sum_iw_i(m(x_i)-m(x))=N_n/D_n$、$\varepsilon_i$ の独立性から $\operatorname{Var}\hat m_h(x)=\sigma^2\sum_iw_i^2=\sigma^2Q_n/(nhD_n^2)$ である。
$D_n$ と $Q_n$。 $\psi_1(t)=h^{-1}K((x-t)/h)$ は $V(\psi_1)\le V(K)/h$ を満たす。lem-npr-riemann と置換 $t=x-hu$ から
$$ D_n=\int_{-1}^1K(u)g(x-hu)\,du+O\Bigl(\frac1{nh}\Bigr)\longrightarrow g(x) $$
である($g$ は $x$ で連続で、$\int K=1$)。$g(x)>0$ だから $n$ が大きければ $D_n>0$ である。同様に $K^2$ の全変動は $2\sup\lvert K\rvert\,V(K)$ 以下なので $Q_n\to R(K)g(x)$ である。これで分散の式を得る。
$N_n$ の和を積分にする。 $J=[x-h,x+h]$ とし、$k(t)=m(\min(\max(t,x-h),x+h))-m(x)$ とおくと、$K((x-t)/h)$ は $J$ の外で $0$ なので $\psi_3(t)=h^{-1}K((x-t)/h)k(t)$ は $N_n$ の各項を与える。$\lvert k\rvert\le Lh$、$V(k)\le2Lh$ で、$\lvert f(b)k(b)-f(a)k(a)\rvert\le\lvert f(b)\rvert\lvert k(b)-k(a)\rvert+\lvert k(a)\rvert\lvert f(b)-f(a)\rvert$ から $V(fk)\le\sup\lvert f\rvert V(k)+\sup\lvert k\rvert V(f)$ なので
$$ V(\psi_3)\le\frac1h\bigl(\sup\lvert K\rvert\cdot2Lh+Lh\cdot V(K)\bigr)=L\bigl(2\sup\lvert K\rvert+V(K)\bigr) $$
は $h$ によらない。lem-npr-riemann から
$$ N_n=\int_{-1}^1K(u)\bigl(m(x-hu)-m(x)\bigr)g(x-hu)\,du+O\Bigl(\frac1n\Bigr). $$
積分を展開する。 $\omega(h)=\sup_{\lvert s-x\rvert\le h}\bigl(\lvert m''(s)-m''(x)\rvert+\lvert g'(s)-g'(x)\rvert\bigr)$ とおくと、$m''$ と $g'$ の連続性から $\omega(h)\to0$ である。Taylorの定理 から $\lvert u\rvert\le1$ で
$$ m(x-hu)-m(x)=-hum'(x)+\frac{h^2u^2}2\bigl(m''(x)+r_1\bigr),\qquad g(x-hu)=g(x)-hu\bigl(g'(x)+r_2\bigr) $$
と書け、$\lvert r_1\rvert,\lvert r_2\rvert\le\omega(h)$ である($r_1,r_2$ はこの式で定まる $u$ の関数)。2 つを掛けると
$$ -hum'g+h^2u^2\Bigl(m'g'+\frac{m''g}2\Bigr)+h^2u^2\Bigl(m'r_2+\frac{g\,r_1}2\Bigr)-\frac{h^3u^3}2(m''+r_1)(g'+r_2) $$
($m',m'',g,g'$ は $x$ での値)。$K$ は偶関数なので $\int uK=0$ で、1 項目の積分は $0$ である。2 項目の積分は $h^2\mu_2(m'g'+\frac12m''g)=h^2g(x)B(x)$、3 項目は絶対値が $h^2\omega(h)(L+\frac12\sup g)\int u^2\lvert K\rvert=o(h^2)$、4 項目は $O(h^3)$ である。よって $N_n=h^2g(x)B(x)+o(h^2)+O(1/n)$ で、$D_n=g(x)+o(1)$ で割って偏りの式を得る。
MSE。 $\mathrm{MSE}=\text{偏り}^2+\text{分散}$ で、偏りの 2 乗の交差項は $O(h^2/n)=o(1/(nh))$、$O(1/n^2)=o(1/(nh))$ である。$\square$

計画の密度 $g$ が一様でないと、偏りに $m'g'/g$ の項が加わる。$g$ が増える向きには観測点が多いので、窓の中の観測の重心が $x$ からずれ、$m$ の傾き $m'$ を拾うからである。分散の $1/g(x)$ は、観測点がまばらな所では窓に入る観測が少ないことを表す。

最適な帯域幅

thm-npr-nw の仮定のもとで $B(x)\ne0$ とする。主要項 $\mathrm{AMSE}(h)=h^4B(x)^2+\frac{\sigma^2R(K)}{nhg(x)}$ は公式の表の $h^\ast$ でただ 1 つの最小をとり、最小値は $\frac54(4B^2)^{1/5}(\sigma^2R(K)/g)^{4/5}n^{-4/5}$ である。$h=h^\ast$ とすると $\mathrm{MSE}(x)=\mathrm{AMSE}(h^\ast)(1+o(1))$ である。

$a,b>0$ について $\varphi(h)=a/h+bh^4$ の導関数 $-a/h^2+4bh^3$ は $h^5=a/(4b)$ でだけ $0$ になり、その前で負、後で正である。そこでは $bh^4=a/(4h)$ なので $\varphi=\frac54a/h=\frac54a^{4/5}(4b)^{1/5}$。$a=\sigma^2R(K)/(ng)$、$b=B^2$ を入れる。$h^\ast\propto n^{-1/5}$ だから $h^\ast\to0$、$nh^\ast\to\infty$ で、thm-npr-nw の $o(h^4+1/(nh))$ は $o(n^{-4/5})$ である。一方 $\mathrm{AMSE}(h^\ast)$ は $n^{-4/5}$ の正の定数倍である。$\square$

局所線形推定と端の点

Nadaraya–Watson 推定量の偏りの 1 次の項 $-hum'g$ が消えたのは、窓 $[x-h,x+h]$ が $x$ について対称だったからである。端の点ではこれが成り立たず、偏りが $h$ の大きさになる(反例の表の 2 行目)。局所線形推定は、重みの 1 次の積率が $0$ になるように核を自動的に直す。

局所線形推定の重み

$K\ge0$、$S_0S_2-S_1^2>0$ とする。このとき
$$ \hat m^{\mathrm{LL}}_h(x)=\sum_il_iY_i,\qquad l_i=\frac{K_i(x)\bigl(S_2-(x_i-x)S_1\bigr)}{S_0S_2-S_1^2} $$
で、$\sum_il_i=1$、$\sum_il_i(x_i-x)=0$ である。したがって $m$ が 1 次関数なら $\mathbb{E}\hat m^{\mathrm{LL}}_h(x)=m(x)$ で、(K) のもとで $m$ が $[0,1]$ で $C^2$ 級なら、端の点を含むすべての $x$ で
$$ \bigl\lvert\mathbb{E}\hat m^{\mathrm{LL}}_h(x)-m(x)\bigr\rvert\le\frac{h^2}2\sup\lvert m''\rvert\sum_i\lvert l_i\rvert . $$

$K_i=K_i(x)$、$d_i=x_i-x$ と書く。目的関数 $\sum_iK_i(Y_i-a-bd_i)^2$ は $(a,b)$ の 2 次式で、2 次の部分の行列 $\begin{pmatrix}S_0&S_1\\S_1&S_2\end{pmatrix}$ は $S_0>0$ と行列式 $S_0S_2-S_1^2>0$ から正定値なので、最小点は偏微分を $0$ とおいた正規方程式
$$ S_0a+S_1b=\sum_iK_iY_i,\qquad S_1a+S_2b=\sum_iK_id_iY_i $$
のただ 1 つの解である(最小二乗法)。Cramerの公式 から $a=\bigl(S_2\sum_iK_iY_i-S_1\sum_iK_id_iY_i\bigr)/(S_0S_2-S_1^2)$ で、これが $l_i$ の式である。$\sum_il_i=(S_2S_0-S_1^2)/(S_0S_2-S_1^2)=1$、$\sum_il_id_i=(S_2S_1-S_1S_2)/(S_0S_2-S_1^2)=0$。
偏りは $\sum_il_im(x_i)-m(x)=\sum_il_i\bigl(m(x_i)-m(x)-m'(x)d_i\bigr)$ と書け(2 つの恒等式を使った)、括弧の中は Taylorの定理 から絶対値が $\frac12d_i^2\sup\lvert m''\rvert$ 以下である。$l_i\ne0$ なら $K_i\ne0$ なので $\lvert d_i\rvert\le h$ で、評価を得る。$m$ が 1 次関数なら括弧は $0$ である。$\square$

帯域幅の選び方

$h^\ast$ の式は未知の $m''$ と $\sigma^2$ を含むので、実際には $h$ をデータから選ぶ。よく使うのは、各観測を 1 つずつ抜いて残りで予測した誤差の平均
$$ \mathrm{CV}(h)=\frac1n\sum_{i=1}^n\bigl(Y_i-\hat m_h^{(-i)}(x_i)\bigr)^2 $$
を最小にする 1 個抜きの交差検証 である。$\hat m_h^{(-i)}$ は $i$ 番目の観測を除いて作った推定量である。素朴には推定を $n$ 回やり直すが、Nadaraya–Watson 推定量では 1 回の計算で済む。

1 個抜きの公式

$K\ge0$ とし、$i$ について $\sum_{j\ne i}K_j(x_i)>0$ とする。$S_{ii}=w_i(x_i)=K(0)/\sum_jK_j(x_i)$ とおくと
$$ Y_i-\hat m_h^{(-i)}(x_i)=\frac{Y_i-\hat m_h(x_i)}{1-S_{ii}} . $$

$T=\sum_jK_j(x_i)$、$T'=\sum_{j\ne i}K_j(x_i)=T-K(0)$ とおくと $1-S_{ii}=T'/T>0$ で、
$$ \hat m_h(x_i)=\frac{K(0)Y_i+\sum_{j\ne i}K_j(x_i)Y_j}T=S_{ii}Y_i+(1-S_{ii})\,\hat m_h^{(-i)}(x_i) $$
である。両辺を $Y_i$ から引くと $Y_i-\hat m_h(x_i)=(1-S_{ii})(Y_i-\hat m_h^{(-i)}(x_i))$ となる。$\square$

計算の手順

  1. 核を選ぶ。 非負で偶関数の核(Epanechnikov 核など)を使う。台が $[-1,1]$ の核なら、各点で $\lvert x-x_i\rvert\le h$ の観測だけを足せばよい。
  2. 帯域幅の候補を並べる。 観測点の間隔より十分大きく、区間の幅より十分小さい範囲に $h$ の格子をとる。窓に観測が 1 つもない点では推定量が定義されないので、最も小さい候補でも各点の窓に観測が入るようにする。
  3. 交差検証で選ぶ。 各候補 $h$ で $\hat m_h(x_i)$ と $S_{ii}$ を計算し、prop-npr-loo で $\mathrm{CV}(h)$ を求め、最小の $h$ をとる。計算量は候補 1 つあたり $n$ 点 $\times$ 窓の中の観測の数である。
  4. 推定する。 評価点の格子の上で $\hat m_h$ を計算する。端から $h$ 以内の点では局所線形推定(def-npr-ll)に替える。
  5. 確かめる。 残差 $Y_i-\hat m_h(x_i)$ を $x_i$ に対して描き、山や谷が残っていれば $h$ が大きすぎる。曲線が細かく波打っていれば小さすぎる。
    図: 左は等間隔の 200 点(x_i=i/200)で、真の回帰関数 sin(2πx) に標準偏差 0.5 の正規誤差を足したデータ(灰色の点)に Epanechnikov 核の推定を当てたもの。帯域幅 0.03 の曲線は細かく波打ち、0.10 は真の曲線(破線)に近く、0.30 は山と谷がつぶれて平らになる。点線の局所線形推定(帯域幅 0.10)は内部では 0.10 の Nadaraya–Watson の曲線とほぼ重なり、端では偏りが小さいかわりにばらつきが大きく、この標本では x=0 で −0.50 になる。右は x=0.25 での厳密な偏りの 2 乗・分散・MSE を帯域幅 h(0.02 から 0.3)の関数として描いたもの。分散は h とともに減り、偏りの 2 乗は増え、MSE は h=0.105 付近で最小 0.0090 をとり、破線の AMSE とその最小点 h*=0.1038(縦線)にほぼ一致する。 図: 左は等間隔の 200 点(x_i=i/200)で、真の回帰関数 sin(2πx) に標準偏差 0.5 の正規誤差を足したデータ(灰色の点)に Epanechnikov 核の推定を当てたもの。帯域幅 0.03 の曲線は細かく波打ち、0.10 は真の曲線(破線)に近く、0.30 は山と谷がつぶれて平らになる。点線の局所線形推定(帯域幅 0.10)は内部では 0.10 の Nadaraya–Watson の曲線とほぼ重なり、端では偏りが小さいかわりにばらつきが大きく、この標本では x=0 で −0.50 になる。右は x=0.25 での厳密な偏りの 2 乗・分散・MSE を帯域幅 h(0.02 から 0.3)の関数として描いたもの。分散は h とともに減り、偏りの 2 乗は増え、MSE は h=0.105 付近で最小 0.0090 をとり、破線の AMSE とその最小点 h*=0.1038(縦線)にほぼ一致する。

例題

5 点のデータでの値

観測 $(x_i,Y_i)$ が $(0.1,1.0)$、$(0.3,1.4)$、$(0.5,2.1)$、$(0.7,1.7)$、$(0.9,2.5)$ で、Epanechnikov 核、$h=0.3$ とする。$x=0.5$ と $x=0.1$ での Nadaraya–Watson 推定と局所線形推定を求める。
使う公式:def-npr-nw、prop-npr-ll。
答え:$x=0.5$ では重みが $\frac5{19},\frac9{19},\frac5{19}$($x_i=0.3,0.5,0.7$)で、$\hat m_h(0.5)=34.4/19\approx1.8105$。窓が $x$ について対称なので $S_1=0$ で、局所線形推定も同じ値になる。$x=0.1$ では窓に入るのは $x_i=0.1,0.3$ だけで、$\hat m_h(0.1)=(9\cdot1.0+5\cdot1.4)/14\approx1.1429$、局所線形推定は 2 点を通る直線の値 $1.0$ である。

重みの計算を開く

$x=0.5$:$u=(0.5-x_i)/0.3$ は $\frac43,\frac23,0,-\frac23,-\frac43$ で、$K(u)$ は $0,\frac5{12},\frac34,\frac5{12},0$。和は $\frac{19}{12}$ なので重みは $\frac5{19},\frac9{19},\frac5{19}$。$x=0.1$:$u=0,-\frac23,\dots$ で、$K$ は $\frac34,\frac5{12}$、重みは $\frac9{14},\frac5{14}$。局所線形の重みは prop-npr-ll の式で $l=(1,0)$ になる。

等間隔の計画での最適な帯域幅

$x_i=i/n$、$n=200$、$m(x)=\sin2\pi x$、$\sigma=0.5$、Epanechnikov 核で、$x=0.25$ での $h^\ast$ と AMSE を求め、厳密な MSE と比べる。
使う公式:cor-npr-hopt($g\equiv1$)、公式の表の 1 行目。
答え:$m''(0.25)=-4\pi^2$ から $h^\ast=\bigl(0.25\cdot0.6/(0.04\cdot16\pi^4\cdot200)\bigr)^{1/5}\approx0.1038$、$\mathrm{AMSE}(h^\ast)\approx0.009035$。重みの和で計算した厳密な値は、$h^\ast$ で偏り $-0.04188$、分散 $0.007227$、MSE $0.008981$ で、MSE の最小は $h\approx0.1048$ での $0.008979$ である。主要項の近似の偏り $h^{\ast2}\mu_2m''/2\approx-0.04251$ も厳密な値に近い。

端の点での偏り

$x_i=i/100$($n=100$)、$m(x)=x$、Epanechnikov 核、$h=0.1$ として、$x=0$ での 2 つの推定量の期待値を求める。
使う公式:公式の表の 1 行目、prop-npr-ll。
答え:Nadaraya–Watson では $\sum_iw_i(0)x_i\approx0.04024$ で、真の値 $0$ から $h$ の大きさだけずれる(反例の表の 2 行目の主要項 $\frac38h=0.0375$ に近い)。局所線形では $m$ が 1 次関数なので期待値はちょうど $0$ である。このとき $\sum_i\lvert l_i\rvert\approx1.742$ で、$m(x)=x^2$ に替えると局所線形の偏りは $-0.001459$、prop-npr-ll の上界は $0.01742$ である。

1 個抜きの残差

ex-npr-point のデータと $h=0.3$ で、$x_3=0.5$ の 1 個抜きの残差を 2 通りに求める。
使う公式:prop-npr-loo。
答え:$S_{33}=\frac9{19}$、$Y_3-\hat m_h(0.5)=2.1-1.8105=0.2895$ を $1-\frac9{19}=\frac{10}{19}$ で割って $0.55$。直接には、$x_3$ を除くと窓に残るのは $x=0.3,0.7$ で重みが等しく、$\hat m_h^{(-3)}(0.5)=1.55$、残差は $0.55$ で一致する。5 点すべてで計算すると $\mathrm{CV}(0.3)\approx0.2970$、$\mathrm{CV}(0.6)\approx0.2545$ である。

使える条件と反例

各行は thm-npr-nw の仮定を 1 つだけ外す。数値は $x_i=i/n$、Epanechnikov 核(1 行目を除く)で計算した。

外す仮定反例成り立たなくなること
$K$ が偶関数((K))$K=\mathbf 1_{[0,1]}$、$m(x)=\sin2\pi x$、$x=0.5$偏りが $-h\mu_1m'(x)=\pi h$($\mu_1=\int uK=\frac12$)で、$h^2$ の大きさでない
内部の点$x=0$、$m(x)=\sin2\pi x$偏りが約 $\frac38hm'(0)=\frac{3\pi}4h$ で、$h$ の大きさ
$m$ が $x$ の近くで $C^2$ 級((M))$m(t)=\lvert t-\frac12\rvert^{3/2}$、$x=\frac12$偏りが約 $\frac4{15}h^{3/2}$ で、$h^2$ の大きさでない
$h\to0$$h=0.2$ に固定、$m(x)=\sin2\pi x$、$x=0.25$偏りが $n$ によらず約 $-0.1493$ に近づき、MSE は $0$ に近づかない
$nh\to\infty$$h=1.5/n$、$x=0.25$($n$ は $4$ の倍数)窓の中の観測が 3 個のままで、分散が $\frac{131}{361}\sigma^2\approx0.363\sigma^2$ に留まる
反例の確かめを開く

1 行目:偏りは $\int_0^1(m(x-hu)-m(x))\,du+O(1/(nh))$ で、主要項は $-\frac h2m'(x)$。$m'(0.5)=-2\pi$ なので $\pi h$。$n=20000$、$h=0.02$ で偏り$/h=3.130$。2 行目:$x=0$ の窓は $u\in[-1,0]$ の半分だけで、期待値は $\int_0^1K(v)m(hv)\,dv/\int_0^1K+o(h)$、主要項は $hm'(0)\int_0^1vK/\int_0^1K=hm'(0)\cdot\frac{3/16}{1/2}$。$n=20000$、$h=0.04$ で偏り$/h=2.350$($\frac{3\pi}4=2.356$)。3 行目:$m$ の導関数 $\frac32\lvert t-\frac12\rvert^{1/2}\operatorname{sgn}(t-\frac12)$ は連続なので $m\in C^1$ だが、$\frac12$ で 2 回微分できない。偏りの主要項は $h^{3/2}\int\lvert u\rvert^{3/2}K=\frac4{15}h^{3/2}$、$n=20000$、$h=0.01$ で偏り$/h^{3/2}=0.26666$。4 行目:偏りの極限は $\int K(u)\sin2\pi(0.25-0.2u)\,du-1\approx-0.14926$、$n=200,2000,20000$ で $-0.14918,-0.14926,-0.14926$。5 行目:窓に入るのは $x$ から $\pm\frac1n$ 以内の 3 点で、重みは $\frac5{19},\frac9{19},\frac5{19}$、2 乗和は $\frac{131}{361}$。

よくある誤り

誤り正しくはなぜ
$h$ を小さくすれば推定は正確になる分散 $\sigma^2R(K)/(nhg)$ が増える。$n^{-1/5}$ の大きさに選ぶthm-npr-nw、cor-npr-hopt
端の点でも偏りは $h^2$ の大きさNadaraya–Watson では $h$ の大きさ。局所線形推定に替える反例の表の 2 行目、prop-npr-ll
観測点の配置は偏りに関係しない計画の密度が一様でないと $\mu_2m'g'/g$ の項が加わるthm-npr-nw
交差検証の代わりに残差 2 乗和を最小にする残差 2 乗和は $h\to0$ で小さくなり、データをなぞるだけになるprop-npr-loo の $1-S_{ii}$ の割り算が補正にあたる
局所線形推定の偏りは常に $0$$0$ になるのは $m$ が 1 次関数のとき。一般には $h^2$ の大きさex-npr-boundary

補足

ほかの推定量との関係

$K=\frac12\mathbf 1_{[-1,1]}$ の Nadaraya–Watson 推定量は窓の中の観測の単純平均で、窓の幅を観測の個数で決めると $k$ 近傍の平均になる(HTF09 §6.1、式 (6.1)、p. 192)。$\sum_iK_i(Y_i-p(x_i-x))^2$ を次数 $p$ 以下の多項式で最小にする局所多項式推定は、局所線形の一般化である。罰則つきの最小二乗で滑らかな関数を当てはめる方法には 平滑化スプライン があり、これも線形平滑化である。密度の推定の カーネル密度推定 と同じく、帯域幅による偏りと分散の釣り合いが中心の問題になる。

文献

HTF09 §6.1(式 (6.1)〜(6.2)、pp. 192–193)、§6.1.1(式 (6.7)〜(6.10)、pp. 194–196)。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する