ノンパラメトリック回帰(nonparametric regression)とは、観測 $Y_i=m(x_i)+\varepsilon_i$ から回帰関数 $m$ を、母数の形を仮定せず滑らかさだけを仮定して推定する方法である。基本の Nadaraya–Watson 推定量は近くの $Y_i$ を核の重みで平均する。観測点を固定した計画で、$m$ が 2 回連続微分可能、核が対称なら、内部の点で偏りは $h^2$、分散は $1/(nh)$ の大きさで、最適な帯域幅は $n^{-1/5}$ に比例し、2 乗誤差は $n^{-4/5}$ の速さで減る。端の点では偏りが $h$ の大きさになり、局所線形推定がこれを直す。
ノンパラメトリック回帰(nonparametric regression)は、観測 $(x_i,Y_i)$ から回帰関数 $m(x)$ を、直線や多項式のような有限個の母数の形を仮定せずに推定する方法である。最も基本的な推定量は、点 $x$ の近くの観測の $Y_i$ を、核 $K$ の重みで平均する Nadaraya–Watson 推定量
$$
\hat m_h(x)=\frac{\sum_{i=1}^nK\bigl((x-x_i)/h\bigr)Y_i}{\sum_{i=1}^nK\bigl((x-x_i)/h\bigr)}
$$
である。回帰分析 の線形回帰では $m$ が 1 次関数だと決めてかかるので、本当の $m$ が曲がっていれば、データをいくら増やしてもその曲がりは捉えられない。ノンパラメトリック回帰は $m$ の滑らかさだけを仮定し、その代わりに帯域幅 $h$ の選び方という新しい問題を抱える。
$h$ が小さいと平均に使う観測が少なく、推定はばらつく。$h$ が大きいと遠くの観測まで混ぜるので、$m$ の山や谷がならされる。この記事では、観測点を固定した計画のもとで、内部の点での偏りと分散の主要項
$$
\mathbb{E}\hat m_h(x)-m(x)\approx h^2\mu_2\Bigl(\frac{m''(x)}2+\frac{m'(x)g'(x)}{g(x)}\Bigr),\qquad\operatorname{Var}\hat m_h(x)\approx\frac{\sigma^2R(K)}{nh\,g(x)}
$$
を証明し、そこから最適な帯域幅が $n^{-1/5}$ に比例し、2 乗誤差が $n^{-4/5}$ の速さで減ることを導く。端の点で Nadaraya–Watson 推定量の偏りが大きくなることと、それを直す局所線形推定も扱う。記号は次の節で定める。
観測は $n$ 組 $(x_1,Y_1),\dots,(x_n,Y_n)$ で、
$$
Y_i=m(x_i)+\varepsilon_i\qquad(i=1,\dots,n)
$$
とする。$\varepsilon_1,\dots,\varepsilon_n$ は独立で、平均 $0$、分散 $\sigma^2$ をもつ(正規分布は仮定しない)。$m$ を 回帰関数 という。観測点 $x_i$ も確率変数とする場合は $m(x)$ は条件付き期待値 $\mathbb{E}[Y\mid X=x]$(条件付き期待値)にあたるが、この記事では観測点を固定した場合だけを扱う。
$K\colon\mathbb{R}\to\mathbb{R}$ を $\int K=1$ を満たす関数、$h>0$ とし、$K_i(x)=K((x-x_i)/h)$ と書く。$\sum_iK_i(x)\ne0$ のとき
$$
\hat m_h(x)=\sum_{i=1}^nw_i(x)Y_i,\qquad w_i(x)=\frac{K_i(x)}{\sum_{j=1}^nK_j(x)}
$$
を Nadaraya–Watson 推定量 という(HTF09 §6.1、式 (6.2)、p. 193)。$K$ を 核、$h$ を 帯域幅 という。
重み $w_i(x)$ は $Y_1,\dots,Y_n$ によらないので、$\hat m_h(x)$ は $Y_i$ の 1 次式である。このような推定量を 線形平滑化 という。重みの和は $1$ で、$K\ge0$ なら $\hat m_h(x)$ は近くの $Y_i$ の重み付き平均である。$\hat m_h(x)$ は $\sum_iK_i(x)(Y_i-a)^2$ を最小にする定数 $a$ でもある。
$K\ge0$ とし、$S_k(x)=\sum_iK_i(x)(x_i-x)^k$($k=0,1,2$)とおく。$S_0S_2-S_1^2>0$ のとき、$\sum_iK_i(x)\bigl(Y_i-a-b(x_i-x)\bigr)^2$ を最小にする $(a,b)$ の $a$ を $\hat m^{\mathrm{LL}}_h(x)$ と書き、局所線形推定量 という(HTF09 §6.1.1、式 (6.7)〜(6.9)、pp. 194–195)。
この記事の定理を使う条件をまとめる。
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| 期待値と分散 | $\mathbb{E}\hat m_h(x)=\sum_iw_i(x)m(x_i)$、$\operatorname{Var}\hat m_h(x)=\sigma^2\sum_iw_i(x)^2$ | $\sum_iK_i(x)\ne0$ | thm-npr-nw の証明 |
| 内部の偏り | $h^2B(x)+o(h^2)+O(1/n)$、$B=\mu_2\bigl(\frac{m''}2+\frac{m'g'}g\bigr)$ | (K)(D)(M)、内部の点 | thm-npr-nw |
| 内部の分散 | $\dfrac{\sigma^2R(K)}{nh\,g(x)}(1+o(1))$ | 同上 | thm-npr-nw |
| 最適な帯域幅 | $h^\ast=\Bigl[\dfrac{\sigma^2R(K)}{4g(x)B(x)^2\,n}\Bigr]^{1/5}$ | 同上、$B(x)\ne0$ | cor-npr-hopt |
| 等間隔での最適な帯域幅 | $h^\ast=\Bigl[\dfrac{\sigma^2R(K)}{\mu_2^2m''(x)^2\,n}\Bigr]^{1/5}$ | $g\equiv1$、$m''(x)\ne0$ | cor-npr-hopt |
| 最小の主要項 | $\frac54\bigl(4B^2\bigr)^{1/5}\bigl(\sigma^2R(K)/g\bigr)^{4/5}n^{-4/5}$ | 同上 | cor-npr-hopt |
| 局所線形の重み | $\sum_il_i=1$、$\sum_il_i(x_i-x)=0$ | $K\ge0$、$S_0S_2-S_1^2>0$ | prop-npr-ll |
| 局所線形の偏り | $\lvert\text{偏り}\rvert\le\frac{h^2}2\sup\lvert m''\rvert\sum_i\lvert l_i\rvert$ | 同上、(K)、$m\in C^2$ | prop-npr-ll |
| 1 個抜きの残差 | $Y_i-\hat m_h^{(-i)}(x_i)=\dfrac{Y_i-\hat m_h(x_i)}{1-S_{ii}}$ | $K\ge0$、$\sum_{j\ne i}K_j(x_i)>0$ | prop-npr-loo |
Epanechnikov 核 $K(u)=\frac34(1-u^2)$($\lvert u\rvert\le1$)では $\mu_2=\frac15$、$R(K)=\frac35$、$V(K)=\frac32$ である。核の定数の一覧は カーネル密度推定 の公式の表にある。
和を積分で置き換える評価から始める。$\psi$ の $[0,1]$ 上の全変動を $V(\psi)$ と書く。
(D) を仮定する。$\psi\colon[0,1]\to\mathbb{R}$ が有界変動なら
$$
\Bigl\lvert\frac1n\sum_{i=1}^n\psi(x_i)-\int_0^1\psi(t)g(t)\,dt\Bigr\rvert\le\frac{V(\psi)}n .
$$
$\varphi=\psi\circ G$ とおく。$G$ は $[0,1]$ からそれ自身への増加の全単射なので、$[0,1]$ の分割を $G$ で移すと分割どうしが 1 対 1 に対応し、$V(\varphi)=V(\psi)$ である。置換 $t=G(s)$ で $ds=g(t)\,dt$ だから $\int_0^1\varphi(s)\,ds=\int_0^1\psi(t)g(t)\,dt$。区間 $I_i=[(i-1)/n,i/n]$ の上で $\lvert\varphi(i/n)-\varphi(s)\rvert\le V_{I_i}(\varphi)$ なので
$$
\Bigl\lvert\frac1n\varphi(i/n)-\int_{I_i}\varphi\Bigr\rvert\le\frac{V_{I_i}(\varphi)}n
$$
で、$i$ について足すと $\sum_iV_{I_i}(\varphi)=V(\varphi)$ から主張を得る。$\square$
(K)(D)(M) を仮定し、$0< x< 1$、$h=h_n\to0$、$nh\to\infty$ とする。$n$ が十分大きければ $\sum_iK_i(x)>0$ で、
$$
\mathbb{E}\hat m_h(x)-m(x)=h^2B(x)+o(h^2)+O\Bigl(\frac1n\Bigr),\qquad\operatorname{Var}\hat m_h(x)=\frac{\sigma^2R(K)}{nh\,g(x)}\bigl(1+o(1)\bigr)
$$
が成り立つ。ここで $B(x)=\mu_2\bigl(\frac12m''(x)+m'(x)g'(x)/g(x)\bigr)$ である。したがって平均 2 乗誤差は
$$
\mathrm{MSE}(x)=\mathbb{E}\bigl(\hat m_h(x)-m(x)\bigr)^2=h^4B(x)^2+\frac{\sigma^2R(K)}{nh\,g(x)}+o\Bigl(h^4+\frac1{nh}\Bigr)
$$
で、特に $\hat m_h(x)$ は $m(x)$ に 2 乗平均で収束する。
期待値と分散を和で書く。 $n$ を十分大きくとり $h< \min(x,1-x)$ とする。
$$
D_n=\frac1{nh}\sum_iK_i(x),\qquad N_n=\frac1{nh}\sum_iK_i(x)\bigl(m(x_i)-m(x)\bigr),\qquad Q_n=\frac1{nh}\sum_iK_i(x)^2
$$
とおく。$D_n>0$ なら、重みの和が $1$ なので $\mathbb{E}\hat m_h(x)-m(x)=\sum_iw_i(m(x_i)-m(x))=N_n/D_n$、$\varepsilon_i$ の独立性から $\operatorname{Var}\hat m_h(x)=\sigma^2\sum_iw_i^2=\sigma^2Q_n/(nhD_n^2)$ である。
$D_n$ と $Q_n$。 $\psi_1(t)=h^{-1}K((x-t)/h)$ は $V(\psi_1)\le V(K)/h$ を満たす。lem-npr-riemann と置換 $t=x-hu$ から
$$
D_n=\int_{-1}^1K(u)g(x-hu)\,du+O\Bigl(\frac1{nh}\Bigr)\longrightarrow g(x)
$$
である($g$ は $x$ で連続で、$\int K=1$)。$g(x)>0$ だから $n$ が大きければ $D_n>0$ である。同様に $K^2$ の全変動は $2\sup\lvert K\rvert\,V(K)$ 以下なので $Q_n\to R(K)g(x)$ である。これで分散の式を得る。
$N_n$ の和を積分にする。 $J=[x-h,x+h]$ とし、$k(t)=m(\min(\max(t,x-h),x+h))-m(x)$ とおくと、$K((x-t)/h)$ は $J$ の外で $0$ なので $\psi_3(t)=h^{-1}K((x-t)/h)k(t)$ は $N_n$ の各項を与える。$\lvert k\rvert\le Lh$、$V(k)\le2Lh$ で、$\lvert f(b)k(b)-f(a)k(a)\rvert\le\lvert f(b)\rvert\lvert k(b)-k(a)\rvert+\lvert k(a)\rvert\lvert f(b)-f(a)\rvert$ から $V(fk)\le\sup\lvert f\rvert V(k)+\sup\lvert k\rvert V(f)$ なので
$$
V(\psi_3)\le\frac1h\bigl(\sup\lvert K\rvert\cdot2Lh+Lh\cdot V(K)\bigr)=L\bigl(2\sup\lvert K\rvert+V(K)\bigr)
$$
は $h$ によらない。lem-npr-riemann から
$$
N_n=\int_{-1}^1K(u)\bigl(m(x-hu)-m(x)\bigr)g(x-hu)\,du+O\Bigl(\frac1n\Bigr).
$$
積分を展開する。 $\omega(h)=\sup_{\lvert s-x\rvert\le h}\bigl(\lvert m''(s)-m''(x)\rvert+\lvert g'(s)-g'(x)\rvert\bigr)$ とおくと、$m''$ と $g'$ の連続性から $\omega(h)\to0$ である。Taylorの定理 から $\lvert u\rvert\le1$ で
$$
m(x-hu)-m(x)=-hum'(x)+\frac{h^2u^2}2\bigl(m''(x)+r_1\bigr),\qquad g(x-hu)=g(x)-hu\bigl(g'(x)+r_2\bigr)
$$
と書け、$\lvert r_1\rvert,\lvert r_2\rvert\le\omega(h)$ である($r_1,r_2$ はこの式で定まる $u$ の関数)。2 つを掛けると
$$
-hum'g+h^2u^2\Bigl(m'g'+\frac{m''g}2\Bigr)+h^2u^2\Bigl(m'r_2+\frac{g\,r_1}2\Bigr)-\frac{h^3u^3}2(m''+r_1)(g'+r_2)
$$
($m',m'',g,g'$ は $x$ での値)。$K$ は偶関数なので $\int uK=0$ で、1 項目の積分は $0$ である。2 項目の積分は $h^2\mu_2(m'g'+\frac12m''g)=h^2g(x)B(x)$、3 項目は絶対値が $h^2\omega(h)(L+\frac12\sup g)\int u^2\lvert K\rvert=o(h^2)$、4 項目は $O(h^3)$ である。よって $N_n=h^2g(x)B(x)+o(h^2)+O(1/n)$ で、$D_n=g(x)+o(1)$ で割って偏りの式を得る。
MSE。 $\mathrm{MSE}=\text{偏り}^2+\text{分散}$ で、偏りの 2 乗の交差項は $O(h^2/n)=o(1/(nh))$、$O(1/n^2)=o(1/(nh))$ である。$\square$
計画の密度 $g$ が一様でないと、偏りに $m'g'/g$ の項が加わる。$g$ が増える向きには観測点が多いので、窓の中の観測の重心が $x$ からずれ、$m$ の傾き $m'$ を拾うからである。分散の $1/g(x)$ は、観測点がまばらな所では窓に入る観測が少ないことを表す。
thm-npr-nw の仮定のもとで $B(x)\ne0$ とする。主要項 $\mathrm{AMSE}(h)=h^4B(x)^2+\frac{\sigma^2R(K)}{nhg(x)}$ は公式の表の $h^\ast$ でただ 1 つの最小をとり、最小値は $\frac54(4B^2)^{1/5}(\sigma^2R(K)/g)^{4/5}n^{-4/5}$ である。$h=h^\ast$ とすると $\mathrm{MSE}(x)=\mathrm{AMSE}(h^\ast)(1+o(1))$ である。
$a,b>0$ について $\varphi(h)=a/h+bh^4$ の導関数 $-a/h^2+4bh^3$ は $h^5=a/(4b)$ でだけ $0$ になり、その前で負、後で正である。そこでは $bh^4=a/(4h)$ なので $\varphi=\frac54a/h=\frac54a^{4/5}(4b)^{1/5}$。$a=\sigma^2R(K)/(ng)$、$b=B^2$ を入れる。$h^\ast\propto n^{-1/5}$ だから $h^\ast\to0$、$nh^\ast\to\infty$ で、thm-npr-nw の $o(h^4+1/(nh))$ は $o(n^{-4/5})$ である。一方 $\mathrm{AMSE}(h^\ast)$ は $n^{-4/5}$ の正の定数倍である。$\square$
Nadaraya–Watson 推定量の偏りの 1 次の項 $-hum'g$ が消えたのは、窓 $[x-h,x+h]$ が $x$ について対称だったからである。端の点ではこれが成り立たず、偏りが $h$ の大きさになる(反例の表の 2 行目)。局所線形推定は、重みの 1 次の積率が $0$ になるように核を自動的に直す。
$K\ge0$、$S_0S_2-S_1^2>0$ とする。このとき
$$
\hat m^{\mathrm{LL}}_h(x)=\sum_il_iY_i,\qquad l_i=\frac{K_i(x)\bigl(S_2-(x_i-x)S_1\bigr)}{S_0S_2-S_1^2}
$$
で、$\sum_il_i=1$、$\sum_il_i(x_i-x)=0$ である。したがって $m$ が 1 次関数なら $\mathbb{E}\hat m^{\mathrm{LL}}_h(x)=m(x)$ で、(K) のもとで $m$ が $[0,1]$ で $C^2$ 級なら、端の点を含むすべての $x$ で
$$
\bigl\lvert\mathbb{E}\hat m^{\mathrm{LL}}_h(x)-m(x)\bigr\rvert\le\frac{h^2}2\sup\lvert m''\rvert\sum_i\lvert l_i\rvert .
$$
$K_i=K_i(x)$、$d_i=x_i-x$ と書く。目的関数 $\sum_iK_i(Y_i-a-bd_i)^2$ は $(a,b)$ の 2 次式で、2 次の部分の行列 $\begin{pmatrix}S_0&S_1\\S_1&S_2\end{pmatrix}$ は $S_0>0$ と行列式 $S_0S_2-S_1^2>0$ から正定値なので、最小点は偏微分を $0$ とおいた正規方程式
$$
S_0a+S_1b=\sum_iK_iY_i,\qquad S_1a+S_2b=\sum_iK_id_iY_i
$$
のただ 1 つの解である(最小二乗法)。Cramerの公式 から $a=\bigl(S_2\sum_iK_iY_i-S_1\sum_iK_id_iY_i\bigr)/(S_0S_2-S_1^2)$ で、これが $l_i$ の式である。$\sum_il_i=(S_2S_0-S_1^2)/(S_0S_2-S_1^2)=1$、$\sum_il_id_i=(S_2S_1-S_1S_2)/(S_0S_2-S_1^2)=0$。
偏りは $\sum_il_im(x_i)-m(x)=\sum_il_i\bigl(m(x_i)-m(x)-m'(x)d_i\bigr)$ と書け(2 つの恒等式を使った)、括弧の中は Taylorの定理 から絶対値が $\frac12d_i^2\sup\lvert m''\rvert$ 以下である。$l_i\ne0$ なら $K_i\ne0$ なので $\lvert d_i\rvert\le h$ で、評価を得る。$m$ が 1 次関数なら括弧は $0$ である。$\square$
$h^\ast$ の式は未知の $m''$ と $\sigma^2$ を含むので、実際には $h$ をデータから選ぶ。よく使うのは、各観測を 1 つずつ抜いて残りで予測した誤差の平均
$$
\mathrm{CV}(h)=\frac1n\sum_{i=1}^n\bigl(Y_i-\hat m_h^{(-i)}(x_i)\bigr)^2
$$
を最小にする 1 個抜きの交差検証 である。$\hat m_h^{(-i)}$ は $i$ 番目の観測を除いて作った推定量である。素朴には推定を $n$ 回やり直すが、Nadaraya–Watson 推定量では 1 回の計算で済む。
$K\ge0$ とし、$i$ について $\sum_{j\ne i}K_j(x_i)>0$ とする。$S_{ii}=w_i(x_i)=K(0)/\sum_jK_j(x_i)$ とおくと
$$
Y_i-\hat m_h^{(-i)}(x_i)=\frac{Y_i-\hat m_h(x_i)}{1-S_{ii}} .
$$
$T=\sum_jK_j(x_i)$、$T'=\sum_{j\ne i}K_j(x_i)=T-K(0)$ とおくと $1-S_{ii}=T'/T>0$ で、
$$
\hat m_h(x_i)=\frac{K(0)Y_i+\sum_{j\ne i}K_j(x_i)Y_j}T=S_{ii}Y_i+(1-S_{ii})\,\hat m_h^{(-i)}(x_i)
$$
である。両辺を $Y_i$ から引くと $Y_i-\hat m_h(x_i)=(1-S_{ii})(Y_i-\hat m_h^{(-i)}(x_i))$ となる。$\square$
図: 左は等間隔の 200 点(x_i=i/200)で、真の回帰関数 sin(2πx) に標準偏差 0.5 の正規誤差を足したデータ(灰色の点)に Epanechnikov 核の推定を当てたもの。帯域幅 0.03 の曲線は細かく波打ち、0.10 は真の曲線(破線)に近く、0.30 は山と谷がつぶれて平らになる。点線の局所線形推定(帯域幅 0.10)は内部では 0.10 の Nadaraya–Watson の曲線とほぼ重なり、端では偏りが小さいかわりにばらつきが大きく、この標本では x=0 で −0.50 になる。右は x=0.25 での厳密な偏りの 2 乗・分散・MSE を帯域幅 h(0.02 から 0.3)の関数として描いたもの。分散は h とともに減り、偏りの 2 乗は増え、MSE は h=0.105 付近で最小 0.0090 をとり、破線の AMSE とその最小点 h*=0.1038(縦線)にほぼ一致する。
観測 $(x_i,Y_i)$ が $(0.1,1.0)$、$(0.3,1.4)$、$(0.5,2.1)$、$(0.7,1.7)$、$(0.9,2.5)$ で、Epanechnikov 核、$h=0.3$ とする。$x=0.5$ と $x=0.1$ での Nadaraya–Watson 推定と局所線形推定を求める。
使う公式:def-npr-nw、prop-npr-ll。
答え:$x=0.5$ では重みが $\frac5{19},\frac9{19},\frac5{19}$($x_i=0.3,0.5,0.7$)で、$\hat m_h(0.5)=34.4/19\approx1.8105$。窓が $x$ について対称なので $S_1=0$ で、局所線形推定も同じ値になる。$x=0.1$ では窓に入るのは $x_i=0.1,0.3$ だけで、$\hat m_h(0.1)=(9\cdot1.0+5\cdot1.4)/14\approx1.1429$、局所線形推定は 2 点を通る直線の値 $1.0$ である。
$x=0.5$:$u=(0.5-x_i)/0.3$ は $\frac43,\frac23,0,-\frac23,-\frac43$ で、$K(u)$ は $0,\frac5{12},\frac34,\frac5{12},0$。和は $\frac{19}{12}$ なので重みは $\frac5{19},\frac9{19},\frac5{19}$。$x=0.1$:$u=0,-\frac23,\dots$ で、$K$ は $\frac34,\frac5{12}$、重みは $\frac9{14},\frac5{14}$。局所線形の重みは prop-npr-ll の式で $l=(1,0)$ になる。
$x_i=i/n$、$n=200$、$m(x)=\sin2\pi x$、$\sigma=0.5$、Epanechnikov 核で、$x=0.25$ での $h^\ast$ と AMSE を求め、厳密な MSE と比べる。
使う公式:cor-npr-hopt($g\equiv1$)、公式の表の 1 行目。
答え:$m''(0.25)=-4\pi^2$ から $h^\ast=\bigl(0.25\cdot0.6/(0.04\cdot16\pi^4\cdot200)\bigr)^{1/5}\approx0.1038$、$\mathrm{AMSE}(h^\ast)\approx0.009035$。重みの和で計算した厳密な値は、$h^\ast$ で偏り $-0.04188$、分散 $0.007227$、MSE $0.008981$ で、MSE の最小は $h\approx0.1048$ での $0.008979$ である。主要項の近似の偏り $h^{\ast2}\mu_2m''/2\approx-0.04251$ も厳密な値に近い。
$x_i=i/100$($n=100$)、$m(x)=x$、Epanechnikov 核、$h=0.1$ として、$x=0$ での 2 つの推定量の期待値を求める。
使う公式:公式の表の 1 行目、prop-npr-ll。
答え:Nadaraya–Watson では $\sum_iw_i(0)x_i\approx0.04024$ で、真の値 $0$ から $h$ の大きさだけずれる(反例の表の 2 行目の主要項 $\frac38h=0.0375$ に近い)。局所線形では $m$ が 1 次関数なので期待値はちょうど $0$ である。このとき $\sum_i\lvert l_i\rvert\approx1.742$ で、$m(x)=x^2$ に替えると局所線形の偏りは $-0.001459$、prop-npr-ll の上界は $0.01742$ である。
ex-npr-point のデータと $h=0.3$ で、$x_3=0.5$ の 1 個抜きの残差を 2 通りに求める。
使う公式:prop-npr-loo。
答え:$S_{33}=\frac9{19}$、$Y_3-\hat m_h(0.5)=2.1-1.8105=0.2895$ を $1-\frac9{19}=\frac{10}{19}$ で割って $0.55$。直接には、$x_3$ を除くと窓に残るのは $x=0.3,0.7$ で重みが等しく、$\hat m_h^{(-3)}(0.5)=1.55$、残差は $0.55$ で一致する。5 点すべてで計算すると $\mathrm{CV}(0.3)\approx0.2970$、$\mathrm{CV}(0.6)\approx0.2545$ である。
各行は thm-npr-nw の仮定を 1 つだけ外す。数値は $x_i=i/n$、Epanechnikov 核(1 行目を除く)で計算した。
| 外す仮定 | 反例 | 成り立たなくなること |
|---|---|---|
| $K$ が偶関数((K)) | $K=\mathbf 1_{[0,1]}$、$m(x)=\sin2\pi x$、$x=0.5$ | 偏りが $-h\mu_1m'(x)=\pi h$($\mu_1=\int uK=\frac12$)で、$h^2$ の大きさでない |
| 内部の点 | $x=0$、$m(x)=\sin2\pi x$ | 偏りが約 $\frac38hm'(0)=\frac{3\pi}4h$ で、$h$ の大きさ |
| $m$ が $x$ の近くで $C^2$ 級((M)) | $m(t)=\lvert t-\frac12\rvert^{3/2}$、$x=\frac12$ | 偏りが約 $\frac4{15}h^{3/2}$ で、$h^2$ の大きさでない |
| $h\to0$ | $h=0.2$ に固定、$m(x)=\sin2\pi x$、$x=0.25$ | 偏りが $n$ によらず約 $-0.1493$ に近づき、MSE は $0$ に近づかない |
| $nh\to\infty$ | $h=1.5/n$、$x=0.25$($n$ は $4$ の倍数) | 窓の中の観測が 3 個のままで、分散が $\frac{131}{361}\sigma^2\approx0.363\sigma^2$ に留まる |
1 行目:偏りは $\int_0^1(m(x-hu)-m(x))\,du+O(1/(nh))$ で、主要項は $-\frac h2m'(x)$。$m'(0.5)=-2\pi$ なので $\pi h$。$n=20000$、$h=0.02$ で偏り$/h=3.130$。2 行目:$x=0$ の窓は $u\in[-1,0]$ の半分だけで、期待値は $\int_0^1K(v)m(hv)\,dv/\int_0^1K+o(h)$、主要項は $hm'(0)\int_0^1vK/\int_0^1K=hm'(0)\cdot\frac{3/16}{1/2}$。$n=20000$、$h=0.04$ で偏り$/h=2.350$($\frac{3\pi}4=2.356$)。3 行目:$m$ の導関数 $\frac32\lvert t-\frac12\rvert^{1/2}\operatorname{sgn}(t-\frac12)$ は連続なので $m\in C^1$ だが、$\frac12$ で 2 回微分できない。偏りの主要項は $h^{3/2}\int\lvert u\rvert^{3/2}K=\frac4{15}h^{3/2}$、$n=20000$、$h=0.01$ で偏り$/h^{3/2}=0.26666$。4 行目:偏りの極限は $\int K(u)\sin2\pi(0.25-0.2u)\,du-1\approx-0.14926$、$n=200,2000,20000$ で $-0.14918,-0.14926,-0.14926$。5 行目:窓に入るのは $x$ から $\pm\frac1n$ 以内の 3 点で、重みは $\frac5{19},\frac9{19},\frac5{19}$、2 乗和は $\frac{131}{361}$。
| 誤り | 正しくは | なぜ |
|---|---|---|
| $h$ を小さくすれば推定は正確になる | 分散 $\sigma^2R(K)/(nhg)$ が増える。$n^{-1/5}$ の大きさに選ぶ | thm-npr-nw、cor-npr-hopt |
| 端の点でも偏りは $h^2$ の大きさ | Nadaraya–Watson では $h$ の大きさ。局所線形推定に替える | 反例の表の 2 行目、prop-npr-ll |
| 観測点の配置は偏りに関係しない | 計画の密度が一様でないと $\mu_2m'g'/g$ の項が加わる | thm-npr-nw |
| 交差検証の代わりに残差 2 乗和を最小にする | 残差 2 乗和は $h\to0$ で小さくなり、データをなぞるだけになる | prop-npr-loo の $1-S_{ii}$ の割り算が補正にあたる |
| 局所線形推定の偏りは常に $0$ | $0$ になるのは $m$ が 1 次関数のとき。一般には $h^2$ の大きさ | ex-npr-boundary |
HTF09 §6.1(式 (6.1)〜(6.2)、pp. 192–193)、§6.1.1(式 (6.7)〜(6.10)、pp. 194–196)。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する