カーネル密度推定(kernel density estimation)とは、独立な観測 $X_1,\dots,X_n$ から確率密度関数 $f$ を、各観測の位置に核 $K$ の山を置いて平均した $\hat f_h(x)=\frac1{nh}\sum_iK((x-X_i)/h)$ で推定する方法である。期待値は $f$ を核でならした $K_h*f$ で、平均積分 2 乗誤差は偏りの 2 乗と分散の和に正確に分かれる。$f$ が 2 回微分できれば誤差は $\frac{R(K)}{nh}+\frac{h^4}4\mu_2^2R(f'')$ で近似され、最適な帯域幅は $n^{-1/5}$ に比例し、誤差は $n^{-4/5}$ の速さで減る。
カーネル密度推定(kernel density estimation、KDE)は、確率密度関数 $f$ に従う独立な観測 $X_1,\dots,X_n$ から $f$ を推定する方法で、各観測の位置に小さな山(核)を置いて平均する:
$$
\hat f_h(x)=\frac1{nh}\sum_{i=1}^nK\!\left(\frac{x-X_i}h\right).
$$
$K$ を 核(カーネル)、$h>0$ を 帯域幅(バンド幅)という。ヒストグラム と違って区間の切れ目の置き方によらず、$K$ が滑らかなら $\hat f_h$ も滑らかになる。
推定の良し悪しは $h$ でほぼ決まる。$h$ が小さいと山が細くなり、推定はデータの偶然のばらつきに引きずられる(分散が大きい)。$h$ が大きいと山がならされ、$f$ の形がぼやける(偏りが大きい)。この記事では、平均積分 2 乗誤差(MISE)を偏りと分散に分けて正確に書き、$h\to0$ での展開
$$
\mathrm{MISE}(h)=\frac{R(K)}{nh}+\frac{h^4}4\mu_2^2R(f'')+o(h^4)+O\!\left(\frac1n\right)
$$
を証明し、そこから最適な帯域幅 $h^\ast\propto n^{-1/5}$ と誤差の速さ $n^{-4/5}$ を導く。記号は次の節で定める。
$K_h(u)=h^{-1}K(u/h)$ と書くと $\hat f_h(x)=\frac1n\sum_iK_h(x-X_i)$ である。関数 $g$ について $R(g)=\int_{\mathbb{R}}g(u)^2\,du$ とし、核の 2 次の積率 を $\mu_2=\int u^2K(u)\,du$ とおく。畳み込みは係数を付けずに $(g*f)(x)=\int g(x-t)f(t)\,dt$ と書く(係数 $(2\pi)^{-1/2}$ を付ける流儀もある)。$X_1,\dots,X_n$ は独立で、どれも密度 $f$ を持つとする。
$\mathrm{MISE}(h)=\mathbb{E}\int(\hat f_h(x)-f(x))^2\,dx$ を 平均積分 2 乗誤差 という。$\mathrm{bias}_h(x)=\mathbb{E}\hat f_h(x)-f(x)$ を 偏り、$\int\mathrm{bias}_h^2$ を 積分 2 乗偏り(ISB)という。
この記事の結論を使う条件をまとめる。
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| 期待値 | $\mathbb{E}\hat f_h(x)=(K_h*f)(x)$ | (K) | thm-kde-exact |
| 分散 | $\frac1n\bigl[(K_h^2*f)(x)-(K_h*f)(x)^2\bigr]$ | (K) | thm-kde-exact |
| 厳密な MISE | $\frac{R(K)}{nh}-\frac1n R(K_h*f)+R(K_h*f-f)$ | (K)、$f\in L^2$ | thm-kde-exact |
| 積分 2 乗偏り | $\frac{h^4}4\mu_2^2R(f'')+o(h^4)$ | (K)(K')(F) | thm-kde-amise |
| 積分分散 | $\frac{R(K)}{nh}+O(1/n)$ | (K)、$f\in L^2$ | thm-kde-amise |
| 最適な帯域幅 | $h^\ast=\Bigl[\dfrac{R(K)}{\mu_2^2R(f'')\,n}\Bigr]^{1/5}$ | (K)(K')(F)、$\mu_2\ne0$ | prop-kde-hopt |
| 最小の主要項 | $\frac54\bigl(\mu_2^2R(f'')\bigr)^{1/5}R(K)^{4/5}n^{-4/5}$ | 同上 | prop-kde-hopt |
| 正規分布を参照する帯域幅 | $h=(4/3)^{1/5}\sigma n^{-1/5}\approx1.06\,\sigma n^{-1/5}$ | Gauss 核、$f$ が正規分布 | ex-kde-normal |
主な核の定数は次のとおり。最後の列は最小の主要項の核による因子 $(\mu_2R(K)^2)^{2/5}$ を Epanechnikov 核との比で表したもので、小さいほどよい。$K$ を $a^{-1}K(u/a)$ に替えると $\mu_2$ は $a^2$ 倍、$R(K)$ は $a^{-1}$ 倍になるので、$\mu_2R(K)^2$ は核の幅のとり方によらない。
| 核 | $K(u)$ | $\mu_2$ | $R(K)$ | 主要項の比 |
|---|---|---|---|---|
| Gauss | $\frac1{\sqrt{2\pi}}e^{-u^2/2}$ | $1$ | $\frac1{2\sqrt\pi}\approx0.2821$ | $1.041$ |
| Epanechnikov | $\frac34(1-u^2)$($\lvert u\rvert\le1$) | $\frac15$ | $\frac35$ | $1$ |
| 一様 | $\frac12$($\lvert u\rvert\le1$) | $\frac13$ | $\frac12$ | $1.060$ |
| 三角 | $1-\lvert u\rvert$($\lvert u\rvert\le1$) | $\frac16$ | $\frac23$ | $1.011$ |
| biweight | $\frac{15}{16}(1-u^2)^2$($\lvert u\rvert\le1$) | $\frac17$ | $\frac57$ | $1.005$ |
(K) を仮定する。各 $x$ について
$$
\mathbb{E}\hat f_h(x)=(K_h*f)(x),\qquad\operatorname{Var}\hat f_h(x)=\frac1n\Bigl[(K_h^2*f)(x)-(K_h*f)(x)^2\Bigr].
$$
さらに $f\in L^2$ なら $K_h*f\in L^2$ で、
$$
\mathrm{MISE}(h)=\int\mathrm{bias}_h^2+\int\operatorname{Var}\hat f_h=R(K_h*f-f)+\frac{R(K)}{nh}-\frac1nR(K_h*f).
$$
$M=\sup\lvert K\rvert$ とする。$Y_i=K_h(x-X_i)$ は独立で同じ分布に従い、$\lvert Y_i\rvert\le M/h$ だから期待値と分散を持つ。$\mathbb{E}Y_i=\int K_h(x-t)f(t)\,dt=(K_h*f)(x)$、$\mathbb{E}Y_i^2=(K_h^2*f)(x)$ である。$\hat f_h(x)=\frac1n\sum_iY_i$ の期待値は $\mathbb{E}Y_1$、分散は独立性から $\frac1n\operatorname{Var}Y_1$ で、これが 1 つ目の式である。
$\lvert(K_h*f)(x)\rvert\le M/h$ と $\int\lvert K_h*f\rvert\le\int\lvert K\rvert$ から $\int(K_h*f)^2\le(M/h)\int\lvert K\rvert<\infty$ である。各 $x$ で $\mathbb{E}(\hat f_h(x)-f(x))^2=\mathrm{bias}_h(x)^2+\operatorname{Var}\hat f_h(x)$ で、被積分関数は非負なので Fubiniの定理(Tonelli の形)により $\mathbb{E}$ と $\int dx$ を入れ替えてよい。最後に、再び Tonelli の定理から
$$
\int(K_h^2*f)(x)\,dx=\int\!\!\int K_h(x-t)^2\,dx\,f(t)\,dt=\int K_h^2=\frac{R(K)}h
$$
である($\int f=1$ と $\int K_h(v)^2dv=h^{-1}\int K(u)^2du$ を使った)。これを分散の式に代入して積分すれば MISE の式を得る。$\square$
偏りは $f$ そのものではなく、$f$ を核でならした $K_h*f$ との差であり、データの数 $n$ によらない。$n$ をいくら増やしても $h$ を固定したままでは偏りは消えない。逆に分散の主要部 $R(K)/(nh)$ は $h$ を小さくすると大きくなる。次の定理がこの釣り合いを定量化する。
(K)(K')(F) を仮定する。$h\to0$ のとき
$$
\int\mathrm{bias}_h^2=\frac{h^4}4\mu_2^2R(f'')+o(h^4),\qquad\int\operatorname{Var}\hat f_h=\frac{R(K)}{nh}-\frac{c_{n,h}}n,\quad0\le c_{n,h}\le\|K\|_1^2\|f\|_2^2 .
$$
ここで $o(h^4)$ は $n$ によらない。したがって
$$
\mathrm{MISE}(h)=\frac{R(K)}{nh}+\frac{h^4}4\mu_2^2R(f'')+o(h^4)+O\!\left(\frac1n\right)
$$
で、$h=h_n\to0$ かつ $nh_n\to\infty$ なら $\mathrm{MISE}(h_n)\to0$ である。
偏りの式。 $f$ は $C^2$ 級なので、積分形の剰余の Taylorの定理 から
$$
f(x-hu)=f(x)-huf'(x)+h^2u^2\int_0^1(1-t)f''(x-thu)\,dt .
$$
$\int K=1$ から $\mathrm{bias}_h(x)=\int K(u)\bigl(f(x-hu)-f(x)\bigr)du$ である。右辺に上の式を入れ、$\int uK(u)\,du=0$ を使うと
$$
\mathrm{bias}_h(x)=h^2\int K(u)u^2\int_0^1(1-t)f''(x-thu)\,dt\,du
$$
を得る(以下、偏りの積分表示と呼ぶ)。ここで項別に分けてよいことを確かめる。$\int\lvert K(u)\rvert\,\lvert f(x-hu)\rvert\,du\le\sup\lvert K\rvert/h$、$\int\lvert u\rvert\lvert K(u)\rvert du\le\int(1+u^2)\lvert K\rvert<\infty$ である。剰余の項については、$x$ の関数 $G(x)=\int\lvert K(u)\rvert u^2\int_0^1(1-t)\lvert f''(x-thu)\rvert\,dt\,du$ について、$(u,t)$ の上の測度 $\nu=\lvert K(u)\rvert u^2(1-t)\,du\,dt$(全質量 $m=\frac12\int u^2\lvert K\rvert<\infty$)についての Cauchy–Schwarzの不等式 から $G(x)^2\le m\int\lvert f''(x-thu)\rvert^2\,d\nu$ で、これを $x$ で積分して Tonelli の定理(Fubiniの定理)を使うと $\|G\|_2^2\le m^2\|f''\|_2^2<\infty$ なので、$G(x)$ はほとんど全ての $x$ で有限である。そのような $x$ で上の偏りの積分表示が成り立つ。
$h^2$ で割った偏りの極限。 $\int_0^1(1-t)\,dt=\frac12$ だから、偏りの積分表示より
$$
\frac{\mathrm{bias}_h(x)}{h^2}-\frac{\mu_2}2f''(x)=\int K(u)u^2\int_0^1(1-t)\bigl(f''(x-thu)-f''(x)\bigr)dt\,du .
$$
$\omega(s)=\|f''(\cdot-s)-f''\|_2$ とおく。前の段と同じく $\nu$ についての Cauchy–Schwarz の不等式と Tonelli の定理から、左辺の $L^2$ ノルムの 2 乗は
$$
m\int\lvert K(u)\rvert u^2\int_0^1(1-t)\,\omega(thu)^2\,dt\,du
$$
以下である。Plancherelの定理 から $\omega(s)^2=\int\lvert e^{-2\pi is\xi}-1\rvert^2\lvert\mathcal{F}f''(\xi)\rvert^2\,d\xi$($\mathcal{F}$ は $e^{-2\pi ix\xi}$ の規約の Fourier 変換)で、優収束定理によりこれは $s\to0$ で $0$ に近づくので、各 $(u,t)$ で $h\to0$ のとき $\omega(thu)\to0$ である。また $\omega^2\le4\|f''\|_2^2$ だから、被積分関数は可積分な $4\|f''\|_2^2\lvert K(u)\rvert u^2$ で抑えられる。優収束定理 により上の積分は $0$ に近づく。よって $\|\mathrm{bias}_h/h^2-\frac{\mu_2}2f''\|_2\to0$、特に $\|\mathrm{bias}_h\|_2/h^2\to\frac{\lvert\mu_2\rvert}2\|f''\|_2$ で、これを 2 乗すると偏りの式になる。$h$ は $\mathrm{bias}_h$ にしか入らないので、この $o(h^4)$ は $n$ によらない。
分散の式。 thm-kde-exact の式で $c_{n,h}=R(K_h*f)$ とおく。測度 $\lvert K_h(v)\rvert\,dv$(全質量 $\|K\|_1$)についての Cauchy–Schwarz の不等式から $\lvert(K_h*f)(x)\rvert^2\le\|K\|_1\int\lvert K_h(v)\rvert\,\lvert f(x-v)\rvert^2\,dv$ で、$x$ で積分して Tonelli の定理を使うと $\|K_h*f\|_2\le\|K\|_1\|f\|_2$ である。
一致性。 $h_n\to0$ なら偏りの項が $0$ に、$nh_n\to\infty$ なら $R(K)/(nh_n)$ が $0$ に近づき、$c_{n,h}/n\le\|K\|_1^2\|f\|_2^2/n\to0$ である。$\square$
主要項 $\mathrm{AMISE}(h)=\frac{R(K)}{nh}+\frac{h^4}4\mu_2^2R(f'')$ を 漸近平均積分 2 乗誤差 という。(F) のもとで $R(f'')>0$ である($f''=0$ なら $f$ は 1 次関数で、密度にならない)。
$A,B>0$ について $\varphi(h)=A/h+Bh^4$($h>0$)は $h^\ast=(A/(4B))^{1/5}$ でただ 1 つの最小をとり、最小値は $\frac54(4B)^{1/5}A^{4/5}$、$c>0$ について $\varphi(ch^\ast)/\varphi(h^\ast)=(4/c+c^4)/5$ である。特に $\mu_2\ne0$ のとき $A=R(K)/n$、$B=\mu_2^2R(f'')/4$ として、AMISE は公式の表の $h^\ast$ で最小になり、最小値は $\frac54(\mu_2^2R(f''))^{1/5}R(K)^{4/5}n^{-4/5}$ である。さらに $h_n=h^\ast$ とすると $\mathrm{MISE}(h_n)=\mathrm{AMISE}(h^\ast)(1+o(1))$ である。
$\varphi'(h)=-A/h^2+4Bh^3$ は $h^5=A/(4B)$ でだけ $0$ になり、その前で負、後で正だから、そこが唯一の最小点である。そこでは $Bh^{\ast4}=A/(4h^\ast)$ なので $\varphi(h^\ast)=\frac54A/h^\ast=\frac54A^{4/5}(4B)^{1/5}$、また $\varphi(ch^\ast)=\frac A{h^\ast}(\frac1c+\frac{c^4}4)$ で、比の式を得る。最後の主張:$h^\ast$ は $n^{-1/5}$ に比例するので $h^\ast\to0$、$nh^\ast\to\infty$ で、thm-kde-amise の $o(h^{\ast4})$ と $O(1/n)$ はどちらも $o(n^{-4/5})$ である。一方 $\mathrm{AMISE}(h^\ast)$ は $n^{-4/5}$ の正の定数倍である。$\square$
速さ $n^{-4/5}$ は、密度を有限個の数で表せると仮定する推定(たとえば正規分布の 最尤推定)の $n^{-1}$ より遅い。ただし 2 回微分できる程度の滑らかさしか仮定しないなら、これ以上は速くできない。$[0,1]$ 上の密度で、導関数が Lipschitz 定数 $1$ の Lipschitz 連続な関数であるもの全体を $\mathcal{F}$ とすると、どの推定量 $\tilde f$ についても $\sup_{f\in\mathcal{F}}\mathbb{E}\|\tilde f-f\|_2^2$ の最小値は $n^{-4/5}$ と同じ大きさである(PW25 Theorem 32.17 で滑らかさ $\beta=2$、次元 $d=1$ とした場合。この記事では証明しない)。
図: 左は 2 つの正規分布の混合(平均 -1.5 と 1.5、標準偏差 0.6、重み半々)からの 200 個の標本に Gauss 核を当てた推定。横軸は x、縦軸は密度、破線が真の密度。h=0.08 では細かい山が多数でき、h=0.35 では 2 つの山がよく再現され、h=1.2 では 2 つの山がつぶれて 1 つのなだらかな山になる。下の縦線が標本の位置。右は標準正規分布と Gauss 核、n=100 での誤差を帯域幅 h(0.05 から 1.2)の関数として描いたもの。積分分散は h とともに減り、積分 2 乗偏りは増え、厳密な MISE は h=0.445 付近で最小 0.0054 をとる。破線の AMISE は h*=0.422(縦線)で最小 0.0084 をとる。
データ $-1,\,0,\,0.5,\,2,\,3$($n=5$)に Gauss 核 $\phi(u)=\frac1{\sqrt{2\pi}}e^{-u^2/2}$ を当て、$\hat f_h(0.5)$ を $h=1$ と $h=0.5$ で求める。
使う公式:def-kde-estimator。
答え:$h=1$ では $x-X_i=1.5,\ 0.5,\ 0,\ -1.5,\ -2.5$ で、$\phi$ の値は $0.12952,\ 0.35207,\ 0.39894,\ 0.12952,\ 0.01753$、和は $1.02757$ なので $\hat f_1(0.5)=1.02757/5\approx0.2055$。$h=0.5$ では $x-X_i$ を $0.5$ で割った $3,\,1,\,0,\,-3,\,-5$ で同様に計算して $\hat f_{0.5}(0.5)\approx0.2599$ である。$h$ を小さくすると、近くにある観測($0$ と $0.5$)の寄与が強まる。
$K(u)=\frac34(1-u^2)$($\lvert u\rvert\le1$)、それ以外で $0$ について $\int K$、$\mu_2$、$R(K)$ を求める。
使う公式:定義 $\mu_2=\int u^2K$、$R(K)=\int K^2$。
答え:$\int_{-1}^1\frac34(1-u^2)du=\frac34\cdot\frac43=1$、$\mu_2=\frac34\int_{-1}^1(u^2-u^4)du=\frac34(\frac23-\frac25)=\frac15$、$R(K)=\frac9{16}\int_{-1}^1(1-2u^2+u^4)du=\frac9{16}\cdot\frac{16}{15}=\frac35$。よって $\mu_2R(K)^2=0.072$ で、Gauss 核の $\frac1{4\pi}\approx0.0796$ との比の $2/5$ 乗が $1.041$ である。
$f$ が平均 $0$、標準偏差 $\sigma$ の 正規分布 の密度で、Gauss 核を使うときの $h^\ast$ を求め、$\sigma=1$、$n=100$ での値を出す。
使う公式:prop-kde-hopt。
答え:$f(x)=\sigma^{-1}\phi(x/\sigma)$ から $f''(x)=\sigma^{-3}\bigl((x/\sigma)^2-1\bigr)\phi(x/\sigma)$ で、これを 2 乗して積分すると $R(f'')=\frac3{8\sqrt\pi\,\sigma^5}$ である。$R(K)=\frac1{2\sqrt\pi}$、$\mu_2=1$ を代入して
$$
h^\ast=\Bigl(\frac{4\sigma^5}{3n}\Bigr)^{1/5}=\Bigl(\frac43\Bigr)^{1/5}\sigma n^{-1/5}\approx1.0592\,\sigma n^{-1/5}.
$$
$\sigma=1$、$n=100$ では $h^\ast\approx0.4217$、$\mathrm{AMISE}(h^\ast)\approx0.00836$ である。
$\sigma=1$ で $f''=(x^2-1)\phi$、$\phi^2=\frac1{\sqrt{2\pi}}\cdot\frac1{\sqrt2}\psi$($\psi$ は分散 $\frac12$ の正規分布の密度)なので、$R(f'')=\frac1{2\sqrt\pi}\mathbb{E}(Z^2-1)^2$($Z$ は分散 $\frac12$)。$\mathbb{E}Z^4=\frac34$、$\mathbb{E}Z^2=\frac12$ から $\mathbb{E}(Z^2-1)^2=\frac34-1+1=\frac34$ で、$R(f'')=\frac3{8\sqrt\pi}$。一般の $\sigma$ では $f''(x)$ の 2 乗が $x/\sigma$ での値の $\sigma^{-6}$ 倍で、変数変換 $x=\sigma v$ で $\sigma$ 倍となり、全体で $\sigma^{-5}$ 倍である。
ex-kde-normal の設定($\sigma=1$、Gauss 核)で、厳密な MISE を求め、$n=100$ と $n=1000$ で $h^\ast$ の良さを調べる。
使う公式:thm-kde-exact。正規分布の密度どうしの畳み込みはまた正規分布の密度で、分散が足される。
答え:$K_h*f$ は分散 $1+h^2$ の正規分布の密度で、$\int\phi_a\phi_b=\frac1{\sqrt{2\pi(a^2+b^2)}}$($\phi_a$ は標準偏差 $a$ の正規分布の密度)を使うと
$$
\mathrm{MISE}(h)=\frac1{2\sqrt\pi}\Bigl[\frac1{nh}+\Bigl(1-\frac1n\Bigr)\frac1{\sqrt{1+h^2}}+1-\frac{2\sqrt2}{\sqrt{2+h^2}}\Bigr].
$$
数値は次のとおりである。
| $n$ | $h^\ast$ | $\mathrm{MISE}(h^\ast)$ | $\mathrm{AMISE}(h^\ast)$ | MISE の最小点 | MISE の最小値 |
|---|---|---|---|---|---|
| $100$ | $0.4217$ | $0.005449$ | $0.008362$ | $0.4455$ | $0.005410$ |
| $1000$ | $0.2661$ | $0.001031$ | $0.001325$ | $0.2723$ | $0.001030$ |
AMISE は MISE を大きく見積もるが($n=100$ で約 $1.5$ 倍)、$h^\ast$ での MISE は真の最小値より $0.7\%$($n=100$)、$0.13\%$($n=1000$)大きいだけである。帯域幅の選び方としては主要項で十分なことが多い。
各行は thm-kde-amise の仮定を 1 つだけ外す。
| 外す仮定 | 反例 | 成り立たなくなること |
|---|---|---|
| $\int uK=0$((K')) | $K=\mathbf 1_{[0,1]}$($\int uK=\frac12$)、$f$ は標準正規分布 | 積分 2 乗偏りが $h^2R(f')/4\approx0.0353\,h^2$ になり、$h^4$ の大きさでない |
| $f$ が $C^2$ で $f''\in L^2$((F)) | $f=\mathbf 1_{[0,1]}$(一様分布)、Gauss 核 | 積分 2 乗偏りが約 $0.4674\,h$ で、$h$ の 1 乗の大きさ |
| $h\to0$ | $h=1$ に固定、$f$ は標準正規分布、Gauss 核 | 積分 2 乗偏りが $n$ によらず $0.0209$ で、MISE は $0$ に近づかない |
| $nh\to\infty$ | $h=1/n$、同じ $f$ と核 | 積分分散の主要部が $R(K)=0.2821$ のままで、MISE は $0$ に近づかない($n=1000$ で $0.2818$) |
1 行目:$f$ が $C^2$ のまま $\int uK=\mu_1\ne0$ なら、偏りの式に $-h\mu_1f'(x)$ が残る。標準正規分布では $R(f')=\frac1{4\sqrt\pi}\approx0.1410$ で、$\mu_1^2R(f')=0.0353$。$h=0.05$ での数値積分は $\mathrm{ISB}/h^2=0.03526$。主要項が $A/h+Ch^2$ の形になり、最小の速さは $n^{-2/3}$ に落ちる。2 行目:端 $0$ の近くで $K_h*f-f$ は $t< 0$ で $\Phi(t/h)$、$0\le t$ で $-\Phi(-t/h)$ に近い($\Phi$ は標準正規分布の分布関数)。両側の 2 乗の積分がそれぞれ $h\int_0^\infty\Phi(-v)^2dv\approx0.1168\,h$ で、端は 2 つあるので約 $0.4674\,h$。$h=0.01$ での数値積分も $\mathrm{ISB}/h=0.46739$。3 行目:ex-kde-exact の式の偏りの部分に $h=1$ を入れた値。4 行目:同じ式に $h=1/n$ を入れた値。
| 誤り | 正しくは | なぜ |
|---|---|---|
| $h$ は小さいほど正確 | 分散 $R(K)/(nh)$ が増えるので、$n$ に応じた大きさにする | thm-kde-amise |
| 核の選び方が最も大事 | 表の 5 つの核の間で最小の AMISE の差は 6% 程度。帯域幅を $h^\ast$ の $2$ 倍にずらすと AMISE は $3.6$ 倍、半分にすると $1.6$ 倍 | prop-kde-hopt の比の式 |
| 異なる核で同じ $h$ を使う | 核の幅のとり方で $h$ の意味が変わる。$h^\ast$ の式で核ごとに求める | 公式の表 |
| どんな分布にも $1.06\,\hat\sigma n^{-1/5}$ を使う | $R(f'')$ を正規分布の値と仮定した目安である。2 つ山の分布などでは真の $R(f'')$ が違い、ならしすぎることがある | ex-kde-normal |
| $n$ を増やせば $h$ を固定しても正しくなる | 偏り $K_h*f-f$ は $n$ によらない | 反例の表の 3 行目 |
| 正の値しかとらない量にそのまま使う | 端の近くで偏りが $h$ の大きさになる | 反例の表の 2 行目 |
帯域幅をデータから選ぶ方法として、$R(f'')$ を別の推定で置き換える方法や、MISE の推定量を最小にする交差検証などがある。$d$ 次元でも $h^{-d}K((x-X_i)/h)$ を平均する同じ形の推定量が使える。2 回微分できる密度の族での最適な速さは $n^{-4/(4+d)}$ で(PW25 Theorem 32.17 で $\beta=2$ とした場合。この記事では証明しない)、次元が上がるほど遅くなる。核に $\int u^2K=0$ を満たす符号を変える関数を使うと偏りをさらに小さくできるが、$\hat f_h$ が負の値をとりうる。ヒストグラムは $K=\mathbf 1_{[-1/2,1/2]}$ に近いが、区間の切れ目が観測によらず固定されている点が異なる。カーネル法の正定値カーネルとは別の概念である(カーネル法)。
HTF09 §6.6.1(式 (6.21)〜(6.24)、pp. 208–209)。PW25 §32.4、Theorem 32.17。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する