再生核Hilbert空間(reproducing kernel Hilbert space)とは、集合 $X$ の上の関数からなる Hilbert 空間で、各点 $x$ での値をとる写像 $f\mapsto f(x)$ が全て連続なものである。このとき Riesz の表現定理により $f(x)=\langle f,k_x\rangle$ となる関数 $k_x$ が空間の中にあり、$k(x,y)=k_y(x)$ を再生核という。再生核は有限個の点での行列がつねに半正定値な関数(正定値カーネル)で、逆に正定値カーネルにはそれを再生核とする空間がただ 1 つ対応する(Moore–Aronszajn の定理)。Bergman 空間・Hardy 空間・Sobolev 空間などが例で、最適化の問題をデータ点の再生核の 1 次結合に帰着させる表現定理により、カーネル法の土台になる。
前提知識: Hilbert空間, Rieszの表現定理, 完備距離空間, 正定値行列
再生核 Hilbert 空間(reproducing kernel Hilbert space、RKHS)は、集合 $X$ の上の関数からなる Hilbert空間 で、各点 $x$ での値 $f\mapsto f(x)$ が連続になっているものである。$L^2$ 空間の元は零集合の上の値を変えても同じ元なので、「点 $x$ での値」はそもそも決まらない。再生核 Hilbert 空間はその反対の極にあり、ノルムで近い関数は各点でも近い。
各点の値が連続な線形汎関数なので、Rieszの表現定理 により $f(x)=\langle f,k_x\rangle$ となる関数 $k_x$ が空間の中にある。これを並べた 2 変数の関数 $k(x,y)=k_y(x)$ が 再生核 である。再生核は正定値カーネル(有限個の点での行列がつねに半正定値な関数)であり、逆に正定値カーネルを 1 つ与えると、それを再生核とする空間がただ 1 つ決まる(Moore–Aronszajn の定理)。こうして「関数の空間」と「2 変数の正定値な関数」が 1 対 1 に対応する。
単位円板の上の 2 乗可積分な正則関数の空間(Bergman空間)、Fourier 変換の台が有界な関数の空間(Paley–Wienerの定理)、1 階の Sobolev 空間などはどれも再生核 Hilbert 空間で、再生核は具体的な式で書ける。統計と機械学習では、カーネル法 の土台であり、最適化の問題の解をデータ点の再生核の 1 次結合に帰着させる 表現定理 が成り立つ。
この記事では、再生核の存在と一意性、Moore–Aronszajn の定理、正規直交基底による核の展開、関数が空間に属する判定法、核の和の空間、表現定理を証明する。
係数体 $\mathbb{K}$ は $\mathbb{R}$ か $\mathbb{C}$ とする。内積 $\langle\cdot,\cdot\rangle$ は第 1 変数について線形、第 2 変数について共役線形とする($\mathbb{K}=\mathbb{R}$ なら共役は何もしない)。$X$ は空でない集合で、$\mathbb{K}^X$ は $X$ から $\mathbb{K}$ への関数全体の線形空間(和とスカラー倍は各点ごと)である。
$\mathbb{K}^X$ の線形部分空間 $H$ に内積が入っていて Hilbert 空間になり、全ての $x\in X$ で 評価写像 $E_x\colon H\to\mathbb{K}$、$E_x(f)=f(x)$ が連続であるとき、$H$ を $X$ の上の 再生核 Hilbert 空間 という。
$H\subset\mathbb{K}^X$ を内積をもつ関数の空間とする。関数 $k\colon X\times X\to\mathbb{K}$ が次を満たすとき、$k$ を $H$ の 再生核 という。$y\in X$ について $k_y:=k(\cdot,y)$ と書く。
関数 $k\colon X\times X\to\mathbb{K}$ が 正定値カーネル であるとは、次の 2 つを満たすことをいう。
2 は、行列 $K=(k(x_i,x_j))_{i,j}$ が半正定値であることと同じである。この行列を Gram 行列 という。名前に「正定値」とあるが、求めるのは半正定値性である(文献によって「半正定値カーネル」「正の型の核」ともいう)。$\mathbb{K}=\mathbb{C}$ では 1 は 2 から従うが、$\mathbb{K}=\mathbb{R}$ では従わないので、両方を定義に入れる(反例の表の 4 行目)。
$H\subset\mathbb{K}^X$ を、内積によって Hilbert 空間になっている関数の空間とする。
要点:1 は Rieszの表現定理 で、2〜4 は再生性 $f(y)=\langle f,k_y\rangle$ と Cauchy–Schwarz の不等式から従う。
1:$E_x$ が全て連続なら、Rieszの表現定理 により各 $y$ について $f(y)=\langle f,g_y\rangle$(全ての $f\in H$)となる $g_y\in H$ がただ 1 つある。$k(x,y):=g_y(x)$ とおけば $k_y=g_y$ で、$k$ は再生核である。逆に再生核 $k$ があれば、Cauchy–Schwarz の不等式から $\lvert f(x)\rvert=\lvert\langle f,k_x\rangle\rvert\le\| f\|\| k_x\|$ で、$E_x$ は連続である。
2:再生性を $f=k_y$ に使うと $k(x,y)=k_y(x)=\langle k_y,k_x\rangle$ である。よって $k(y,x)=\langle k_x,k_y\rangle=\overline{\langle k_y,k_x\rangle}=\overline{k(x,y)}$ で、$\sum_{i,j}\overline{c_i}c_jk(x_i,x_j)=\sum_{i,j}\overline{c_i}c_j\langle k_{x_j},k_{x_i}\rangle=\|\sum_jc_jk_{x_j}\|^2\ge0$ である。$k'$ も再生核なら、$k'_y-k_y\in H$ は全ての $f\in H$ と $\langle f,k'_y-k_y\rangle=f(y)-f(y)=0$ を満たすので $0$ であり、$k'=k$ である。
3:1 の評価で $\| k_x\|^2=\langle k_x,k_x\rangle=k(x,x)$ を使う。$f=k_x$ で等号が成り立つ($k(x,x)=0$ なら $E_x=0$)。
4:$f\in H$ が全ての $k_x$ と直交すれば $f(x)=\langle f,k_x\rangle=0$(全ての $x$)なので $f=0$ である。直交補空間が $\{0\}$ の部分空間は稠密である。$\square$
3 から、ノルムで収束する列 $f_n\to f$ は各点で収束し、$\sup_{x\in A}k(x,x)<\infty$ となる集合 $A$ の上では一様に収束する。2 の等式 $k(x,y)=\langle k_y,k_x\rangle$ は、$\varphi(x)=k_x$ を $H$ への写像とみると、$k$ が「点を Hilbert 空間に写したときの内積」であることを言っている。
thm-rkhs-existence の 2 の逆が成り立つ。これがこの記事の主定理である。
$k\colon X\times X\to\mathbb{K}$ を正定値カーネルとする。$k$ を再生核とする再生核 Hilbert 空間 $H_k\subset\mathbb{K}^X$ がただ 1 つ存在する。$H_k$ の中で、$k_x$($x\in X$)の有限個の 1 次結合全体 $H_0$ は稠密である。
1. $H_0$ の内積。 $H_0\subset\mathbb{K}^X$ を $k_x$ の有限個の 1 次結合全体とする。$f=\sum_ia_ik_{x_i}$、$g=\sum_jb_jk_{y_j}$ に対し
$$
\langle f,g\rangle_0:=\sum_{i,j}a_i\overline{b_j}\,k(y_j,x_i)
$$
とおく。Hermite 性から $\overline{g(x_i)}=\sum_j\overline{b_j}\,\overline{k(x_i,y_j)}=\sum_j\overline{b_j}k(y_j,x_i)$ なので、右辺は $\sum_ia_i\overline{g(x_i)}$ に等しく、$f$ の表し方によらない。同様に $\sum_j\overline{b_j}f(y_j)$ にも等しく、$g$ の表し方によらない。よって $\langle\cdot,\cdot\rangle_0$ は $H_0$ の上の矛盾なく定まる半双線形形式で、Hermite 性から $\langle g,f\rangle_0=\overline{\langle f,g\rangle_0}$、半正定値性から $\langle f,f\rangle_0\ge0$ である。また $g=k_y$ とおくと
$$
\langle f,k_y\rangle_0=f(y)\qquad(f\in H_0,\ y\in X)
$$
が成り立つ。半正定値な Hermite 形式についても Cauchy–Schwarz の不等式が成り立つので、$\lvert f(y)\rvert\le\langle f,f\rangle_0^{1/2}k(y,y)^{1/2}$ である。したがって $\langle f,f\rangle_0=0$ なら $f=0$ で、$\langle\cdot,\cdot\rangle_0$ は内積である。
2. 完備化と、関数としての読み方。 $\widehat H$ を内積空間 $H_0$ の完備化とする(完備距離空間 の定理「完備化の存在と一意性」と Hilbert空間 の注意「内積空間の完備化」)。$\widehat H$ は Hilbert 空間で、$H_0$ を内積を保って稠密な部分空間として含む。$v\in\widehat H$ に関数
$$
\Phi(v)\colon X\to\mathbb{K},\qquad\Phi(v)(x):=\langle v,k_x\rangle_{\widehat H}
$$
を対応させる。$\Phi\colon\widehat H\to\mathbb{K}^X$ は線形で、1 の再生性から $H_0$ の上では恒等写像($\Phi(f)=f$)である。$\Phi$ は単射である。実際、$\Phi(v)=0$ なら $v$ は全ての $k_x$ と直交し、したがって $H_0$ と直交するが、$H_0$ は $\widehat H$ で稠密なので $v=0$ である。
3. 空間 $H_k$。 $H_k:=\Phi(\widehat H)\subset\mathbb{K}^X$ に、$\langle\Phi(v),\Phi(w)\rangle_{H_k}:=\langle v,w\rangle_{\widehat H}$ で内積を入れる。$\Phi$ が線形な単射なので、$H_k$ は関数の線形部分空間で、$\Phi\colon\widehat H\to H_k$ は内積を保つ全単射である。よって $H_k$ は Hilbert 空間で、$H_0=\Phi(H_0)$ は $H_k$ で稠密である。$k_x=\Phi(k_x)\in H_k$ で、$f=\Phi(v)\in H_k$ について
$$
\langle f,k_x\rangle_{H_k}=\langle v,k_x\rangle_{\widehat H}=\Phi(v)(x)=f(x)
$$
である。すなわち $k$ は $H_k$ の再生核で、thm-rkhs-existence の 1 から $H_k$ は再生核 Hilbert 空間である。
4. 一意性。 $G\subset\mathbb{K}^X$ を $k$ を再生核とする別の再生核 Hilbert 空間とする。$k_x\in G$ なので $H_0\subset G$ で、$\langle k_x,k_y\rangle_G=k(y,x)=\langle k_x,k_y\rangle_0$ だから、$G$ の内積は $H_0$ の上で $\langle\cdot,\cdot\rangle_0$ に一致する。$H_0$ は $G$ でも稠密である(thm-rkhs-existence の 4)。$f\in G$ をとり、$G$ で $f$ に収束する $f_n\in H_0$ を選ぶ。$(f_n)$ は $H_0$ の Cauchy 列なので、$H_k$ で何かの $h$ に収束する。$G$ でも $H_k$ でも評価写像は連続なので、各点で $f_n(x)\to f(x)$ かつ $f_n(x)\to h(x)$ となり、$h=f$ である。よって $f\in H_k$ で、$\| f\|_{H_k}=\lim\| f_n\|_0=\| f\|_G$ である。$G$ と $H_k$ の役割を入れ替えれば $H_k\subset G$ も得られる。したがって $G=H_k$ で、ノルムが一致するので(偏極恒等式により)内積も一致する。$\square$
$\Phi$ を通して見ると、$H_k$ は「$k_x$ の 1 次結合を、ノルムの Cauchy 列の極限まで足したもの」で、その元を関数として読む方法は再生性 $f(x)=\langle f,k_x\rangle$ だけで決まっている。thm-rkhs-existence と合わせると、次の 1 対 1 の対応が得られる。
$$
\{X\text{ の上の再生核 Hilbert 空間}\}\ \longleftrightarrow\ \{X\text{ の上の正定値カーネル}\},\qquad H\longmapsto(\text{その再生核}).
$$
関数 $k\colon X\times X\to\mathbb{K}$ について、次は同値である。
要点:1 から 2 は $\varphi(x)=k_x$ とおく。
1 から 2:thm-rkhs-moore-aronszajn の $H_k$ と $\varphi(x)=k_x$ をとると、thm-rkhs-existence の 2 から $k(x,y)=\langle k_y,k_x\rangle$ である。2 から 1:$\langle\varphi(x),\varphi(y)\rangle=\overline{\langle\varphi(y),\varphi(x)\rangle}$ から Hermite 性が従い、$\sum_{i,j}\overline{c_i}c_jk(x_i,x_j)=\|\sum_jc_j\varphi(x_j)\|^2\ge0$ である。$\square$
$H$ を $X$ の上の再生核 Hilbert 空間、$k$ をその再生核、$(e_i)_{i\in I}$ を $H$ の 正規直交基底 とする。全ての $x,y\in X$ で
$$
\sum_{i\in I}\lvert e_i(x)\rvert^2=k(x,x),\qquad k(x,y)=\sum_{i\in I}e_i(x)\overline{e_i(y)}
$$
で、右の和は絶対収束する(0 でない項は可算個)。また $f\in H$ の展開 $f=\sum_i\langle f,e_i\rangle e_i$ は各点で収束する。
要点:$k_y$ を基底で展開すると、係数は再生性から $\overline{e_i(y)}$ になる。
再生性から $\langle k_y,e_i\rangle=\overline{\langle e_i,k_y\rangle}=\overline{e_i(y)}$ である。Parseval の等式(添字が非可算でもよい。Hilbert空間 の注意「完全正規直交系の存在」)から $\sum_i\lvert e_i(y)\rvert^2=\| k_y\|^2=k(y,y)$ で、内積の展開 $\langle k_y,k_x\rangle=\sum_i\langle k_y,e_i\rangle\overline{\langle k_x,e_i\rangle}$ から $k(x,y)=\sum_i\overline{e_i(y)}e_i(x)$ を得る。絶対収束は $\ell^2(I)$ での Cauchy–Schwarz の不等式 $\sum_i\lvert e_i(x)\rvert\lvert e_i(y)\rvert\le k(x,x)^{1/2}k(y,y)^{1/2}$ による。最後の主張は、ノルムで収束する級数は各点で収束すること(thm-rkhs-existence の 3)による。$\square$
この展開は、基底が具体的にわかる空間で再生核を計算する方法になる(ex-rkhs-holomorphic)。Mercerの定理 も、区間の上の連続な正定値カーネルを関数の積の和に展開する定理である。
次の判定法は、関数 $f$ が $H_k$ に属するかどうかと、そのノルムを、$k$ だけで述べる。
$k$ を $X$ の上の正定値カーネル、$f\in\mathbb{K}^X$、$c\ge0$ とする。次は同値である。
$a_1,\dots,a_m\in\mathbb{K}$、$x_1,\dots,x_m\in X$ に対し $g=\sum_ja_jk_{x_j}\in H_0$ とおく。2 の関数の Gram 行列の 2 次形式は
$$
\sum_{i,j}\overline{a_i}a_j\bigl(c^2k(x_i,x_j)-f(x_i)\overline{f(x_j)}\bigr)=c^2\| g\|^2-\Bigl\lvert\sum_i\overline{a_i}f(x_i)\Bigr\rvert^2\qquad(\ast)
$$
である(第 1 項は thm-rkhs-existence の 2 の計算による)。Hermite 性は $k$ のそれと $f(x)\overline{f(y)}$ の形から従うので、2 は「全ての $g\in H_0$ で $(\ast)\ge0$」と同じである。
1 から 2:$f\in H_k$ なら $\sum_i\overline{a_i}f(x_i)=\langle f,g\rangle$ なので、$(\ast)=c^2\| g\|^2-\lvert\langle f,g\rangle\rvert^2\ge(c^2-\| f\|^2)\| g\|^2\ge0$ である。
2 から 1:$g=\sum_ja_jk_{x_j}$ に $L(g):=\sum_ja_j\overline{f(x_j)}$ を対応させる。$(\ast)\ge0$ から $\lvert L(g)\rvert\le c\| g\|$ である。$g$ に 2 通りの表し方があれば、両方の点を合わせた 1 つの点の列で差をとった係数に同じ不等式を使うと、差の $L$ の値は $c\| 0\|=0$ になる。よって $L$ は $H_0$ の上の矛盾なく定まる線形汎関数で、$\| L\|\le c$ である。$H_0$ は $H_k$ で稠密なので、$L$ は $H_k$ の上のノルム $c$ 以下の連続な線形汎関数に一意に延びる。Rieszの表現定理 により、$L(g)=\langle g,h\rangle$ となる $h\in H_k$ で $\| h\|\le c$ のものがある。$g=k_x$ とおくと $\overline{f(x)}=L(k_x)=\langle k_x,h\rangle=\overline{h(x)}$ なので、$f=h\in H_k$、$\| f\|\le c$ である。
最後の主張:1 から 2 で $c=\| f\|$ とおけば 2 が成り立ち、2 から 1 により 2 を満たす $c$ は全て $\| f\|$ 以上である。$\square$
$k_1,k_2$ を $X$ の上の正定値カーネルとし、$H_1=H_{k_1}$、$H_2=H_{k_2}$ とする。$k=k_1+k_2$ の空間は
$$
H_k=\{f_1+f_2\mid f_1\in H_1,\ f_2\in H_2\},\qquad\| f\|_{H_k}^2=\min\{\| f_1\|_{H_1}^2+\| f_2\|_{H_2}^2\mid f=f_1+f_2\}
$$
で、最小値は分け方のどれかでとられる。
要点:直和 $H_1\oplus H_2$ から足し算の写像 $T(f_1,f_2)=f_1+f_2$ を考え、核 $N=\ker T$ の直交補空間に $T$ でノルムを移す。
$H_1\oplus H_2$ は内積 $\langle(f_1,f_2),(g_1,g_2)\rangle=\langle f_1,g_1\rangle_{H_1}+\langle f_2,g_2\rangle_{H_2}$ で Hilbert 空間である。$T$ は線形で、各点の値 $(f_1,f_2)\mapsto f_1(x)+f_2(x)$ は連続なので、$N=\ker T=\bigcap_x\{f_1(x)+f_2(x)=0\}$ は閉部分空間である。$T$ を $N^\perp$ に制限すると単射で、像は $T(H_1\oplus H_2)$ 全体である($v=v'+n$、$v'\in N^\perp$、$n\in N$ と分ければ $Tv=Tv'$)。像 $H:=T(N^\perp)$ に $\| Tv\|_H:=\| v\|$($v\in N^\perp$)で内積を移すと、$H$ は関数の Hilbert 空間である。
$u_y:=(k_{1,y},k_{2,y})$ とおく($k_{m,y}=k_m(\cdot,y)$)。$(n_1,n_2)\in N$ なら $\langle(n_1,n_2),u_y\rangle=n_1(y)+n_2(y)=0$ なので $u_y\in N^\perp$ で、$Tu_y=k_y$ である。$f=Tv$($v=(v_1,v_2)\in N^\perp$)なら $\langle f,k_y\rangle_H=\langle v,u_y\rangle=v_1(y)+v_2(y)=f(y)$ なので、$k$ は $H$ の再生核である。thm-rkhs-moore-aronszajn の一意性から $H=H_k$ である。最後に、$f=f_1+f_2$ と分けたとき $(f_1,f_2)=v+n$($v\in N^\perp$、$n\in N$)と書けば $Tv=f$ で、$\| f\|_{H_k}^2=\| v\|^2\le\| v\|^2+\| n\|^2=\| f_1\|^2+\| f_2\|^2$ である。等号は $(f_1,f_2)=v$ のときにとられる。$\square$
特に $H_1\cap H_2=\{0\}$ なら分け方は 1 通りで、$H_k$ は $H_1$ と $H_2$ の直交直和になる。$k_2$ を $\varepsilon k_2$ に替えると、$H_2$ の元のノルムは $1/\sqrt\varepsilon$ 倍になる(thm-rkhs-membership で $c$ を $c/\sqrt\varepsilon$ に替える)。
再生核 Hilbert 空間で、有限個の点での値とノルムだけで決まる量を最小にする問題は、有限次元の問題になる。
$H$ を $X$ の上の再生核 Hilbert 空間、$k$ をその再生核、$x_1,\dots,x_m\in X$ とし、$V=\{\sum_{i=1}^m\alpha_ik_{x_i}\mid\alpha\in\mathbb{K}^m\}$ とおく。$L\colon\mathbb{K}^m\to\mathbb{R}\cup\{+\infty\}$ を任意の関数、$\Omega\colon[0,\infty)\to\mathbb{R}$ を非減少な関数とし、
$$
J(f)=L\bigl(f(x_1),\dots,f(x_m)\bigr)+\Omega(\| f\|)\qquad(f\in H)
$$
とおく。$P$ を $V$ への直交射影とする。
$V$ は有限次元なので閉部分空間で、$f=Pf+u$($u\perp V$)と分けられる。$u\perp k_{x_i}$ と再生性から $u(x_i)=\langle u,k_{x_i}\rangle=0$ なので、$f(x_i)=(Pf)(x_i)$ で、$L$ の項は $f$ と $Pf$ で等しい。$\| f\|^2=\| Pf\|^2+\| u\|^2$ と $\Omega$ が非減少であることから $\Omega(\| Pf\|)\le\Omega(\| f\|)$ で、1 を得る。2:最小点 $f$ で $u\ne0$ なら $\| Pf\|<\| f\|$ なので、$\Omega$ が狭義増加で $J(f)<+\infty$ であることから $J(Pf)< J(f)$ となり、最小性に反する。よって $f=Pf\in V$ である。$\square$
$f=\sum_j\alpha_jk_{x_j}$ なら $f(x_i)=(K\alpha)_i$、$\| f\|^2=\alpha^\ast K\alpha$ で($K=(k(x_i,x_j))_{i,j}$)、問題は $\alpha\in\mathbb{K}^m$ についての最小化になる。損失を 2 乗誤差、$\Omega(r)=\lambda r^2$ にとったものがカーネルリッジ回帰で、その解の公式は カーネル法 にある。次は $L$ を「値を指定する」制約にとった場合である。
$y\in\mathbb{K}^m$ とし、$f(x_i)=y_i$($i=1,\dots,m$)を満たす $f\in H$ があるとする。そのような $f$ のうちノルムが最小のものはただ 1 つで、$f^\ast=\sum_j\alpha_jk_{x_j}$($K\alpha=y$ を満たす $\alpha$ のどれでも同じ関数)であり、$\| f^\ast\|^2=\alpha^\ast K\alpha$ である。
要点:thm-rkhs-representer と同じく $f=Pf+u$ と分ける。
補間する $f$ について $Pf$ も補間し、$\| Pf\|\le\| f\|$ で、等号は $f\in V$ のときに限る(prf-rkhs-representer と同じ分け方)。$V$ の中の補間する関数は 1 つしかない:2 つあれば差 $g\in V$ は $g(x_i)=\langle g,k_{x_i}\rangle=0$ を満たし、$V$ と直交するので $g=0$ である。$V$ の元 $\sum_j\alpha_jk_{x_j}$ が補間する条件は $K\alpha=y$ で、ノルムは上の式による。補間する $f$ があれば $Pf\in V$ も補間するので、そのような $\alpha$ は存在する。$\square$
$X=\{1,\dots,n\}$ では、関数 $k$ は $n$ 次の行列 $K=(k(i,j))$ で、正定値カーネルであることは $K$ が半正定値な Hermite 行列であることと同じである。$K$ が正則なら $H_k=\mathbb{K}^n$ で、内積は $\langle f,g\rangle=g^\ast K^{-1}f$ である。
たとえば $K=\begin{pmatrix}2&1\\1&2\end{pmatrix}$、$f=(1,0)$ なら $\| f\|^2=(K^{-1})_{11}=\frac23$ である。thm-rkhs-membership で確かめると、$c^2K-ff^{\mathsf T}=\begin{pmatrix}2c^2-1&c^2\\c^2&2c^2\end{pmatrix}$ が半正定値になる条件は $2c^2-1\ge0$ かつ行列式 $3c^4-2c^2\ge0$、すなわち $c^2\ge\frac23$ で、最小の $c^2$ は同じ $\frac23$ である。
$k_j=Ke_j$($K$ の第 $j$ 列)なので $\sum_j\alpha_jk_j=K\alpha$ で、$K$ が正則なら全ての $f$ がこの形に書ける。$\| K\alpha\|^2=\alpha^\ast K\alpha$ で、$\alpha=K^{-1}f$ を代入すると $f^\ast K^{-1}f$ を得る。偏極すれば $\langle f,g\rangle=g^\ast K^{-1}f$ である。再生性は $\langle f,k_j\rangle=(Ke_j)^\ast K^{-1}f=e_j^\ast f=f(j)$ と確かめられる。
$\mathbb{K}=\mathbb{R}$、$X=\mathbb{R}$ とする。絶対連続な関数 $f$ で $f,f'\in L^2(\mathbb{R})$ となるもの全体 $H$ に、内積
$$
\langle f,g\rangle=\int_{\mathbb{R}}\bigl(f'(x)g'(x)+f(x)g(x)\bigr)\,dx
$$
を入れたもの(Sobolev空間 $H^1(\mathbb{R})$ の連続な代表元の空間)は、$k(x,y)=\frac12e^{-\lvert x-y\rvert}$ を再生核とする再生核 Hilbert 空間である。
たとえば $f(x)=e^{-x^2}$ では $\| f\|^2=\int(1+4x^2)e^{-2x^2}dx=\sqrt{2\pi}\approx2.506628$ で、評価 $\lvert f(0)\rvert\le\| f\|\sqrt{k(0,0)}$ の右辺は $(2\pi)^{1/4}/\sqrt2\approx1.119515$ である(左辺は $1$)。
$H$ が完備であることは、Sobolev空間 の定理「Sobolev空間の完備性」と、$W^{1,2}(\mathbb{R})$ の元が絶対連続な代表をもちその導関数が弱導関数に一致すること(1次元Sobolev空間 の定理「連続な代表」)による。$k_y(x)=\frac12e^{-\lvert x-y\rvert}$ は絶対連続で $k_y'(x)=-\frac12\operatorname{sgn}(x-y)e^{-\lvert x-y\rvert}$、$k_y,k_y'\in L^2$ なので $k_y\in H$ である。$f\in H$ なら $(f^2)'=2ff'\in L^1$ なので $f(x)^2$ は $x\to\pm\infty$ で極限をもち、$f\in L^2$ からその極限は $0$ である。区間 $(y,R)$ で部分積分すると、$x>y$ で $k_y''=k_y$、$k_y'(y+)=-\frac12$ なので $\int_y^R(f'k_y'+fk_y)\,dx=\bigl[fk_y'\bigr]_{y}^{R}=f(R)k_y'(R)+\frac12f(y)$ で、$R\to\infty$ とすると $\frac12f(y)$ になる。$(-\infty,y)$ でも同様に $\frac12f(y)$ を得るので、$\langle f,k_y\rangle=f(y)$ である。$\| f\|^2$ は $\int e^{-2x^2}dx=\sqrt{\pi/2}$、$\int x^2e^{-2x^2}dx=\frac14\sqrt{\pi/2}$(Gauss積分)から $2\sqrt{\pi/2}=\sqrt{2\pi}$ である。
$\mathbb{K}=\mathbb{C}$、$X=\mathbb{D}=\{\lvert z\rvert<1\}$ とする。
答え:prop-rkhs-onb から、1 は $\sum_nz^n\overline w^n$、2 は $\frac1\pi\sum_n(n+1)(z\overline w)^n$ の和である。たとえば 2 では $\lvert f(0)\rvert^2\le\frac1\pi\| f\|^2$、$w=\frac12$ では $k(w,w)=\frac{16}{9\pi}\approx0.565884$ である。
1:$z^n$ は正規直交基底で、$\lvert f(w)\rvert\le\sum\lvert a_n\rvert\lvert w\rvert^n\le\| f\|(1-\lvert w\rvert^2)^{-1/2}$ から評価は連続である(完備性は $\ell^2$ と同じ)。$\sum_n(z\overline w)^n=1/(1-z\overline w)$。2:直交性と正規化は極座標で $\int_{\mathbb{D}}\lvert z\rvert^{2n}dA=\pi/(n+1)$ による(基底であることの証明は Hal00 §3.1、pp. 7–8)。$\sum_n(n+1)t^n=(1-t)^{-2}$。$w=\frac12$ では $\frac1\pi(1-\frac14)^{-2}=\frac{16}{9\pi}$。
Paley–Wienerの定理 の Fourier 変換の台が $[-A,A]$ に入る関数の空間も、実軸の上の再生核 Hilbert 空間で、再生核は $k(\xi,\eta)=\dfrac{\sin2\pi A(\xi-\eta)}{\pi(\xi-\eta)}$($\xi=\eta$ では $2A$)である。同じ記事の命題「帯域が制限された関数の標本化」は、正規直交基底 $(2A)^{-1/2}k_{n/2A}$($n\in\mathbb{Z}$)による prop-rkhs-onb の展開 $f=\sum_n\langle f,e_n\rangle e_n$ にあたる。
各行は、定義または定理の仮定を 1 つだけ外す。
| 外す仮定 | 反例 | 成り立たなくなること |
|---|---|---|
| 評価の連続性(def-rkhs-space) | $X=\mathbb{N}\cup\{\ast\}$。$\ell^2$ の上の不連続な線形汎関数 $\phi$(選択公理 による)をとり、$a\in\ell^2$ を $n\mapsto a_n$、$\ast\mapsto\phi(a)$ という関数とみた空間 | ノルムで $0$ に収束するが点 $\ast$ の値が $1$ のままの列がある。点 $\ast$ の再生核 $k_\ast$ はない |
| 完備性(thm-rkhs-existence の 1) | $X=[0,1]$、$\mathbb{K}=\mathbb{R}$、多項式全体に $\langle p,q\rangle=p(0)q(0)+\int_0^1p'q'\,dx$ | 評価は全て連続だが、$0< t< 1$ では $p(t)=\langle p,k_t\rangle$ となる多項式 $k_t$ がない |
| 半正定値性(thm-rkhs-moore-aronszajn) | $X=\{1,2\}$、$k(1,1)=k(2,2)=0$、$k(1,2)=k(2,1)=1$ | $k$ を再生核とする空間はない |
| 対称性($\mathbb{K}=\mathbb{R}$、thm-rkhs-moore-aronszajn) | $X=\{1,2\}$、$k(1,1)=k(2,2)=k(1,2)=1$、$k(2,1)=0$。2 次形式は $c_1^2+c_1c_2+c_2^2\ge0$ | $k$ を再生核とする空間はない |
| $\Omega$ の狭義増加(thm-rkhs-representer の 2) | $X=\{1,2\}$、$K=I$($H=\mathbb{R}^2$)、点 $x_1=1$、$L(a)=a^2$、$\Omega\equiv0$ | 最小点 $f=(0,t)$($t\ne0$)は $V=\{(s,0)\}$ に属さない。1 は成り立つ($f=0$) |
1 行目:$\phi$ は次のように作る。1 次独立な列 $b_j=e_j/j$($e_j$ は単位ベクトル)を含む $\ell^2$ の Hamel基底 をとり(選択公理 による)、$\phi(b_j)=1$、ほかの基底の元では $0$ として線形に延ばす。対応 $a\mapsto$(関数)は線形で単射なので、この関数の空間に $\ell^2$ の内積を移すと Hilbert 空間になる。列 $b_j$ はノルムで $0$ に収束するが $\phi(b_j)=1$ である。再生核 $k_\ast$ があれば評価 $E_\ast$ は連続になるので(thm-rkhs-existence の 1)、$k_\ast$ はない。
2 行目:$\lvert p(t)\rvert\le\lvert p(0)\rvert+\int_0^1\lvert p'\rvert\le\sqrt2\| p\|$ なので評価は連続である。$k_t$ があれば、$p\equiv1$ から $k_t(0)=1$、したがって全ての多項式 $p$ で $\int_0^1p'(k_t'-\mathbf 1_{[0,t]})\,dx=0$ である。$p'$ は全ての多項式を動き、多項式は $L^2(0,1)$ で稠密なので $k_t'=\mathbf 1_{[0,t]}$ がほとんど至る所で成り立つが、$0< t< 1$ では右辺はどの連続関数ともほとんど至る所で一致しない。($t=0$ では $k_0=1$、$t=1$ では $k_1=1+x$ がある。)
3 行目:$c=(1,-1)$ で $\sum\overline{c_i}c_jk(i,j)=-2< 0$。空間があれば $\| k_1\|^2=k(1,1)=0$ から $k_1=0$ だが、$k_1(2)=k(2,1)=1$ である。4 行目:$c_1^2+c_1c_2+c_2^2=(c_1+c_2/2)^2+3c_2^2/4\ge0$。空間があれば thm-rkhs-existence の 2 から $k$ は対称になる。5 行目:$H=\mathbb{R}^2$ で $k_1=(1,0)$、$J(f)=f(1)^2$ は $f(1)=0$ の全ての $f$ で最小値 $0$ をとる。
平均 $0$ の Gauss過程 の共分散関数は正定値カーネルで、その再生核 Hilbert 空間は過程の Cameron–Martin 空間と呼ばれる。Brown運動 の共分散 $\min(s,t)$($s,t\in[0,1]$)の空間は、$f(0)=0$ で $f'\in L^2$ となる絶対連続関数の空間である(カーネル法 の例「線形カーネルと min の核の RKHS」)。機械学習では、データ点を $x\mapsto k_x$ で $H_k$ に写し、thm-rkhs-representer で有限次元の計算に落とすのが カーネル法 と サポートベクターマシン の考え方である(HTF09 §5.8、SSBD14 第 16 章)。Mercerの定理 は、区間の上の連続な正定値カーネルを積分作用素の固有関数の積の和に展開する定理である。
Hal00 Theorem 2.3・2.4(pp. 3–6)と §3.1(pp. 7–8)は正則関数の空間の再生核とその基底による展開を述べる。SSBD14 第 16 章と HTF09 §5.8(pp. 167–174)は学習の問題での使い方を述べる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する