平滑化スプライン(smoothing spline)とは、データとのずれの $2$ 乗和に曲がりの量 $\lambda\int f''^2$($\lambda>0$)を足した汎関数を最小にする関数で、節点をデータ点に置いた $3$ 次の自然スプラインになる。値は $5$ 重対角の方程式から $n$ の定数倍の手間で求まり、$\lambda$ を $0$ に近づけると補間に、大きくすると回帰直線に近づく。$\lambda$ は 1 個抜きの交差検証などで選ぶ。
データ $(x_i,y_i)$ に誤差があるとき、スプライン補間 のように全部の点を通ると誤差まで写し取ってしまう。回帰直線まで単純にすると、今度は曲がった傾向を取り逃がす。
平滑化スプライン は、この 2 つの間を $1$ つの数 $\lambda>0$ で結ぶ。データとのずれの $2$ 乗和に、曲がりの量 $\lambda\int f''^2$ を足したものを最小にする関数をとるのである。候補は無限次元の関数の空間に広がっているのに、最小解は節点をデータ点に置いた $3$ 次の自然スプラインで、値は $n$ 次の連立 $1$ 次方程式で求まる。
この記事では、最小解の存在と一意性、$n$ の定数倍の手間で解く方法、残差と $3$ 階導関数の跳びの関係、平滑化の度合いの測り方と 1 個抜きの交差検証の公式を証明する。自然スプラインの計算そのものは スプライン補間、基底を変えて計算する方法は Bスプライン を見よ。
$n\ge2$ とし、$a\le x_1< x_2<\cdots< x_n\le b$ と実数 $y_1,\dots,y_n$ が与えられているとする。
$\lambda>0$ に対し、$f\in C^2([a,b])$ の汎関数
$$
J_\lambda(f):=\sum_{i=1}^n\bigl(y_i-f(x_i)\bigr)^2+\lambda\int_a^bf''(x)^2\,dx
$$
を最小にする関数を、データ $(x_i,y_i)$ の 平滑化スプライン といい、$\lambda$ を 平滑化パラメータ という。
ESL17 の式 (5.9)(p. 151)がこの問題である。$\lambda$ を $0$ に近づけると補間に、大きくすると回帰直線に近づく(prop-sms-operator)。
行列の記号を置く。$h_i:=x_{i+1}-x_i$ とする。$n\ge3$ のとき、$Q$ は $n$ 行 $n-2$ 列の行列で、第 $j$ 列は第 $j,j+1,j+2$ 行に順に $\frac1{h_j}$、$-\frac1{h_j}-\frac1{h_{j+1}}$、$\frac1{h_{j+1}}$ をもち、ほかは $0$ である。$R$ は $n-2$ 次の対称な三重対角行列で
$$
R_{jj}=\frac{h_j+h_{j+1}}3,\qquad R_{j,j+1}=\frac{h_{j+1}}6
$$
とする。$R$ は対角優位なので正定値である。$K:=QR^{-1}Q^{\mathsf T}$、$S_\lambda:=(I+\lambda K)^{-1}$ とおき、$S_\lambda$ を 平滑化行列 という。
$Q^{\mathsf T}v$ は $v$ の $2$ 階差分なので、$Q^{\mathsf T}v=0$ となるのは $v=(\alpha+\beta x_i)_i$ の形のときに限る。これを 1 次式の値のベクトル と呼ぶ。
平滑化スプラインを使う条件は次のとおりである。
$g:=(\hat s(x_i))_i$ は最小解の値、$M$ は内部の点での $\hat s''$ の値を並べたベクトルである。
| 公式 | 使える条件 | 根拠 |
|---|---|---|
| $g=(I+\lambda K)^{-1}y=S_\lambda y$ | $n\ge3$、$\lambda>0$ | thm-sms-main |
| $\int\hat s''^2=M^{\mathsf T}RM=g^{\mathsf T}Kg$ | 自然スプライン | thm-sms-main |
| $(R+\lambda Q^{\mathsf T}Q)M=Q^{\mathsf T}y$、$g=y-\lambda QM$ | $n\ge3$、$\lambda>0$ | prop-sms-reinsch |
| $y_i-\hat s(x_i)=\lambda\bigl(\hat s'''(x_i+)-\hat s'''(x_i-)\bigr)$ | $n\ge3$、$\lambda>0$ | thm-sms-residual |
| $\sum_i(y_i-g_i)=0$、$\sum_ix_i(y_i-g_i)=0$ | $n\ge3$、$\lambda>0$ | thm-sms-residual |
| $\rho_k=1/(1+\lambda d_k)$、$\mathrm{df}_\lambda=\sum_k\rho_k$ | $d_k$ は $K$ の固有値 | prop-sms-operator |
| $y_i-\hat s^{(-i)}(x_i)=(y_i-g_i)/(1-(S_\lambda)_{ii})$ | $n\ge3$ | prop-sms-loo |
| 平均 $2$ 乗誤差 $=$ 偏りの $2$ 乗 $+\sigma^2\operatorname{tr}S_\lambda^2$ | 雑音が独立で等分散 | prop-sms-risk |
$n\ge2$、$\lambda>0$ とする。$J_\lambda$ の $C^2([a,b])$ での最小解 $\hat s$ はただ $1$ つ存在する。$\hat s$ は $[x_1,x_n]$ では節点 $x_1,\dots,x_n$ の $3$ 次の自然スプラインで、$[a,x_1]$ と $[x_n,b]$ では $1$ 次式である。$n\ge3$ なら、値のベクトルは $g=(I+\lambda K)^{-1}y$ である。$n=2$ なら $\hat s$ は $2$ 点を通る直線である。
段階 1:自然スプラインに絞る。 $f\in C^2([a,b])$ を任意にとり、$v_i:=f(x_i)$ とする。値 $v_i$ を補間する $[x_1,x_n]$ の自然スプラインを $s$ とする(スプライン補間 の定理「3 次スプラインの方程式」)。$s''(x_1)=s''(x_n)=0$ なので、端の接線で $1$ 次式に延ばすと $s\in C^2([a,b])$ である。$f$ と $s$ は $x_i$ で同じ値をとるので、第 $1$ 項は等しい。スプライン補間 の定理「自然スプラインの最小性」から
$$
\int_a^bf''^2\ge\int_{x_1}^{x_n}f''^2\ge\int_{x_1}^{x_n}s''^2=\int_a^bs''^2
$$
である。よって $J_\lambda(s)\le J_\lambda(f)$ である。等号なら、その定理の等号条件から $[x_1,x_n]$ で $f=s$ であり、$[a,x_1]$ と $[x_n,b]$ で $f''=0$ である。$f$ は $C^1$ 級に繋がるので、そこでも $f=s$ である。つまり、最小解があれば値 $v$ の自然スプラインに限られる。
段階 2:有限次元の問題にする。 $n=2$ なら $\int s''^2=0$ で、第 $1$ 項を $0$ にする $s$ は直線である。$n\ge3$ とする。値 $v$ の自然スプラインの内部の点での $2$ 階導関数を $M=(M_2,\dots,M_{n-1})^{\mathsf T}$ とし、$M_1=M_n=0$ とする。スプライン補間 の公式「モーメントの方程式」を $6$ で割ると
$$
RM=Q^{\mathsf T}v
$$
である。$s''$ は各区間で $1$ 次式なので
$$
\int_{x_1}^{x_n}s''^2=\sum_{i=1}^{n-1}\frac{h_i}3\bigl(M_i^2+M_iM_{i+1}+M_{i+1}^2\bigr)=M^{\mathsf T}RM=v^{\mathsf T}Kv
$$
である。よって問題は $v\in\mathbb R^n$ の関数
$$
\phi(v):=\sum_i(y_i-v_i)^2+\lambda\,v^{\mathsf T}Kv
$$
の最小化になる。$K$ は半正定値なので $\phi$ は狭義凸で $v$ について $2$ 次で増大し、最小点はただ $1$ つ、$\nabla\phi=0$ から $(I+\lambda K)v=y$ である。この $v$ の自然スプラインを $\hat s$ とすると、段階 1 から任意の $f$ で $J_\lambda(f)\ge J_\lambda(s)=\phi(f(x_1),\dots,f(x_n))\ge\phi(v)=J_\lambda(\hat s)$ で、等号は $f=\hat s$ に限る。$\square$
$K$ は密な行列なので、$(I+\lambda K)g=y$ をそのまま解くと遅い。$M$ を未知数にすると帯行列になる。
$n\ge3$ のとき、最小解の $M$ と $g$ は
$$
(R+\lambda Q^{\mathsf T}Q)M=Q^{\mathsf T}y,\qquad g=y-\lambda QM
$$
で定まる。左辺の行列は対称正定値で、非零成分は対角の両側 $2$ 本までの $5$ 重対角である。
prf-sms-main より $RM=Q^{\mathsf T}g$ なので $Kg=QR^{-1}Q^{\mathsf T}g=QM$ である。$(I+\lambda K)g=y$ から $g=y-\lambda QM$ で、これを $RM=Q^{\mathsf T}g$ に入れると第 $1$ 式を得る。$R$ が正定値、$Q^{\mathsf T}Q$ が半正定値なので和は正定値である。$Q$ の各行の非零成分は連続する $3$ 列以内にあるので、$Q^{\mathsf T}Q$ は $5$ 重対角である。$\square$
Rei67 の式 (12)・(13)(p. 179)で $D=I$、$p=1/(2\lambda)$、$c=M/2$ とおき、そこでの $T$ が $2R$ であることを使うと、この形になる。同論文の式 (4) の乗数としてそのまま読むと $p=1/\lambda$ にあたるが、(12)・(13) は跳びの係数を $2p$ とする式 (6) から導かれているので、この対応では $p=1/(2\lambda)$ である。
$\hat s'''$ は区分定数で、$x_i$ で跳ぶ。$x_1$ の左と $x_n$ の右では $0$ である。
$n\ge3$ とする。すべての $i$ で
$$
y_i-\hat s(x_i)=\lambda\bigl(\hat s'''(x_i+)-\hat s'''(x_i-)\bigr)
$$
である。したがって $\sum_i(y_i-\hat s(x_i))=0$、$\sum_ix_i(y_i-\hat s(x_i))=0$ である。$y$ が $1$ 次式の値のベクトルでないなら、$\hat s$ は全部の点を通ることはない。
$[x_i,x_{i+1}]$ では $\hat s'''=(M_{i+1}-M_i)/h_i$ である。よって $x_i$ の跳びは
$$
\frac{M_{i-1}}{h_{i-1}}-\Bigl(\frac1{h_{i-1}}+\frac1{h_i}\Bigr)M_i+\frac{M_{i+1}}{h_i}
$$
で、$M_1=M_n=0$ と合わせて $QM$ の第 $i$ 成分に等しい(端の $i=1,n$ でも同じである)。prop-sms-reinsch の $y-g=\lambda QM$ が最初の式である。
$Q^{\mathsf T}$ は $1$ 次式の値のベクトルを $0$ にするので、$Q$ の列はそれらと直交する。$y-g=\lambda QM$ から $2$ つの和の式を得る。最後に $y=g$ なら $QM=0$ で、$Q$ の列は線形独立なので $M=0$、すると $Q^{\mathsf T}y=RM=0$ となり、$y$ は $1$ 次式の値のベクトルである。$\square$
和の式から、平滑化スプラインは回帰直線と同じく、残差の和と $x$ で重み付けた和を $0$ にする。
$n\ge3$ とする。$K$ の固有値を $d_1\le\cdots\le d_n$、固有ベクトルの正規直交系を $u_k$ とする。
$R^{-1}$ は正定値なので、$v^{\mathsf T}Kv=0$ と $Q^{\mathsf T}v=0$ は同値である。$K$ は半正定値なので、$Kv=0$ とも同値である。節点が $n\ge2$ 個あるので $1$ 次式の値のベクトルは $2$ 次元で、1 を得る。2 は $S_\lambda=(I+\lambda K)^{-1}$ を対角化して読み取る。$\rho_3\in(0,1)$ なので $S_\lambda$ は射影でない。3、4、5 は $\rho_k$ の式から $k$ ごとに従う。$\square$
$\mathrm{df}_\lambda$ は ESL17 の式 (5.16)(p. 154)で定義され、同じ頁の式 (5.20) が $\rho_k$ の式である。$\lambda$ の代わりに df を指定すると、$x$ の尺度によらずに平滑化の度合いを伝えられる(ESL17 §5.5.1、p. 158)。
$\mathrm{RSS}(\lambda)$ の単調性から、制約の形の問題との関係が分かる。$y$ が $1$ 次式の値のベクトルでなく、$0<\sigma<\mathrm{RSS}_\infty$ なら、$\mathrm{RSS}(\lambda)=\sigma$ となる $\lambda>0$ が $1$ つに定まる。この $\lambda$ の $\hat s$ は、$\sum_i(y_i-f(x_i))^2\le\sigma$ を満たす $f$ の中で $\int f''^2$ を最小にする。実際、そのような $f$ について $J_\lambda(\hat s)\le J_\lambda(f)$ と $\sum_i(y_i-f(x_i))^2\le\sigma$ から $\sigma+\lambda\int\hat s''^2\le\sigma+\lambda\int f''^2$ である。これが Rei67 の定式化である(pp. 177–179)。
$\lambda$ を決める標準的な方法は、$1$ 点を抜いて当てはめ、抜いた点を予測する誤差を測ることである。素直には $n$ 回解き直すことになるが、その必要はない。
$n\ge3$ とし、第 $i$ 点を除いたデータの同じ $\lambda$ の最小解を $\hat s^{(-i)}$ とする。$S:=S_\lambda$ について $S_{ii}<1$ で
$$
y_i-\hat s^{(-i)}(x_i)=\frac{y_i-\hat s(x_i)}{1-S_{ii}}
$$
である。
$v:=\hat s^{(-i)}(x_i)$ とし、$y$ の第 $i$ 成分を $v$ に替えたベクトルを $y^*$ とする。$y^*$ の汎関数を $J^*$、第 $i$ 点を除いた汎関数を $J^{(-i)}$ と書く。任意の $f$ について
$$
J^*(f)\ge J^{(-i)}(f)\ge J^{(-i)}(\hat s^{(-i)})=J^*(\hat s^{(-i)})
$$
である。最後の等号は $\hat s^{(-i)}(x_i)=v$ による。よって $\hat s^{(-i)}$ は $y^*$ の最小解で、thm-sms-main の式の第 $i$ 成分から $v=\sum_{j\ne i}S_{ij}y_j+S_{ii}v$ である。一方 $\hat s(x_i)=\sum_{j\ne i}S_{ij}y_j+S_{ii}y_i$ なので、引くと $y_i-\hat s(x_i)=(y_i-v)(1-S_{ii})$ である。
$S_{ii}=e_i^{\mathsf T}Se_i\le1$ で、等号なら $e_i$ は固有値 $1$ の固有ベクトルである。$n\ge3$ のとき $e_i$ は $1$ 次式の値のベクトルでないので、prop-sms-operator から $S_{ii}<1$ である。$\square$
$\mathrm{CV}(\lambda):=\frac1n\sum_i\bigl((y_i-g_i)/(1-S_{ii})\bigr)^2$ が ESL17 の式 (7.51)(p. 244)にあたり、$S_{ii}$ を平均 $\mathrm{df}_\lambda/n$ で置き換えたものが 一般化交差検証
$$
\mathrm{GCV}(\lambda):=\frac{\frac1n\| y-g\|^2}{(1-\mathrm{df}_\lambda/n)^2}
$$
である(同じく式 (7.52))。
$y=\theta+\varepsilon$ とし、$\theta\in\mathbb R^n$ は定数、$\varepsilon_i$ は独立で平均 $0$、分散 $\sigma^2$ とする。このとき
$$
\mathbb E\| S_\lambda y-\theta\|^2=\|(I-S_\lambda)\theta\|^2+\sigma^2\operatorname{tr}S_\lambda^2
$$
である。
$S_\lambda y-\theta=-(I-S_\lambda)\theta+S_\lambda\varepsilon$ で、交差項の期待値は $0$ である。$\mathbb E\| S_\lambda\varepsilon\|^2=\mathbb E[\varepsilon^{\mathsf T}S_\lambda^2\varepsilon]=\sigma^2\operatorname{tr}S_\lambda^2$ である。$\square$
第 $1$ 項は偏り、第 $2$ 項はばらつきである。$\lambda$ を大きくすると、第 $2$ 項は減り、$\theta$ が $1$ 次式でなければ第 $1$ 項は増える。$\lambda$ の選択はこの釣り合いである。
図: 左は 21 点のデータと 3 つの λ の平滑化スプライン。右は λ に対する 1 個抜きの交差検証と真の誤差
問い:$x=(0,1,2)$、$y=(0,1,0)$ の $g$ を $\lambda$ の式で求める。
使う公式:prop-sms-reinsch。
答え:$g=\dfrac{(3\lambda,\ 1+3\lambda,\ 3\lambda)}{1+9\lambda}$ である。$\lambda\to0$ で $y$ に、$\lambda\to\infty$ で回帰直線の値 $(\frac13,\frac13,\frac13)$ に近づく。
$Q=(1,-2,1)^{\mathsf T}$、$R=(\frac23)$ で、$Q^{\mathsf T}Q=6$、$Q^{\mathsf T}y=-2$ である。$M=-2/(\frac23+6\lambda)=-3/(1+9\lambda)$ で、$g=y-\lambda QM$ を計算する。$K=\frac32QQ^{\mathsf T}$ の固有値は $0,0,9$ で、$\mathrm{df}_\lambda=2+1/(1+9\lambda)$ である。
問い:$x=(0,1,2,3,4)$、$y=(0,1,0,1,0)$ を $\lambda=1$ と $\lambda=\frac1{10}$ で平滑化する。
使う公式:prop-sms-reinsch、prop-sms-operator。
答え:
| $\lambda$ | $M$ | $g$ | 残差の $2$ 乗和 | $\int\hat s''^2$ |
|---|---|---|---|---|
| $1$ | $(-\frac6{23},0,-\frac6{23})$ | $(0.26087,0.47826,0.52174,0.47826,0.26087)$ | $0.95274$ | $0.09074$ |
| $\frac1{10}$ | $(-\frac{93}{73},\frac{81}{73},-\frac{93}{73})$ | $(0.12740,0.63425,0.47671,0.63425,0.12740)$ | $0.52727$ | $2.04241$ |
$\lambda=1$ の $g$ は厳密には $\frac1{23}(6,11,12,11,6)$ で、和 $\sum_ig_i=2$ は $\sum_iy_i$ に等しい。$K$ の固有値は $0,0,0.91082,7.5,28.23204$ で、$\mathrm{df}_\lambda$ は $\lambda=0.1,1,10,100$ で $3.7495,2.6752,2.1156,2.0125$ である。
$R$ は対角 $\frac23$、隣 $\frac16$ で、$Q^{\mathsf T}Q$ は対角 $6$、隣 $-4$、$2$ つ隣 $1$ である。方程式は対角 $\frac{20}3$、隣 $-\frac{23}6$、$2$ つ隣 $1$ の行列で、右辺は $Q^{\mathsf T}y=(-2,2,-2)^{\mathsf T}$ である。
問い:$x_i=(i-1)/20$($i=1,\dots,21$)、$y_i=\sin2\pi x_i+0.2\varepsilon_i$($\varepsilon_i$ は標準正規分布の擬似乱数)について、$\lambda$ を変えて CV と GCV を比べる。
使う公式:prop-sms-loo。
答え:数値計算による値は次のとおりである。真の誤差は $\frac1{21}\sum_i(g_i-\sin2\pi x_i)^2$ である。
| $\lambda$ | $\mathrm{df}_\lambda$ | 残差の $2$ 乗和 | CV | GCV | 真の誤差 |
|---|---|---|---|---|---|
| $10^{-6}$ | $19.290$ | $0.00710$ | $0.09453$ | $0.05101$ | $0.01698$ |
| $10^{-5}$ | $14.127$ | $0.10669$ | $0.06220$ | $0.04743$ | $0.00875$ |
| $10^{-4}$ | $8.727$ | $0.26958$ | $0.04038$ | $0.03758$ | $0.00467$ |
| $10^{-3}$ | $5.383$ | $0.43553$ | $0.04508$ | $0.03750$ | $0.00733$ |
| $10^{-2}$ | $3.474$ | $2.21567$ | $0.17860$ | $0.15148$ | $0.08812$ |
| $1$ | $2.055$ | $5.26420$ | $0.32222$ | $0.30801$ | $0.22751$ |
格子の中で CV と真の誤差を最小にする $\lambda$ は $10^{-4}$ で一致する。GCV の最小は $10^{-3}$ で、$10^{-4}$ の値とほとんど差がない。回帰直線の残差の $2$ 乗和は $5.33045$ で、$\lambda$ が大きいとこれに近づく。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| $\lambda>0$ | $\lambda=0$、$x=(0,1,2)$、$y=(0,1,0)$ | thm-sms-main の一意性:通る $C^2$ 級の関数はすべて $J_0=0$ で、$3$ 次の自然スプラインに限られない |
| 相異なる $2$ 点以上 | $n=1$、$x_1=0$、$y_1=1$ | 一意性:$f(x)=1+\beta x$ はどの $\beta$ でも $J_\lambda=0$ である |
| 罰則が $2$ 階 | $J(f)=\sum_i(y_i-f(x_i))^2+\int f'^2$、$x=(0,1,2)$、$y=(0,1,0)$ | 存在:$C^2$ の中に最小解がない(ex-sms-counter) |
| 罰則の積分が全区間 | $a< x_1$ で $\int_{x_1}^{x_n}f''^2$ に替える | 一意性:$[x_1,x_n]$ の外の $f$ は $C^2$ に繋がる限り自由である |
$[a,b]=[0,2]$、$x=(0,1,2)$、$y=(0,1,0)$、$\lambda=1$ の $1$ 階の罰則を考える。$f$ の値を $v$ とすると、Cauchy–Schwarzの不等式 から $\int_{x_i}^{x_{i+1}}f'^2\ge(v_{i+1}-v_i)^2/h_i$ で、等号は $f$ が $[x_i,x_{i+1}]$ で $1$ 次式のときに限る。下界の和を最小にする値は $v=(\frac14,\frac12,\frac14)$ で、最小値は $\frac12$ である。この折れ線は $x=1$ で傾きが $\frac14$ から $-\frac14$ に折れるので $C^2$ 級でない。$C^2$ 級の関数で $\frac12$ にはいくらでも近づけるが到達しない。
| 誤り | 正しくは | なぜ |
|---|---|---|
| $S_\lambda$ を射影と思う | $S_\lambda^2\ne S_\lambda$ で、固有値は $(0,1]$ に分布する | prop-sms-operator |
| df を基底の個数と思う | $\operatorname{tr}S_\lambda$ は整数でなく、$\lambda$ で連続に動く | prop-sms-operator |
| $\lambda$ の値を別のデータに流用する | $x$ を $c$ 倍すると $\lambda$ は $c^3$ 倍にする | exc-sms-scale |
| 節点を別に選ぶ必要があると思う | 節点はデータ点全部で、自動的に決まる | thm-sms-main |
| 端で $3$ 次の曲線が続くと思う | データの外側は $1$ 次式である | thm-sms-main |
| $\lambda$ を大きくすると $0$ に近づくと思う | 回帰直線に近づく | prop-sms-operator |
$c>0$ とし、データ $(cx_i,y_i)$ の $\lambda'=c^3\lambda$ の最小解が $\hat s(x/c)$ であることを示せ。
$\tilde f(x):=f(x/c)$ とおくと $\tilde f''(x)=c^{-2}f''(x/c)$ で、変数変換から $\int\tilde f''^2=c^{-3}\int f''^2$ である。よって $c^3\lambda\int\tilde f''^2=\lambda\int f''^2$ で、$2$ つの汎関数の値は一致する。$\square$
$y$ に $1$ 次式の値のベクトル $\alpha+\beta x_i$ を足すと、最小解は $\hat s+\alpha+\beta x$ になることを示せ。
prop-sms-operator の 2 から $S_\lambda$ は $1$ 次式の値のベクトルを変えない。thm-sms-main より値が定まる。$1$ 次式を足しても自然スプラインで、外側の $1$ 次式の形も保たれる。$\square$
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する