平滑化スプライン

同義語:smoothing splineスムージングスプライン3次平滑化スプラインcubic smoothing spline

概要

平滑化スプライン(smoothing spline)とは、データとのずれの $2$ 乗和に曲がりの量 $\lambda\int f''^2$($\lambda>0$)を足した汎関数を最小にする関数で、節点をデータ点に置いた $3$ 次の自然スプラインになる。値は $5$ 重対角の方程式から $n$ の定数倍の手間で求まり、$\lambda$ を $0$ に近づけると補間に、大きくすると回帰直線に近づく。$\lambda$ は 1 個抜きの交差検証などで選ぶ。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: スプライン補間, 最小二乗法, 正定値行列

データ $(x_i,y_i)$ に誤差があるとき、スプライン補間 のように全部の点を通ると誤差まで写し取ってしまう。回帰直線まで単純にすると、今度は曲がった傾向を取り逃がす。
平滑化スプライン は、この 2 つの間を $1$ つの数 $\lambda>0$ で結ぶ。データとのずれの $2$ 乗和に、曲がりの量 $\lambda\int f''^2$ を足したものを最小にする関数をとるのである。候補は無限次元の関数の空間に広がっているのに、最小解は節点をデータ点に置いた $3$ 次の自然スプラインで、値は $n$ 次の連立 $1$ 次方程式で求まる。
この記事では、最小解の存在と一意性、$n$ の定数倍の手間で解く方法、残差と $3$ 階導関数の跳びの関係、平滑化の度合いの測り方と 1 個抜きの交差検証の公式を証明する。自然スプラインの計算そのものは スプライン補間、基底を変えて計算する方法は Bスプライン を見よ。

定義と使える条件

$n\ge2$ とし、$a\le x_1< x_2<\cdots< x_n\le b$ と実数 $y_1,\dots,y_n$ が与えられているとする。

平滑化スプライン

$\lambda>0$ に対し、$f\in C^2([a,b])$ の汎関数
$$ J_\lambda(f):=\sum_{i=1}^n\bigl(y_i-f(x_i)\bigr)^2+\lambda\int_a^bf''(x)^2\,dx $$
を最小にする関数を、データ $(x_i,y_i)$ の 平滑化スプライン といい、$\lambda$ を 平滑化パラメータ という。

ESL17 の式 (5.9)(p. 151)がこの問題である。$\lambda$ を $0$ に近づけると補間に、大きくすると回帰直線に近づく(prop-sms-operator)。
行列の記号を置く。$h_i:=x_{i+1}-x_i$ とする。$n\ge3$ のとき、$Q$ は $n$ 行 $n-2$ 列の行列で、第 $j$ 列は第 $j,j+1,j+2$ 行に順に $\frac1{h_j}$、$-\frac1{h_j}-\frac1{h_{j+1}}$、$\frac1{h_{j+1}}$ をもち、ほかは $0$ である。$R$ は $n-2$ 次の対称な三重対角行列で
$$ R_{jj}=\frac{h_j+h_{j+1}}3,\qquad R_{j,j+1}=\frac{h_{j+1}}6 $$
とする。$R$ は対角優位なので正定値である。$K:=QR^{-1}Q^{\mathsf T}$、$S_\lambda:=(I+\lambda K)^{-1}$ とおき、$S_\lambda$ を 平滑化行列 という。
$Q^{\mathsf T}v$ は $v$ の $2$ 階差分なので、$Q^{\mathsf T}v=0$ となるのは $v=(\alpha+\beta x_i)_i$ の形のときに限る。これを 1 次式の値のベクトル と呼ぶ。
平滑化スプラインを使う条件は次のとおりである。

  • (i) $\lambda>0$ で、$x_i$ は相異なる $2$ 点以上である。同じ $x$ が複数あるときは、平均をとって補足の重み付きの形にする。
  • (ii) 罰則の積分は、$x_1,x_n$ の外も含む区間全体でとる。これで外側が $1$ 次式に決まる。
  • (iii) $\lambda$ の値は $x$ の尺度に依存する(exc-sms-scale)。
  • (iv) 確率的な解釈を使うときは、$y_i=f(x_i)+\varepsilon_i$ で $\varepsilon_i$ が独立、平均 $0$、等分散と仮定する。

公式の表

$g:=(\hat s(x_i))_i$ は最小解の値、$M$ は内部の点での $\hat s''$ の値を並べたベクトルである。

公式使える条件根拠
$g=(I+\lambda K)^{-1}y=S_\lambda y$$n\ge3$、$\lambda>0$thm-sms-main
$\int\hat s''^2=M^{\mathsf T}RM=g^{\mathsf T}Kg$自然スプラインthm-sms-main
$(R+\lambda Q^{\mathsf T}Q)M=Q^{\mathsf T}y$、$g=y-\lambda QM$$n\ge3$、$\lambda>0$prop-sms-reinsch
$y_i-\hat s(x_i)=\lambda\bigl(\hat s'''(x_i+)-\hat s'''(x_i-)\bigr)$$n\ge3$、$\lambda>0$thm-sms-residual
$\sum_i(y_i-g_i)=0$、$\sum_ix_i(y_i-g_i)=0$$n\ge3$、$\lambda>0$thm-sms-residual
$\rho_k=1/(1+\lambda d_k)$、$\mathrm{df}_\lambda=\sum_k\rho_k$$d_k$ は $K$ の固有値prop-sms-operator
$y_i-\hat s^{(-i)}(x_i)=(y_i-g_i)/(1-(S_\lambda)_{ii})$$n\ge3$prop-sms-loo
平均 $2$ 乗誤差 $=$ 偏りの $2$ 乗 $+\sigma^2\operatorname{tr}S_\lambda^2$雑音が独立で等分散prop-sms-risk

主定理と証明

最小解は自然スプラインである

平滑化スプラインの存在と一意性

$n\ge2$、$\lambda>0$ とする。$J_\lambda$ の $C^2([a,b])$ での最小解 $\hat s$ はただ $1$ つ存在する。$\hat s$ は $[x_1,x_n]$ では節点 $x_1,\dots,x_n$ の $3$ 次の自然スプラインで、$[a,x_1]$ と $[x_n,b]$ では $1$ 次式である。$n\ge3$ なら、値のベクトルは $g=(I+\lambda K)^{-1}y$ である。$n=2$ なら $\hat s$ は $2$ 点を通る直線である。

段階 1:自然スプラインに絞る。 $f\in C^2([a,b])$ を任意にとり、$v_i:=f(x_i)$ とする。値 $v_i$ を補間する $[x_1,x_n]$ の自然スプラインを $s$ とする(スプライン補間 の定理「3 次スプラインの方程式」)。$s''(x_1)=s''(x_n)=0$ なので、端の接線で $1$ 次式に延ばすと $s\in C^2([a,b])$ である。$f$ と $s$ は $x_i$ で同じ値をとるので、第 $1$ 項は等しい。スプライン補間 の定理「自然スプラインの最小性」から
$$ \int_a^bf''^2\ge\int_{x_1}^{x_n}f''^2\ge\int_{x_1}^{x_n}s''^2=\int_a^bs''^2 $$
である。よって $J_\lambda(s)\le J_\lambda(f)$ である。等号なら、その定理の等号条件から $[x_1,x_n]$ で $f=s$ であり、$[a,x_1]$ と $[x_n,b]$ で $f''=0$ である。$f$ は $C^1$ 級に繋がるので、そこでも $f=s$ である。つまり、最小解があれば値 $v$ の自然スプラインに限られる。
段階 2:有限次元の問題にする。 $n=2$ なら $\int s''^2=0$ で、第 $1$ 項を $0$ にする $s$ は直線である。$n\ge3$ とする。値 $v$ の自然スプラインの内部の点での $2$ 階導関数を $M=(M_2,\dots,M_{n-1})^{\mathsf T}$ とし、$M_1=M_n=0$ とする。スプライン補間 の公式「モーメントの方程式」を $6$ で割ると
$$ RM=Q^{\mathsf T}v $$
である。$s''$ は各区間で $1$ 次式なので
$$ \int_{x_1}^{x_n}s''^2=\sum_{i=1}^{n-1}\frac{h_i}3\bigl(M_i^2+M_iM_{i+1}+M_{i+1}^2\bigr)=M^{\mathsf T}RM=v^{\mathsf T}Kv $$
である。よって問題は $v\in\mathbb R^n$ の関数
$$ \phi(v):=\sum_i(y_i-v_i)^2+\lambda\,v^{\mathsf T}Kv $$
の最小化になる。$K$ は半正定値なので $\phi$ は狭義凸で $v$ について $2$ 次で増大し、最小点はただ $1$ つ、$\nabla\phi=0$ から $(I+\lambda K)v=y$ である。この $v$ の自然スプラインを $\hat s$ とすると、段階 1 から任意の $f$ で $J_\lambda(f)\ge J_\lambda(s)=\phi(f(x_1),\dots,f(x_n))\ge\phi(v)=J_\lambda(\hat s)$ で、等号は $f=\hat s$ に限る。$\square$

Reinsch の計算

$K$ は密な行列なので、$(I+\lambda K)g=y$ をそのまま解くと遅い。$M$ を未知数にすると帯行列になる。

Reinsch の方程式

$n\ge3$ のとき、最小解の $M$ と $g$ は
$$ (R+\lambda Q^{\mathsf T}Q)M=Q^{\mathsf T}y,\qquad g=y-\lambda QM $$
で定まる。左辺の行列は対称正定値で、非零成分は対角の両側 $2$ 本までの $5$ 重対角である。

prf-sms-main より $RM=Q^{\mathsf T}g$ なので $Kg=QR^{-1}Q^{\mathsf T}g=QM$ である。$(I+\lambda K)g=y$ から $g=y-\lambda QM$ で、これを $RM=Q^{\mathsf T}g$ に入れると第 $1$ 式を得る。$R$ が正定値、$Q^{\mathsf T}Q$ が半正定値なので和は正定値である。$Q$ の各行の非零成分は連続する $3$ 列以内にあるので、$Q^{\mathsf T}Q$ は $5$ 重対角である。$\square$

Rei67 の式 (12)・(13)(p. 179)で $D=I$、$p=1/(2\lambda)$、$c=M/2$ とおき、そこでの $T$ が $2R$ であることを使うと、この形になる。同論文の式 (4) の乗数としてそのまま読むと $p=1/\lambda$ にあたるが、(12)・(13) は跳びの係数を $2p$ とする式 (6) から導かれているので、この対応では $p=1/(2\lambda)$ である。

残差と 3 階導関数の跳び

$\hat s'''$ は区分定数で、$x_i$ で跳ぶ。$x_1$ の左と $x_n$ の右では $0$ である。

残差は 3 階導関数の跳び

$n\ge3$ とする。すべての $i$ で
$$ y_i-\hat s(x_i)=\lambda\bigl(\hat s'''(x_i+)-\hat s'''(x_i-)\bigr) $$
である。したがって $\sum_i(y_i-\hat s(x_i))=0$、$\sum_ix_i(y_i-\hat s(x_i))=0$ である。$y$ が $1$ 次式の値のベクトルでないなら、$\hat s$ は全部の点を通ることはない。

$[x_i,x_{i+1}]$ では $\hat s'''=(M_{i+1}-M_i)/h_i$ である。よって $x_i$ の跳びは
$$ \frac{M_{i-1}}{h_{i-1}}-\Bigl(\frac1{h_{i-1}}+\frac1{h_i}\Bigr)M_i+\frac{M_{i+1}}{h_i} $$
で、$M_1=M_n=0$ と合わせて $QM$ の第 $i$ 成分に等しい(端の $i=1,n$ でも同じである)。prop-sms-reinsch の $y-g=\lambda QM$ が最初の式である。
$Q^{\mathsf T}$ は $1$ 次式の値のベクトルを $0$ にするので、$Q$ の列はそれらと直交する。$y-g=\lambda QM$ から $2$ つの和の式を得る。最後に $y=g$ なら $QM=0$ で、$Q$ の列は線形独立なので $M=0$、すると $Q^{\mathsf T}y=RM=0$ となり、$y$ は $1$ 次式の値のベクトルである。$\square$

和の式から、平滑化スプラインは回帰直線と同じく、残差の和と $x$ で重み付けた和を $0$ にする。

平滑化行列の性質

平滑化行列

$n\ge3$ とする。$K$ の固有値を $d_1\le\cdots\le d_n$、固有ベクトルの正規直交系を $u_k$ とする。

  1. $d_1=d_2=0< d_3$ で、固有値 $0$ の固有空間は $1$ 次式の値のベクトルの全体である。
  2. $S_\lambda$ は対称で、固有値は $\rho_k=1/(1+\lambda d_k)$ である。$S_\lambda v=v$ は $1$ 次式の値のベクトルに限って成り立つ。$S_\lambda^2\ne S_\lambda$ である。
  3. $\lambda\to+0$ で $S_\lambda\to I$、$\lambda\to\infty$ で $S_\lambda$ は $1$ 次式の値のベクトルへの直交射影に収束する。この射影は回帰直線の当てはめである。
  4. 有効自由度 $\mathrm{df}_\lambda:=\operatorname{tr}S_\lambda=\sum_k\rho_k$ は $\lambda$ について狭義減少で、$n$ から $2$ まで動く。
  5. $\mathrm{RSS}(\lambda):=\| y-g\|^2$ を $\sum_k(\lambda d_k/(1+\lambda d_k))^2(u_k\cdot y)^2$ と書くと、これは $\lambda$ について増加で、$\lambda\to0$ で $0$、$\lambda\to\infty$ で回帰直線の残差の $2$ 乗和 $\mathrm{RSS}_\infty$ に近づく。

$R^{-1}$ は正定値なので、$v^{\mathsf T}Kv=0$ と $Q^{\mathsf T}v=0$ は同値である。$K$ は半正定値なので、$Kv=0$ とも同値である。節点が $n\ge2$ 個あるので $1$ 次式の値のベクトルは $2$ 次元で、1 を得る。2 は $S_\lambda=(I+\lambda K)^{-1}$ を対角化して読み取る。$\rho_3\in(0,1)$ なので $S_\lambda$ は射影でない。3、4、5 は $\rho_k$ の式から $k$ ごとに従う。$\square$

$\mathrm{df}_\lambda$ は ESL17 の式 (5.16)(p. 154)で定義され、同じ頁の式 (5.20) が $\rho_k$ の式である。$\lambda$ の代わりに df を指定すると、$x$ の尺度によらずに平滑化の度合いを伝えられる(ESL17 §5.5.1、p. 158)。
$\mathrm{RSS}(\lambda)$ の単調性から、制約の形の問題との関係が分かる。$y$ が $1$ 次式の値のベクトルでなく、$0<\sigma<\mathrm{RSS}_\infty$ なら、$\mathrm{RSS}(\lambda)=\sigma$ となる $\lambda>0$ が $1$ つに定まる。この $\lambda$ の $\hat s$ は、$\sum_i(y_i-f(x_i))^2\le\sigma$ を満たす $f$ の中で $\int f''^2$ を最小にする。実際、そのような $f$ について $J_\lambda(\hat s)\le J_\lambda(f)$ と $\sum_i(y_i-f(x_i))^2\le\sigma$ から $\sigma+\lambda\int\hat s''^2\le\sigma+\lambda\int f''^2$ である。これが Rei67 の定式化である(pp. 177–179)。

1 個抜きの交差検証

$\lambda$ を決める標準的な方法は、$1$ 点を抜いて当てはめ、抜いた点を予測する誤差を測ることである。素直には $n$ 回解き直すことになるが、その必要はない。

1 個抜きの公式

$n\ge3$ とし、第 $i$ 点を除いたデータの同じ $\lambda$ の最小解を $\hat s^{(-i)}$ とする。$S:=S_\lambda$ について $S_{ii}<1$ で
$$ y_i-\hat s^{(-i)}(x_i)=\frac{y_i-\hat s(x_i)}{1-S_{ii}} $$
である。

$v:=\hat s^{(-i)}(x_i)$ とし、$y$ の第 $i$ 成分を $v$ に替えたベクトルを $y^*$ とする。$y^*$ の汎関数を $J^*$、第 $i$ 点を除いた汎関数を $J^{(-i)}$ と書く。任意の $f$ について
$$ J^*(f)\ge J^{(-i)}(f)\ge J^{(-i)}(\hat s^{(-i)})=J^*(\hat s^{(-i)}) $$
である。最後の等号は $\hat s^{(-i)}(x_i)=v$ による。よって $\hat s^{(-i)}$ は $y^*$ の最小解で、thm-sms-main の式の第 $i$ 成分から $v=\sum_{j\ne i}S_{ij}y_j+S_{ii}v$ である。一方 $\hat s(x_i)=\sum_{j\ne i}S_{ij}y_j+S_{ii}y_i$ なので、引くと $y_i-\hat s(x_i)=(y_i-v)(1-S_{ii})$ である。
$S_{ii}=e_i^{\mathsf T}Se_i\le1$ で、等号なら $e_i$ は固有値 $1$ の固有ベクトルである。$n\ge3$ のとき $e_i$ は $1$ 次式の値のベクトルでないので、prop-sms-operator から $S_{ii}<1$ である。$\square$

$\mathrm{CV}(\lambda):=\frac1n\sum_i\bigl((y_i-g_i)/(1-S_{ii})\bigr)^2$ が ESL17 の式 (7.51)(p. 244)にあたり、$S_{ii}$ を平均 $\mathrm{df}_\lambda/n$ で置き換えたものが 一般化交差検証
$$ \mathrm{GCV}(\lambda):=\frac{\frac1n\| y-g\|^2}{(1-\mathrm{df}_\lambda/n)^2} $$
である(同じく式 (7.52))。

誤差の分解

$y=\theta+\varepsilon$ とし、$\theta\in\mathbb R^n$ は定数、$\varepsilon_i$ は独立で平均 $0$、分散 $\sigma^2$ とする。このとき
$$ \mathbb E\| S_\lambda y-\theta\|^2=\|(I-S_\lambda)\theta\|^2+\sigma^2\operatorname{tr}S_\lambda^2 $$
である。

$S_\lambda y-\theta=-(I-S_\lambda)\theta+S_\lambda\varepsilon$ で、交差項の期待値は $0$ である。$\mathbb E\| S_\lambda\varepsilon\|^2=\mathbb E[\varepsilon^{\mathsf T}S_\lambda^2\varepsilon]=\sigma^2\operatorname{tr}S_\lambda^2$ である。$\square$

第 $1$ 項は偏り、第 $2$ 項はばらつきである。$\lambda$ を大きくすると、第 $2$ 項は減り、$\theta$ が $1$ 次式でなければ第 $1$ 項は増える。$\lambda$ の選択はこの釣り合いである。

計算の手順

  1. 整える:点を $x$ の順に並べ、$h_i$、$Q$、$R$ を作る。
  2. $\lambda$ を決める:CV や GCV を $\lambda$ の格子(対数目盛)で調べるか、df を指定する。
  3. 分解する:$A:=R+\lambda Q^{\mathsf T}Q$ を帯のまま Cholesky分解 する。手間は $n$ の定数倍である。
  4. 解く:$AM=Q^{\mathsf T}y$ を解き、$g=y-\lambda QM$ とする。
  5. 関数にする:値 $g$ と $2$ 階導関数 $M$ を スプライン補間 の公式「区間ごとの式」に入れる。$[x_1,x_n]$ の外は $1$ 次式で延ばす。
  6. 確かめる:$\sum_i(y_i-g_i)$ と $\sum_ix_i(y_i-g_i)$ が丸め誤差の範囲で $0$ になることを見る(thm-sms-residual)。
    点が多いときは、Bスプライン を基底にして節点を間引くことができる(ESL17 の式 (5.79)、p. 189)。
    図: 左は 21 点のデータと 3 つの λ の平滑化スプライン。右は λ に対する 1 個抜きの交差検証と真の誤差 図: 左は 21 点のデータと 3 つの λ の平滑化スプライン。右は λ に対する 1 個抜きの交差検証と真の誤差

例題

3 点の場合

問い:$x=(0,1,2)$、$y=(0,1,0)$ の $g$ を $\lambda$ の式で求める。
使う公式:prop-sms-reinsch。
答え:$g=\dfrac{(3\lambda,\ 1+3\lambda,\ 3\lambda)}{1+9\lambda}$ である。$\lambda\to0$ で $y$ に、$\lambda\to\infty$ で回帰直線の値 $(\frac13,\frac13,\frac13)$ に近づく。

途中の計算を開く

$Q=(1,-2,1)^{\mathsf T}$、$R=(\frac23)$ で、$Q^{\mathsf T}Q=6$、$Q^{\mathsf T}y=-2$ である。$M=-2/(\frac23+6\lambda)=-3/(1+9\lambda)$ で、$g=y-\lambda QM$ を計算する。$K=\frac32QQ^{\mathsf T}$ の固有値は $0,0,9$ で、$\mathrm{df}_\lambda=2+1/(1+9\lambda)$ である。

5 点の厳密な解

問い:$x=(0,1,2,3,4)$、$y=(0,1,0,1,0)$ を $\lambda=1$ と $\lambda=\frac1{10}$ で平滑化する。
使う公式:prop-sms-reinsch、prop-sms-operator。
答え:

$\lambda$$M$$g$残差の $2$ 乗和$\int\hat s''^2$
$1$$(-\frac6{23},0,-\frac6{23})$$(0.26087,0.47826,0.52174,0.47826,0.26087)$$0.95274$$0.09074$
$\frac1{10}$$(-\frac{93}{73},\frac{81}{73},-\frac{93}{73})$$(0.12740,0.63425,0.47671,0.63425,0.12740)$$0.52727$$2.04241$

$\lambda=1$ の $g$ は厳密には $\frac1{23}(6,11,12,11,6)$ で、和 $\sum_ig_i=2$ は $\sum_iy_i$ に等しい。$K$ の固有値は $0,0,0.91082,7.5,28.23204$ で、$\mathrm{df}_\lambda$ は $\lambda=0.1,1,10,100$ で $3.7495,2.6752,2.1156,2.0125$ である。

$\lambda=1$ の方程式を開く

$R$ は対角 $\frac23$、隣 $\frac16$ で、$Q^{\mathsf T}Q$ は対角 $6$、隣 $-4$、$2$ つ隣 $1$ である。方程式は対角 $\frac{20}3$、隣 $-\frac{23}6$、$2$ つ隣 $1$ の行列で、右辺は $Q^{\mathsf T}y=(-2,2,-2)^{\mathsf T}$ である。

交差検証で λ を選ぶ

問い:$x_i=(i-1)/20$($i=1,\dots,21$)、$y_i=\sin2\pi x_i+0.2\varepsilon_i$($\varepsilon_i$ は標準正規分布の擬似乱数)について、$\lambda$ を変えて CV と GCV を比べる。
使う公式:prop-sms-loo。
答え:数値計算による値は次のとおりである。真の誤差は $\frac1{21}\sum_i(g_i-\sin2\pi x_i)^2$ である。

$\lambda$$\mathrm{df}_\lambda$残差の $2$ 乗和CVGCV真の誤差
$10^{-6}$$19.290$$0.00710$$0.09453$$0.05101$$0.01698$
$10^{-5}$$14.127$$0.10669$$0.06220$$0.04743$$0.00875$
$10^{-4}$$8.727$$0.26958$$0.04038$$0.03758$$0.00467$
$10^{-3}$$5.383$$0.43553$$0.04508$$0.03750$$0.00733$
$10^{-2}$$3.474$$2.21567$$0.17860$$0.15148$$0.08812$
$1$$2.055$$5.26420$$0.32222$$0.30801$$0.22751$

格子の中で CV と真の誤差を最小にする $\lambda$ は $10^{-4}$ で一致する。GCV の最小は $10^{-3}$ で、$10^{-4}$ の値とほとんど差がない。回帰直線の残差の $2$ 乗和は $5.33045$ で、$\lambda$ が大きいとこれに近づく。

使える条件と反例

外す条件反例成り立たなくなること
$\lambda>0$$\lambda=0$、$x=(0,1,2)$、$y=(0,1,0)$thm-sms-main の一意性:通る $C^2$ 級の関数はすべて $J_0=0$ で、$3$ 次の自然スプラインに限られない
相異なる $2$ 点以上$n=1$、$x_1=0$、$y_1=1$一意性:$f(x)=1+\beta x$ はどの $\beta$ でも $J_\lambda=0$ である
罰則が $2$ 階$J(f)=\sum_i(y_i-f(x_i))^2+\int f'^2$、$x=(0,1,2)$、$y=(0,1,0)$存在:$C^2$ の中に最小解がない(ex-sms-counter)
罰則の積分が全区間$a< x_1$ で $\int_{x_1}^{x_n}f''^2$ に替える一意性:$[x_1,x_n]$ の外の $f$ は $C^2$ に繋がる限り自由である
1 階の罰則

$[a,b]=[0,2]$、$x=(0,1,2)$、$y=(0,1,0)$、$\lambda=1$ の $1$ 階の罰則を考える。$f$ の値を $v$ とすると、Cauchy–Schwarzの不等式 から $\int_{x_i}^{x_{i+1}}f'^2\ge(v_{i+1}-v_i)^2/h_i$ で、等号は $f$ が $[x_i,x_{i+1}]$ で $1$ 次式のときに限る。下界の和を最小にする値は $v=(\frac14,\frac12,\frac14)$ で、最小値は $\frac12$ である。この折れ線は $x=1$ で傾きが $\frac14$ から $-\frac14$ に折れるので $C^2$ 級でない。$C^2$ 級の関数で $\frac12$ にはいくらでも近づけるが到達しない。

よくある誤り

誤り正しくはなぜ
$S_\lambda$ を射影と思う$S_\lambda^2\ne S_\lambda$ で、固有値は $(0,1]$ に分布するprop-sms-operator
df を基底の個数と思う$\operatorname{tr}S_\lambda$ は整数でなく、$\lambda$ で連続に動くprop-sms-operator
$\lambda$ の値を別のデータに流用する$x$ を $c$ 倍すると $\lambda$ は $c^3$ 倍にするexc-sms-scale
節点を別に選ぶ必要があると思う節点はデータ点全部で、自動的に決まるthm-sms-main
端で $3$ 次の曲線が続くと思うデータの外側は $1$ 次式であるthm-sms-main
$\lambda$ を大きくすると $0$ に近づくと思う回帰直線に近づくprop-sms-operator

演習

λ の尺度

$c>0$ とし、データ $(cx_i,y_i)$ の $\lambda'=c^3\lambda$ の最小解が $\hat s(x/c)$ であることを示せ。

解答を開く

$\tilde f(x):=f(x/c)$ とおくと $\tilde f''(x)=c^{-2}f''(x/c)$ で、変数変換から $\int\tilde f''^2=c^{-3}\int f''^2$ である。よって $c^3\lambda\int\tilde f''^2=\lambda\int f''^2$ で、$2$ つの汎関数の値は一致する。$\square$

直線を足す

$y$ に $1$ 次式の値のベクトル $\alpha+\beta x_i$ を足すと、最小解は $\hat s+\alpha+\beta x$ になることを示せ。

解答を開く

prop-sms-operator の 2 から $S_\lambda$ は $1$ 次式の値のベクトルを変えない。thm-sms-main より値が定まる。$1$ 次式を足しても自然スプラインで、外側の $1$ 次式の形も保たれる。$\square$

補足

  • 重み付き:$\sum_iw_i(y_i-f(x_i))^2$ の形にしても同じ議論が通り、prop-sms-reinsch の $Q^{\mathsf T}Q$ が $Q^{\mathsf T}W^{-1}Q$ に、$\lambda QM$ が $\lambda W^{-1}QM$ に替わる。Rei67 の $D^2$ が $W^{-1}$ にあたる。
  • 高い階の罰則:$2$ 階を $k$ 階に替えると、補間の極限は次数 $2k-1$ のスプラインになる(Rei67 p. 177)。
  • Sobolev 空間:$J_\lambda$ は $C^2$ 級でなくても、罰則の項が定まる関数の空間で考えられる(Sobolev空間、ESL17 p. 151)。
  • 等価な核:$S_\lambda$ の各行は $x_i$ のまわりの局所的な重みの形をとり、固定された核の平滑化に近い(ESL17 pp. 156–157)。

関連項目

参考文献

[2]
Christian H. Reinsch, Smoothing by Spline Functions, Numerische Mathematik, 1967, 177–183、式 (4)・(6) p. 178、式 (12)・(13) p. 179

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する