Newton–Kantorovichの定理(Newton–Kantorovich theorem)とは、Banach 空間の方程式 $F(x)=0$ について、初期値 $x_0$ での Newton の一歩の長さ $\eta=\|F'(x_0)^{-1}F(x_0)\|$ と、$F'(x_0)^{-1}F'$ の Lipschitz 定数 $K$ が $K\eta\le\frac12$ を満たし、半径 $t^*=(1-\sqrt{1-2K\eta})/K$ の閉球が定義域に入るなら、その閉球に零点 $x^*$ が存在し、Newton 法の点列が $x^*$ に収束することを保証する定理である。一意性の範囲と誤差の上界も、2 次式 $\frac K2t^2-t+\eta$ に Newton 法を当てた数列から得られる。零点の存在を仮定しないので、近似解の近くに解があることの証明に使える。
前提知識: Newton法, Banach空間, 全微分, Banachの不動点定理
Newton–Kantorovichの定理(Newton–Kantorovich theorem)は、Newton法 の初期値 $x_0$ での量だけを調べて、零点が存在すること、零点がある範囲でただ 1 つであること、Newton 法がその零点に収束すること、誤差の上界を同時に保証する定理である。
Newton法 の定理「局所収束と2次収束」は、零点 $x^*$ が存在し $f'(x^*)\ne0$ であることを 仮定して、$x^*$ に十分近い初期値から 2 次収束することを述べる。しかし実際の計算では $x^*$ は未知で、「十分近い」かどうかも事前には判定できない。Kantorovich の定理では、仮定は $x_0$ と定義域 $D$ の上で見積もれる 3 つの数、すなわち
この記事では $X,Y$ を実 Banach空間(複素の場合は実 Banach 空間とみなす)、$D\subset X$ を開集合とし、$F\colon D\to Y$ を Fréchet 微分可能(全微分)とする。$F'(x)$ は $X$ から $Y$ への有界線形作用素で、作用素のノルムを $\|T\|:=\sup_{\|v\|\le1}\|Tv\|$ と書く。$F'(x)$ が 正則 であるとは、全単射で逆 $F'(x)^{-1}$ も有界であることとする。閉球を $\overline B(x_0,r):=\{x\in X:\|x-x_0\|\le r\}$ と書く。
Newton 法の点列は $x_{k+1}:=x_k-F'(x_k)^{-1}F(x_k)$ である(Newton法 の定義「Newton法」の Banach 空間の場合)。
$K>0$、$\eta\ge0$、$h:=K\eta\le\frac12$ に対して
$$
p(t):=\frac K2t^2-t+\eta,\qquad t^*:=\frac{1-\sqrt{1-2h}}K,\qquad t^{**}:=\frac{1+\sqrt{1-2h}}K
$$
とおく。$t^*\le t^{**}$ は $p$ の 2 つの根で、$p(t)=\frac K2(t-t^*)(t-t^{**})$ である。$p$ を 優関数(majorant function)、$t_0:=0$、$t_{k+1}:=t_k-p(t_k)/p'(t_k)$ で定まる実数列 $(t_k)$ を 優数列 という。
使える条件をまとめる。Newton–Kantorovich の定理の仮定は次の 5 つである。
| 公式 | 使える条件 | 根拠 |
|---|---|---|
| 零点 $x^*$ が $\overline B(x_0,t^*)$ にある、$t^*=\dfrac{1-\sqrt{1-2h}}K$ | (a)〜(e) | thm-nk-main |
| $\Vert x_k-x_0\Vert \le t_k\le t^*$、$\Vert x_{k+1}-x_k\Vert \le t_{k+1}-t_k$ | (a)〜(e) | thm-nk-main |
| $\Vert x^*-x_k\Vert \le t^*-t_k$ | (a)〜(e) | thm-nk-main |
| $t^*-t_k=\dfrac{(t^{**}-t^*)\,\theta^{2^k}}{1-\theta^{2^k}}$、$\theta:=t^*/t^{**}$ | $h<\frac12$ | lem-nk-scalar |
| $t^*-t_k=2^{-k}t^*$ | $h=\frac12$ | lem-nk-scalar |
| $\overline B(x_0,\rho)$ の中の零点は $x^*$ だけ | $h<\frac12$、$t^*\le\rho< t^{**}$、$\overline B(x_0,\rho)\subset D$ | thm-nk-main |
| $\overline B(x_0,t^*)$ の中の零点は $x^*$ だけ | $h=\frac12$ | thm-nk-main |
| $K=\beta L$ ととれる | $\Vert F'(x_0)^{-1}\Vert \le\beta$、$F'$ が $L$-Lipschitz | cor-nk-classical |
$h<\frac12$ では $\theta<1$ なので誤差の上界は $\theta^{2^k}$ の速さで $0$ に近づき(2 次の速さ)、$h=\frac12$ では $2^{-k}$ の速さ(1 次)に落ちる。
$K>0$、$\eta>0$、$h=K\eta\le\frac12$ とし、$p,t^*,t^{**},(t_k)$ を def-nk-majorant のとおりとする。
$t^*\le\frac1K\le t^{**}$ なので、$0\le t< t^*$ では $p'(t)=Kt-1<0$、$p(t)=\frac K2(t-t^*)(t-t^{**})>0$ である。このとき $N(t):=t-p(t)/p'(t)>t$ である。$p$ は 2 次式なので $0=p(t^*)=p(t)+p'(t)(t^*-t)+\frac K2(t^*-t)^2$ が成り立ち、
$$
t^*-N(t)=\frac{p'(t)(t^*-t)+p(t)}{p'(t)}=\frac{K(t^*-t)^2}{2(1-Kt)}>0
$$
である。$t^{**}$ についても同じ計算で $t^{**}-N(t)=\frac{K(t^{**}-t)^2}{2(1-Kt)}$ である。$t_0=0< t^*$ から帰納法で、すべての $t_k$ は $[0,t^*)$ に入り、狭義単調増加で、2 が成り立つ。3 は $p(t_k)=p(t_{k-1})+p'(t_{k-1})(t_k-t_{k-1})+\frac K2(t_k-t_{k-1})^2$ の右辺の前の 2 項が打ち消し合うことによる。
4:$h<\frac12$ なら $t^*< t^{**}$ で、$q_k:=\frac{t^*-t_k}{t^{**}-t_k}$ とおくと 2 から $q_{k+1}=q_k^2$、$q_0=\theta$ なので $q_k=\theta^{2^k}$ である。$t^*-t_k=q_k\bigl((t^{**}-t^*)+(t^*-t_k)\bigr)$ を $t^*-t_k$ について解けばよい。$h=\frac12$ なら $t^*=t^{**}=\frac1K$ で $1-Kt_k=K(t^*-t_k)$ だから、2 は $t^*-t_{k+1}=\frac12(t^*-t_k)$ になる。どちらの場合も $t_k\to t^*$ で、1 が従う。$\square$
仮定 (a)(b) の下で次が成り立つ。
1:$T:=I-F'(x_0)^{-1}F'(x)$ は $X$ 上の有界作用素で、(b) で $y=x_0$ とすると $\|T\|\le K\|x-x_0\|<1$ である。$X$ は完備なので $\sum_{n\ge0}T^n$ は作用素ノルムで収束し($\|T^n\|\le\|T\|^n$)、その和 $S$ は $(I-T)S=S(I-T)=I$ を満たす。よって $I-T$ は正則で $\|(I-T)^{-1}\|\le\sum\|T\|^n=\frac1{1-\|T\|}$ である。$F'(x)=F'(x_0)(I-T)$ なので $F'(x)$ は正則で、$F'(x)^{-1}F'(x_0)=(I-T)^{-1}$ である。2:$r:=F'(x_0)^{-1}\bigl(F(y)-F(x)-F'(x)(y-x)\bigr)\in X$ とする。$r\ne0$ なら Hahn–Banachの定理 により $\|\xi\|=1$、$\xi(r)=\|r\|$ となる有界線形汎関数 $\xi$ がある。$\psi(s):=\xi\bigl(F'(x_0)^{-1}(F(x+s(y-x))-sF'(x)(y-x))\bigr)$ は $[0,1]$ で微分可能で、$\psi'(s)=\xi\bigl(F'(x_0)^{-1}(F'(x+s(y-x))-F'(x))(y-x)\bigr)$ は (b) により $s$ について連続、かつ $\lvert\psi'(s)\rvert\le Ks\|y-x\|^2$ である。微積分学の基本定理 により $\|r\|=\psi(1)-\psi(0)=\int_0^1\psi'(s)\,ds\le\frac K2\|y-x\|^2$ である。$\square$
$X,Y$ を実 Banach 空間、$D\subset X$ を開集合、$F\colon D\to Y$ を Fréchet 微分可能、$x_0\in D$ とし、仮定 (a)〜(e) が成り立つとする。$(t_k)$ を優数列とする。
$\eta=0$ なら (a)(c) から $F(x_0)=0$ で、$x_k=x_0=x^*$、$t_k=t^*=0$ となり 1、2 は明らかである。3 は、下の段 3 で $t_k=0$ とおいた議論がそのまま使える($t^{**}=2/K$ で、$d_{k+1}\le\frac K2d_k^2=(d_k/t^{**})^2t^{**}$)。以下 $\eta>0$ とし、lem-nk-scalar を使う。
段 1(点列が定義され、優数列で押さえられる) $k\ge0$ について「$x_0,\ldots,x_{k+1}$ が定義され、$j\le k$ で $\|x_{j+1}-x_j\|\le t_{j+1}-t_j$」を帰納法で示す。$k=0$:$F'(x_0)$ は正則で $\|x_1-x_0\|=\|F'(x_0)^{-1}F(x_0)\|\le\eta=t_1-t_0$ である($p(0)=\eta$、$p'(0)=-1$ から $t_1=\eta$)。
$k-1$ まで成り立つとする($k\ge1$)。三角不等式で $\|x_k-x_0\|\le\sum_{j< k}(t_{j+1}-t_j)=t_k< t^*$ なので $x_k\in\overline B(x_0,t^*)\subset D$ で、$K\|x_k-x_0\|\le Kt_k<1$ である。lem-nk-tools の 1 により $F'(x_k)$ は正則で
$$
\|F'(x_k)^{-1}F'(x_0)\|\le\frac1{1-Kt_k}=\frac1{-p'(t_k)}
$$
である。$x_k$ の定め方から $F(x_{k-1})+F'(x_{k-1})(x_k-x_{k-1})=0$ なので
$$
F(x_k)=F(x_k)-F(x_{k-1})-F'(x_{k-1})(x_k-x_{k-1})
$$
であり、$x_{k-1},x_k$ を結ぶ線分は凸集合 $\overline B(x_0,t^*)$ に入るから、lem-nk-tools の 2 と lem-nk-scalar の 3 により
$$
\|F'(x_0)^{-1}F(x_k)\|\le\frac K2\|x_k-x_{k-1}\|^2\le\frac K2(t_k-t_{k-1})^2=p(t_k)
$$
である。したがって $x_{k+1}$ が定まり、
$$
\|x_{k+1}-x_k\|=\bigl\|F'(x_k)^{-1}F'(x_0)\cdot F'(x_0)^{-1}F(x_k)\bigr\|\le\frac{p(t_k)}{-p'(t_k)}=t_{k+1}-t_k
$$
となる。これで 1 が示された。
段 2(収束と零点) $m>k$ なら $\|x_m-x_k\|\le t_m-t_k$ で、$(t_k)$ は収束するので $(x_k)$ は Cauchy列 であり、$X$ の完備性から極限 $x^*$ をもつ。$m\to\infty$ として $\|x^*-x_k\|\le t^*-t_k$、とくに $\|x^*-x_0\|\le t^*$ である。段 1 の評価から $\|F'(x_0)^{-1}F(x_k)\|\le p(t_k)\to p(t^*)=0$ で、$F$ は連続だから $F'(x_0)^{-1}F(x^*)=0$、$F'(x_0)^{-1}$ は単射なので $F(x^*)=0$ である。
段 3(一意性) $y\in\overline B(x_0,\rho)$ が $F(y)=0$ を満たすとする($h=\frac12$ では $\rho:=t^*$)。$d_k:=\|y-x_k\|$ とおく。$F(y)=0$ から
$$
y-x_{k+1}=y-x_k+F'(x_k)^{-1}F(x_k)=-F'(x_k)^{-1}F'(x_0)\cdot F'(x_0)^{-1}\bigl(F(y)-F(x_k)-F'(x_k)(y-x_k)\bigr)
$$
であり、$x_k,y$ を結ぶ線分は凸集合 $\overline B(x_0,\rho)\subset D$ に入るので、lem-nk-tools と lem-nk-scalar の 2 から
$$
d_{k+1}\le\frac{K\,d_k^2}{2(1-Kt_k)}=\Bigl(\frac{d_k}{t^{**}-t_k}\Bigr)^2(t^{**}-t_{k+1})
$$
である。$r_k:=d_k/(t^{**}-t_k)$ とおくと $r_{k+1}\le r_k^2$ である。$h<\frac12$ なら $r_0=d_0/t^{**}\le\rho/t^{**}<1$ なので $r_k\to0$ で、$d_k\le r_kt^{**}\to0$ である。$h=\frac12$ なら $r_0\le t^*/t^{**}=1$ なので $r_k\le1$ で、$d_k\le t^{**}-t_k=t^*-t_k\to0$ である。どちらでも $x_k\to y$ となり、極限の一意性から $y=x^*$ である。$\square$
(a) の下で $\|F'(x_0)^{-1}\|\le\beta$、すべての $x,y\in D$ で $\|F'(x)-F'(y)\|\le L\|x-y\|$($L>0$)、$\|F'(x_0)^{-1}F(x_0)\|\le\eta$、$\beta L\eta\le\frac12$、$\overline B(x_0,t^*)\subset D$($K=\beta L$ で $t^*$ を計算する)なら、thm-nk-main の結論が成り立つ。
$\|F'(x_0)^{-1}(F'(x)-F'(y))\|\le\|F'(x_0)^{-1}\|\|F'(x)-F'(y)\|\le\beta L\|x-y\|$ なので (b) が $K=\beta L$ で成り立つ。$\square$
この定理の内容は、優関数 $p$ が「$F$ の最悪の場合」を表していることにある。実際、$X=Y=\mathbb R$、$F=p$、$x_0=0$ とすると (a)〜(e) が成り立ち、(b)(c) は等号になり、Newton 法の点列は優数列そのもので、零点は $t^*$ と $t^{**}$ である。したがって $t^*$(存在の半径)と $t^{**}$(一意性の半径)はどちらもこれ以上よくできない(ex-nk-sqrt2 も参照)。
零点 $x^*$ で $F'(x^*)$ が正則で、$F'$ が Lipschitz 連続なら、$x_0$ を $x^*$ に近づけると $\eta=\|F'(x_0)^{-1}F(x_0)\|\to0$ となり、$F'(x_0)^{-1}$ のノルムは有界にとどまるので、いずれ $h\le\frac12$ が成り立ち、$t^*\le2\eta$ も小さくなる。こうして thm-nk-main から、Newton法 の定理「多変数のNewton法の局所2次収束」と同じ型の局所収束(零点の十分近くから出発すれば収束すること)を導くこともできる。逆向きに、局所収束の定理からは零点の存在は出てこない。
方程式 $F(x)=0$ の近似解 $x_0$ が手元にあるとき、その近くに本当に解があることを確かめる手順:
問い:$F(x)=x^2-2$($D=\mathbb R$)、$x_0=\frac32$ で定理を当てる。
使う公式:thm-nk-main、lem-nk-scalar。
答え:$F'(\frac32)=3$、$\frac13\lvert F'(x)-F'(y)\rvert=\frac23\lvert x-y\rvert$ から $K=\frac23$、$\eta=\frac{1/4}3=\frac1{12}$、$h=\frac1{18}$ である。
$$
t^*=\frac32\Bigl(1-\sqrt{\tfrac89}\Bigr)=\frac32-\sqrt2=0.085786\ldots,\qquad t^{**}=\frac32+\sqrt2=2.914213\ldots
$$
なので、$[\sqrt2,\,3-\sqrt2]$ に解があり、$\rho< t^{**}$ について $[\frac32-\rho,\frac32+\rho]$ の中の解はそれだけである。解 $\sqrt2$ は存在の区間の端に、もう 1 つの解 $-\sqrt2=\frac32-t^{**}$ は一意性の区間の端にある。どちらの半径もこれ以上大きくも小さくもできない。さらに Newton 法の誤差 $\lvert x_k-\sqrt2\rvert$ は $t^*-t_k$ に等しい($k=1,2,3$ で $2.45\times10^{-3}$、$2.12\times10^{-6}$、$1.59\times10^{-12}$)。
$F(\frac32-t)=\frac94-3t+t^2-2=3\bigl(\frac13t^2-t+\frac1{12}\bigr)=3p(t)$、$F'(\frac32-t)=-3p'(t)$ である。よって $x_k=\frac32-t_k$ とおくと Newton 法の漸化式は優数列の漸化式と一致し、$x_k=\frac32-t_k$、$x_k-\sqrt2=t^*-t_k$ である。
問い:$F(x)=x-\cos x$($D=\mathbb R$)、$x_0=0.75$ で定理を当てる。
答え:$F'(x)=1+\sin x$、$F'(0.75)=1.6816387\ldots$。$\lvert\sin x-\sin y\rvert\le\lvert x-y\rvert$ から $K=1/F'(0.75)=0.5946580\ldots$、$\eta=\lvert0.75-\cos0.75\rvert/F'(0.75)=0.0108889\ldots$、$h=0.0064751\ldots$ で、$t^*=0.0109243\ldots$、$t^{**}=3.3523\ldots$ である。したがって $[0.7390756,\ 0.7609244]$ に解があり、$(-2.6023,\ 4.1023)$ の中の解はそれだけである。実際の解は $0.7390851332\ldots$ で、$x_0$ との距離 $0.0109149$ は $t^*$ 以下である。Newton 法の誤差の上界は $t^*-t_1=3.55\times10^{-5}$、$t^*-t_2=3.77\times10^{-10}$ である。
問い:$F(x,y)=(x^2+y^2-1,\ y-x^2)$($D=\mathbb R^2$、Euclid ノルム)、$x_0=(0.8,\,0.6)$ で定理を当てる。
答え:$F(x_0)=(0,\,-0.04)$、$F'(x_0)=\begin{pmatrix}1.6&1.2\\-1.6&1\end{pmatrix}$、$\eta=\frac1{44}=0.022727\ldots$、$K=\frac54$、$h=\frac5{176}=0.028409\ldots$ で、$t^*=0.0230596\ldots$、$t^{**}=1.57694\ldots$ である。$x_0$ から $0.02306$ 以内に解があり、半径 $1.5769$ 未満の閉円板の中ではそれだけである。実際の解 $(0.78615137\ldots,\ 0.61803398\ldots)$ との距離は $0.0227378\ldots$ である。Newton 法の誤差は $k=1,2,3$ で $2.59\times10^{-4}$、$3.62\times10^{-8}$、$8.0\times10^{-16}$ で、上界 $t^*-t_k=3.32\times10^{-4}$、$7.11\times10^{-8}$、$3.25\times10^{-15}$ 以下である。
$\det F'(x_0)=3.52$、$F'(x_0)^{-1}=\frac1{3.52}\begin{pmatrix}1&-1.2\\1.6&1.6\end{pmatrix}$ で、$v=F'(x_0)^{-1}F(x_0)=\frac1{3.52}(0.048,\,-0.064)$、$\eta=\|v\|=\frac{0.08}{3.52}=\frac1{44}$ である。2 点 $u,w\in\mathbb R^2$ について $(a,b):=u-w$ とおくと $F'(u)-F'(w)=\begin{pmatrix}2a&2b\\-2a&0\end{pmatrix}$ で、$F'(x_0)^{-1}(F'(u)-F'(w))=\frac1{3.52}\begin{pmatrix}4.4a&2b\\0&3.2b\end{pmatrix}$ である。作用素ノルムは Frobenius ノルム以下なので、2 乗して $\frac{19.36a^2+14.24b^2}{12.3904}\le\frac{19.36}{12.3904}(a^2+b^2)=\frac{25}{16}(a^2+b^2)$ となり、$K=\frac54$ ととれる。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| (d) $h\le\frac12$ | $F(x)=x^2+c$($c>0$)、$x_0=1$、$D=\mathbb R$ | $K=1$、$\eta=\frac{1+c}2$、$h=\frac{1+c}2>\frac12$ で、実数の零点がない(2 の結論が崩れる) |
| (e) $\overline B(x_0,t^*)\subset D$ | $F(x)=x^2-1$、$D=(1.2,\infty)$、$x_0=2$ | $K=\frac12$、$\eta=\frac34$、$h=\frac38$、$t^*=1$ だが $\overline B(2,1)=[1,3]\not\subset D$。$x_1=1.25$、$x_2=1.025\notin D$ で点列が $D$ の中で定義されず、$D$ に零点もない |
| (a) $F'(x_0)$ が正則 | $F(x)=x^2+1$、$x_0=0$ | $F'(0)=0$ で $x_1$ が定まらず、実数の零点もない |
1 行目で $c=0$ とすると $h=\frac12$、$t^*=t^{**}=1$ で、零点 $0$ は $x_0=1$ からちょうど $t^*$ の距離にある。条件 $h\le\frac12$ がわずかでも破れると結論が崩れうることを示している。2 行目の $F$ を $D=\mathbb R$ で考えれば零点 $1$ は $x_0$ からちょうど $t^*$ の距離にあり、(e) の半径 $t^*$ も削れない。
| 誤り | 正しくは | なぜ |
|---|---|---|
| $h>\frac12$ なら零点はないとする | $h\le\frac12$ は十分条件にすぎない。$F(x)=\arctan x$、$D=\mathbb R$、$x_0=1.5$ では $h\approx6.7$ だが零点 $0$ がある(ただし Newton 法は発散する) | Newton法 の注意「反例:収束しない初期値と2次収束しない零点」 |
| $t^*$ を誤差の目安にすぎないと考える | $\Vert x^*-x_0\Vert \le t^*$、$\Vert x^*-x_k\Vert \le t^*-t_k$ は厳密な不等式 | thm-nk-main |
| $K$ に $F'$ の Lipschitz 定数 $L$ をそのまま使う | (b) の $K$ は $F'(x_0)^{-1}$ をかけた量。$K=\beta L$ ととれる | cor-nk-classical |
| 一意性は $\overline B(x_0,t^*)$ の中でしか言えないとする | $h<\frac12$ なら、$D$ に含まれる半径 $t^{**}$ 未満の閉球まで言える | thm-nk-main の 3 |
| 浮動小数点数で計算した $h$ で厳密な存在証明とする | 丸め誤差を上から押さえた $\eta,K$ を使う | 計算の手順 |
1 行目の数値:$F'(x)=\frac1{1+x^2}$、$\lvert F''(x)\rvert=\frac{2\lvert x\rvert}{(1+x^2)^2}\le\frac{3\sqrt3}8$ なので $K=\frac{3\sqrt3}8\cdot3.25=2.11\ldots$、$\eta=3.25\arctan1.5=3.19\ldots$ である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する