勾配(gradient)とは、内積空間の開集合で全微分可能な実数値関数 $f$ について、各点 $p$ の微分を $Df(p)h=\langle\nabla f(p),h\rangle$ と表すただ一つのベクトル $\nabla f(p)$ のことであり、標準内積では偏導関数を並べたベクトルになる。勾配は内積を選んで初めて決まり、内積 $h^{\mathsf T}Gk$ では $G^{-1}\nabla f$ に、Riemann 多様体の局所座標では $\sum g^{ij}\partial_jf\,\partial_i$ になる。$\nabla f(p)\ne0$ なら、勾配の向きは方向微分を最大にするただ一つの単位ベクトルの向きで、$f$ が一定の値をとる曲線の速度と直交する。空でない閉集合からの距離は、集合の外で全微分可能な点では長さ $1$ の勾配をもつ。
勾配(gradient)とは、微分可能な実数値関数 $f$ の各点 $p$ で、微分(線形写像 $h\mapsto Df(p)h$)を内積で $Df(p)h=\langle\nabla f(p),h\rangle$ と表すただ一つのベクトル $\nabla f(p)$ のことである。$\mathbb{R}^n$ の標準内積では、偏導関数を並べたベクトル
$$
\nabla f(p)=\Bigl(\frac{\partial f}{\partial x_1}(p),\dots,\frac{\partial f}{\partial x_n}(p)\Bigr)
$$
になる。$\operatorname{grad}f$ とも書き、各点に勾配を対応させるベクトル場を 勾配ベクトル場 という。
勾配は $f$ が最も速く増える向きを指し、その長さが増える速さであり、等位集合に直交する。これらの性質の $\mathbb{R}^n$ での証明は 方向微分 の注意「勾配は最も急な増加の方向」と 等位集合 の定理「勾配は等位集合に直交する」にある。勾配の線積分が端点の値の差になることと、ベクトル場が勾配であるための条件は 線積分 が扱う。この記事では、勾配が 内積を選んで初めて決まる ことを中心に、内積や座標を取り替えたときの変換則、極座標や Riemann 多様体での表示、計算の規則(行列の関数を含む)、閉集合からの距離の勾配の長さが $1$ であることを証明する。
$V$ を有限次元の実内積空間、$U\subset V$ を開集合とする($V=\mathbb{R}^n$ に標準内積 $\langle h,k\rangle=h\cdot k$ を入れた場合が基本である)。
$f\colon U\to\mathbb{R}$ が $p\in U$ で全微分可能(全微分)であるとき、すべての $h\in V$ について
$$
Df(p)h=\langle\nabla f(p),h\rangle
$$
を満たすベクトル $\nabla f(p)\in V$ を、$f$ の $p$ での 勾配 という。$f$ が $U$ の各点で全微分可能なとき、写像 $\nabla f\colon U\to V$ を $f$ の 勾配ベクトル場 という。
1:一意性:$\langle a,h\rangle=\langle b,h\rangle$ がすべての $h$ で成り立てば、$h=a-b$ として $\|a-b\|^2=0$ である。存在:$a:=\sum_iDf(p)e_i\,e_i$ とおくと、$h=\sum_ih_ie_i$ について $\langle a,h\rangle=\sum_ih_iDf(p)e_i=Df(p)h$ である。2:標準基底は正規直交で、$Df(p)e_i=\partial f/\partial x_i(p)$ である。3:方向微分 の命題「全微分可能な関数の方向微分の公式」により $D_uf(p)=Df(p)u$ である。$\square$
成分の表示 2 は Rud76 p. 217 の勾配の定義 (34) と同じで、そこでは曲線 $\gamma$ に沿う合成の微分が $\frac{d}{dt}f(\gamma(t))=\nabla f(\gamma(t))\cdot\gamma'(t)$ と書かれている。偏導関数がすべて存在するだけで全微分可能でない点でも、偏導関数を並べたベクトルを勾配とよぶことがある(方向微分 の記事はその用法をとる)。その場合は 3 が成り立たないことがある(下の反例の表)。
微分 $Df(p)$ は内積によらないが、勾配は内積を変えると変わる。
$U\subset\mathbb{R}^n$ を開集合、$f\colon U\to\mathbb{R}$ を $p$ で全微分可能とし、$\nabla f(p)$ を標準内積での勾配とする。
1:$\langle G^{-1}\nabla f(p),h\rangle_G=(G^{-1}\nabla f(p))^{\mathsf T}Gh=\nabla f(p)^{\mathsf T}h=Df(p)h$ で、一意性(prop-gr-basic の 1)から従う。2:連鎖律 により $D\tilde f(q)h=Df(p)Ah=\nabla f(p)^{\mathsf T}Ah=(A^{\mathsf T}\nabla f(p))^{\mathsf T}h$ である。$A\nabla\tilde f(q)=AA^{\mathsf T}\nabla f(p)$ なので、これがすべての値の $\nabla f(p)$(線形関数 $f$ を選べば任意のベクトル)について $\nabla f(p)$ に等しいのは $AA^{\mathsf T}=I$ のときに限る。$\square$
2 は、座標を斜めに取り直すと「偏導関数を並べたベクトル」が図形として別の向きを指すことを示している。微分(行ベクトル)は $Df(p)\mapsto Df(p)A$ と自然に変換されるが、それをベクトルに直すには内積が要る。1 の内積の下では、勾配の性質は内積を $\langle\ ,\ \rangle_G$ に取り替えて同じように成り立つ。
$V$ を有限次元の実内積空間、$f$ を $p$ で全微分可能、$\nabla f(p)\ne0$ とする。$\|u\|=1$ の $u$ のうち $D_uf(p)$ を最大にするものは $u=\nabla f(p)/\|\nabla f(p)\|$ だけで、最大値は $\|\nabla f(p)\|$ である。また $p$ を通り $f$ が一定の値をとる曲線 $\gamma$($t=0$ で微分可能、$\gamma(0)=p$)について $\langle\nabla f(p),\gamma'(0)\rangle=0$ である。
$D_uf(p)=\langle\nabla f(p),u\rangle\le\|\nabla f(p)\|$ で、等号は $u$ が $\nabla f(p)$ の正の数倍のときに限る(Cauchy–Schwarzの不等式)。後半は $f(\gamma(t))$ が定数なので $0=\frac{d}{dt}f(\gamma(t))\big|_{t=0}=Df(p)\gamma'(0)=\langle\nabla f(p),\gamma'(0)\rangle$ による。$\square$
$\mathbb{R}^2$ の $f(x,y)=x+y$ では標準内積で $\nabla f=(1,1)$ である。$G=\operatorname{diag}(1,4)$($\langle h,k\rangle_G=h_1k_1+4h_2k_2$、$y$ 方向の長さを 2 倍に測る)では $\nabla_Gf=(1,\tfrac14)$ である。等位線 $x+y=c$ の向き $(1,-1)$ とは $\langle(1,\tfrac14),(1,-1)\rangle_G=1-1=0$ で $G$ の意味で直交するが、標準内積では $1-\tfrac14\ne0$ で直交しない。$y$ 方向に動くのが「高くつく」内積では、最も効率よく増える向きは $x$ 寄りに傾く。
各点で内積が変わる場合が Riemann 多様体(Riemann多様体)である。$(M,g)$ を Riemann 多様体、$f\colon M\to\mathbb{R}$ を $C^1$ 級とする。各点 $q$ で def-gr-main を接空間 $T_qM$ と内積 $g_q$ に当て、$df_q(X)=g_q(\operatorname{grad}f|_q,X)$($X\in T_qM$)で $\operatorname{grad}f|_q\in T_qM$ を定める。これが Riemann 多様体の上の勾配である(LeeR18 (2.14)、p. 27)。
局所座標 $(x^1,\dots,x^n)$ で計量を $g=\sum_{i,j}g_{ij}\,dx^i\,dx^j$、その逆行列を $(g^{ij})$ と書くと
$$
\operatorname{grad}f=\sum_{i,j}g^{ij}\frac{\partial f}{\partial x^j}\frac{\partial}{\partial x^i},\qquad g(\operatorname{grad}f,\operatorname{grad}f)=\sum_{i,j}g^{ij}\frac{\partial f}{\partial x^i}\frac{\partial f}{\partial x^j}
$$
である。とくに、$\mathbb{R}^n$ の開集合の座標 $x=\Phi(u)$($\Phi$ は $C^1$ 級微分同相写像)で Euclid 計量を表すと $g_{ij}=\partial_i\Phi\cdot\partial_j\Phi$ であり、この式で計算した $\operatorname{grad}(f\circ\Phi)$ を $D\Phi$ で写したものは、標準内積での $\nabla f$ に一致する。
$\operatorname{grad}f=\sum_iY^i\partial_i$ とおくと、$g(\operatorname{grad}f,\partial_k)=\sum_iY^ig_{ik}$ が $df(\partial_k)=\partial_kf$ に等しい。$(g_{ik})$ は正則なので $Y^i=\sum_jg^{ij}\partial_jf$ である。長さの式は $\sum_{i,k}g_{ik}Y^iY^k=\sum_kY^k\partial_kf$ による。後半:$J:=D\Phi(u)$ とおくと、Euclid 計量の係数行列は $J^{\mathsf T}J$ で、prop-gr-change の 2 と同じ計算で $\nabla_u(f\circ\Phi)=J^{\mathsf T}\nabla f$ だから $J(J^{\mathsf T}J)^{-1}J^{\mathsf T}\nabla f=\nabla f$($J$ は正則)である。$\square$
局所表示の第 1 式は LeeR18 p. 27 にある。正規直交な枠では勾配の成分は $df$ の成分と同じだが、一般の座標ではそうならない。
$U\subset\mathbb{R}^n$ を開集合、$f,g\colon U\to\mathbb{R}$ を $p$ で全微分可能とする。
1・2・3 は全微分の和・積・合成の規則(全微分、連鎖律)を $Df(p)h=\nabla f(p)\cdot h$ で読み替えたものである。たとえば 3 は $D(f\circ F)(q)h=Df(p)DF(q)h=\nabla f(p)\cdot DF(q)h=DF(q)^{\mathsf T}\nabla f(p)\cdot h$ による。4:$\langle a,x+h\rangle-\langle a,x\rangle=a\cdot h$。$\frac12(x+h)^{\mathsf T}A(x+h)-\frac12x^{\mathsf T}Ax=\frac12(x^{\mathsf T}Ah+h^{\mathsf T}Ax)+\frac12h^{\mathsf T}Ah$ で、1 次の部分は $\frac12(A+A^{\mathsf T})x\cdot h$、残りは $O(\lvert h\rvert^2)$ である。$\lvert x\rvert^s=\varphi(\lvert x\rvert^2)$、$\varphi(t)=t^{s/2}$ に 2 と前の式($A=I$ で $\nabla\lvert x\rvert^2=2x$)を使う。最後は 3 を $F(x)=Bx-b$、$f(y)=\frac12\lvert y\rvert^2$ に使う。$\square$
4 の最後の式から、$\frac12\lvert Bx-b\rvert^2$ を最小にする $x$ は正規方程式 $B^{\mathsf T}Bx=B^{\mathsf T}b$ を満たす(最小二乗法)。全微分可能な関数の勾配は、内部の極値点で $0$ になるからである:$p$ が $f$ の極値点なら $t\mapsto f(p+th)$ は $t=0$ で極値をとり、$Df(p)h=0$ がすべての $h$ で成り立つ。勾配が $0$ になる点を臨界点という(臨界点)。等式制約のもとの極値では、勾配が制約の勾配の 1 次結合になる(Lagrangeの未定乗数法)。
内積をもつ行列の空間でも勾配が使える。
$n$ 次正方行列の空間に内積 $\langle X,Y\rangle:=\operatorname{tr}(X^{\mathsf T}Y)=\sum_{i,j}X_{ij}Y_{ij}$ を入れる。
閉集合からの距離は、微分できる点では長さ $1$ の勾配をもつ。これは幾何光学の方程式 $\lvert\nabla u\rvert=1$(アイコナール方程式)の基本例である。
$K\subset\mathbb{R}^n$ を空でない閉集合とし、$d(x):=\inf_{y\in K}\lvert x-y\rvert$ とおく。
1:$y\in K$ について $d(x)\le\lvert x-y\rvert\le\lvert x-x'\rvert+\lvert x'-y\rvert$ で、$y$ について下限をとると $d(x)\le\lvert x-x'\rvert+d(x')$ である。$x,x'$ を入れ替えて前半を得る。$d$ が $x$ で全微分可能で $v:=\nabla d(x)\ne0$ なら、$t>0$ について $d(x+tv)-d(x)\le t\lvert v\rvert$ を $t$ で割って $t\to+0$ とすると $\lvert v\rvert^2=Dd(x)v\le\lvert v\rvert$、すなわち $\lvert v\rvert\le1$ である。
2:$y_0\in K$ を 1 つとると、$K\cap\{y\mid\lvert x-y\rvert\le\lvert x-y_0\rvert\}$ は空でない有界閉集合、すなわちコンパクトで、その上で連続関数 $y\mapsto\lvert x-y\rvert$ は最小値をとる。この最小値が $d(x)$ である。
3:$y$ を最も近い点とし、$\rho:=\lvert x-y\rvert=d(x)>0$($x\notin K$ で $K$ は閉)、$0\le t\le1$ について $x_t:=x+t(y-x)$ とおく。$y\in K$ なので $d(x_t)\le\lvert x_t-y\rvert=(1-t)\rho$ であり、1 により $d(x_t)\ge d(x)-\lvert x_t-x\rvert=\rho-t\rho$ である。よって $d(x_t)=\rho-t\rho$ で、$t\to+0$ の微分係数をとると $Dd(x)(y-x)=-\rho$、すなわち $u:=(y-x)/\rho$ について $\langle\nabla d(x),u\rangle=-1$ である。$\lvert u\rvert=1$、$\lvert\nabla d(x)\rvert\le1$ なので、Cauchy–Schwarzの不等式 の等号の場合から $\nabla d(x)=-u=(x-y)/\rho$ で、$\lvert\nabla d(x)\rvert=1$ である。最も近い点が 2 つ $y,y'$ あれば $(x-y)/\rho=(x-y')/\rho$ となり $y=y'$ である。$\square$
$U\subset\mathbb{R}^n$ を開集合とする。ベクトル場 $F\colon U\to\mathbb{R}^n$ が $C^1$ 級の関数 $f$ の勾配 $F=\nabla f$ であるとき、$f$ を $F$ のポテンシャルという(物理では $-f$ をポテンシャルとよぶことが多い)。次のことが知られており、それぞれ別の記事で証明されている。
| 外す条件 | 反例 | 成り立たなくなる結論 |
|---|---|---|
| $f$ が $p$ で全微分可能(prop-gr-basic の 3) | $f(x,y)=\dfrac{x^3}{x^2+y^2}$($f(0,0)=0$)、$p=0$、偏導関数を並べた $(1,0)$ | $D_uf(p)=\langle\nabla f(p),u\rangle$ |
| 勾配と直交性を同じ内積で測る(thm-gr-steepest) | ex-gr-inner-product の $\nabla_Gf=(1,\tfrac14)$ と標準内積 | 勾配は等位線の速度と直交する |
| $x\notin K$(thm-gr-distance の 3) | $K=[-1,1]\subset\mathbb{R}$、$x=0$ | $\lvert\nabla d(x)\rvert=1$ |
| $d$ が $x$ で全微分可能(thm-gr-distance の 3) | $K=\{-1,1\}\subset\mathbb{R}$、$x=0$ | 最も近い点はただ一つ |
| 極値点が定義域の内点 | $[0,1]$ 上の $f(x)=x$、最小値の点 $0$ | 極値点で勾配が $0$ |
各行で、外した条件のほかは満たされていることも確かめる。
1 行目:$f(x,0)=x$、$f(0,y)=0$ なので偏導関数は $(1,0)$ である。$u=(1,1)/\sqrt2$ では $f(tu)=t^3/(2\sqrt2\,t^2)=t/(2\sqrt2)$ なので $D_uf(0)=1/(2\sqrt2)$ だが、$(1,0)\cdot u=1/\sqrt2$ である。$f$ は $0$ で全微分可能でない(全微分可能なら 3 が成り立つ)。
2 行目:$\nabla_Gf$ は $\langle\ ,\ \rangle_G$ での勾配として正しく、等位線の向き $(1,-1)$ と $G$ の意味で直交するが、標準内積の値は $\tfrac34\ne0$ である。
3 行目:$K$ は空でない閉集合で、$\lvert x\rvert< 1$ では $d=0$ なので $d$ は $0$ で全微分可能、$\nabla d(0)=0$ である。
4 行目:$x=0\notin K$ で、最も近い点は $\pm1$ の 2 つである。$d(x)=1-\lvert x\rvert$ は $0$ で微分可能でない。
5 行目:$f$ は $C^\infty$ 級で、$0$ で最小値をとるが $f'(0)=1$ である。$0$ は $[0,1]$ の内点でない。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する