Hesse行列

$H:=H_f(a)$ とおく。$\varepsilon>0$ とする。$r_0>0$ を、$f$ が $B(a,r_0)\subset U$ の各点で全微分可能となるようにとり、$\delta\in(0,r_0]$ を、$\|v\|< \delta$ なら
$$ \nabla f(a+v)=\nabla f(a)+Hv+R(v),\qquad\|R(v)\|\le\varepsilon\|v\| $$
となるようにとる（$\nabla f$ の $a$ での全微分可能性）。$\|h\|,\|k\|< \delta/2$ について 2 重差分
$$ \Delta(h,k):=f(a+h+k)-f(a+h)-f(a+k)+f(a) $$
を考える。これは $h$ と $k$ について対称である。$g(t):=f(a+th+k)-f(a+th)$（$0\le t\le1$）とおくと、現れる点はすべて $B(a,\delta)$ に入り、連鎖律 により $g$ は微分可能で $g'(t)=\nabla f(a+th+k)\cdot h-\nabla f(a+th)\cdot h$ である。平均値の定理 により $0< \theta< 1$ で $\Delta(h,k)=g(1)-g(0)=g'(\theta)$ となるものがあり、上の展開を代入すると
$$ \Delta(h,k)=\bigl(H(\theta h+k)\bigr)\cdot h-(H\theta h)\cdot h+\bigl(R(\theta h+k)-R(\theta h)\bigr)\cdot h=h^{\top}Hk+e $$
で、$|e|\le\varepsilon\bigl(\|\theta h+k\|+\|\theta h\|\bigr)\|h\|\le\varepsilon(2\|h\|+\|k\|)\|h\|$ である。
$0< s<\delta/2$ として $h=se_i$、$k=se_j$（$e_i$ は第 $i$ 単位ベクトル）とすると、$h^{\top}Hk=s^2H_{ij}$ なので $|\Delta(se_i,se_j)-s^2H_{ij}|\le3\varepsilon s^2$ である。$i,j$ を入れ替えた式と $\Delta(se_i,se_j)=\Delta(se_j,se_i)$ から $s^2|H_{ij}-H_{ji}|\le6\varepsilon s^2$、すなわち $|H_{ij}-H_{ji}|\le6\varepsilon$ を得る。$\varepsilon>0$ は任意なので $H_{ij}=H_{ji}$ である。$\square$

$H:=H_f(a)$ とし、$\varepsilon,r_0,\delta,R$ を prf-hs-symmetric と同じにとる。$\|h\|< \delta$ について $g(h):=f(a+h)-f(a)-\nabla f(a)\cdot h-\frac12h^{\top}Hh$ とおく。$H$ は対称なので $\frac12v^{\top}Hv$ の勾配は $Hv$ であり、$\nabla g(v)=\nabla f(a+v)-\nabla f(a)-Hv=R(v)$ である。$\psi(t):=g(th)$ に 平均値の定理 を使うと、$0< \theta< 1$ で
$$ |g(h)|=|\psi(1)-\psi(0)|=|R(\theta h)\cdot h|\le\varepsilon\|\theta h\|\,\|h\|\le\varepsilon\|h\|^2 $$
である。$\varepsilon$ は任意なので $g(h)=o(\|h\|^2)$ である。$\square$

連鎖律 により $\partial_\alpha(f\circ\varphi)=\sum_k(\partial_kf\circ\varphi)\,\partial_\alpha\varphi_k$ である。これを $y_\beta$ で微分すると、積の微分と連鎖律により
$$ \partial_\beta\partial_\alpha(f\circ\varphi)=\sum_{k,l}(\partial_l\partial_kf\circ\varphi)\,\partial_\beta\varphi_l\,\partial_\alpha\varphi_k+\sum_k(\partial_kf\circ\varphi)\,\partial_\beta\partial_\alpha\varphi_k $$
である。$b$ で評価すると、第 1 項は $J^{\top}H_f(a)J$ の $(\alpha,\beta)$ 成分 $\sum_{k,l}J_{k\alpha}(H_f(a))_{kl}J_{l\beta}$（$H_f(a)$ の対称性を使う）、第 2 項は $\sum_k\partial_kf(a)(H_{\varphi_k}(b))_{\alpha\beta}$ である。1 では $H_{\varphi_k}=0$、2 では $\partial_kf(a)=0$ なので第 2 項が消える。2 の後半：$J$ が正則なので $J^{\top}H_f(a)J$ と $H_f(a)$ の階数は等しい。2 次形式 $u\mapsto u^{\top}H_f(a)u$ を変数変換 $u=Jw$ で書き直したものが $w^{\top}J^{\top}H_f(a)Jw$ なので、2次形式 の記事の定理「実2次形式の係数の符号の不変性」（Sylvester の慣性法則）と同じ記事の定理「実対称行列の主軸定理」により、正・負の固有値の個数も等しい。$\square$

$x\in U$、$v\in\mathbb{R}^n$ について $I:=\{t\in\mathbb{R}\mid x+tv\in U\}$ とおくと、$U$ が凸な開集合なので $I$ は $0$ を含む開区間であり、$\psi(t):=f(x+tv)$ は $I$ 上で $C^2$ 級である。連鎖律 を 2 回使うと $\psi'(t)=\sum_i\partial_if(x+tv)v_i$、$\psi''(t)=\sum_{i,j}\partial_j\partial_if(x+tv)v_iv_j=v^{\top}H_f(x+tv)v$ である。
1 の「ならば」：$f$ が凸なら、$s\in[0,1]$、$t_1,t_2\in I$ について
$$ \psi\bigl((1-s)t_1+st_2\bigr)=f\bigl((1-s)(x+t_1v)+s(x+t_2v)\bigr)\le(1-s)\psi(t_1)+s\psi(t_2) $$
なので $\psi$ は凸関数である。凸関数 の記事の系「2階導関数による判定」の 1 により $\psi''(0)=v^{\top}H_f(x)v\ge0$ である。$x,v$ は任意なので $H_f(x)$ は半正定値である。
1 の「逆」と 2：$x,y\in U$ とし、$v:=y-x$ とすると $[0,1]\subset I$ である。$H_f$ が至るところ半正定値なら $\psi''\ge0$ なので、同じ系の 1 により $\psi$ は $I$ 上の凸関数であり、$f((1-s)x+sy)=\psi(s)\le(1-s)\psi(0)+s\psi(1)=(1-s)f(x)+sf(y)$ である。$H_f$ が至るところ正定値で $x\ne y$ なら、$v\ne0$ なので $\psi''>0$ であり、系の 2 により $\psi$ は狭義凸関数なので、$0< s< 1$ で上の不等号は狭義になる。$\square$

$\varphi_v'(t)=\nabla f(a+tv)\cdot v$ であり、$\nabla f$ の $a$ での全微分可能性から $\frac{\varphi_v'(t)-\varphi_v'(0)}{t}=\frac{(H_f(a)tv+R(tv))\cdot v}{t}\to v^{\top}H_f(a)v$（$\|R(w)\|=o(\|w\|)$）なので、1 つ目の式を得る。直交行列 $P$ で $P^{\top}H_f(a)P=\operatorname{diag}(\lambda_1,\dots,\lambda_n)$ とし、$w:=P^{\top}v$ とおくと $\|w\|=1$ で $v^{\top}H_f(a)v=\sum_i\lambda_iw_i^2$ である。$\sum_iw_i^2=1$ なので $\lambda_1\le\sum_i\lambda_iw_i^2\le\lambda_n$ であり、$w=e_1$、$w=e_n$ で等号が成り立つ。$\square$