劣微分

同義語：subdifferential

概要

前提知識: 凸関数, Fenchel共役, Hahn–Banachの定理, ノルム空間

絶対値関数 $\varphi(x)=|x|$ は $x=0$ で微分できない。しかし、原点を通る直線 $y=px$ のうち傾き $p$ が $-1\le p\le1$ のものは、どれもグラフ $y=|x|$ の下にあり、原点でグラフに接している。微分できる凸関数では、グラフに下から接する直線はその点の接線ただ 1 本であり、その傾きが微分係数である。微分できない点では下から接する直線が何本もあり、その傾き全体 $[-1,1]$ が微分係数の代わりになる。
この「下から接するアフィン関数の傾き」を 劣勾配、その全体を 劣微分 という。劣微分は微分できない凸関数の最適化で導関数の役を果たす。凸関数が点 $x$ で最小になることは、$0$ が $x$ での劣微分に入ることと同値である。また、劣勾配 $f$ は Fenchel–Youngの不等式 $\langle f,x\rangle\le\varphi(x)+\varphi^*(f)$ を等号にする $f$ にほかならず、Fenchel共役と表裏の関係にある。
この記事では、実ノルム空間上の関数の劣微分を定義し、開区間上で有限な 1 変数の凸関数では劣微分が左右の微分係数のあいだの閉区間になることを示す。劣微分が閉凸集合であること、単調性、Fenchel–Young の等号による特徴づけを証明する。主定理として、凸関数が連続になる点では劣微分が空でなく有界であり、方向微分が劣勾配の最大値で表されることを Hahn–Banachの定理から証明する。ノルム・指示関数・積分で定まる汎関数の劣微分を計算し、条件を外した反例を挙げる。

定義

以下、$E$ を実数体上のノルム空間、$E^*$ をその連続双対とし、$f\in E^*$ の $x\in E$ での値を $\langle f,x\rangle$、双対ノルムを $\|f\|_*:=\sup_{\|x\|\le1}\langle f,x\rangle$ と書く。関数は値 $+\infty$ を許し $-\infty$ を許さない $\varphi\colon E\to(-\infty,+\infty]$ とし、有効定義域 $D(\varphi)=\{x\mid\varphi(x)< +\infty\}$、真の関数、共役 $\varphi^*$ は Fenchel共役の定義「有効定義域と真の関数」「Fenchel 共役」のとおりとする。凸関数の定義は凸関数の定義「凸関数と凹関数」を $(-\infty,+\infty]$ 値の関数にそのまま使う。

劣勾配と劣微分

$\varphi\colon E\to(-\infty,+\infty]$ を真の関数、$x\in D(\varphi)$ とする。$f\in E^*$ が
$$ \varphi(y)\ge\varphi(x)+\langle f,y-x\rangle\qquad(y\in E) $$
を満たすとき、$f$ を $\varphi$ の $x$ での 劣勾配（subgradient）という。劣勾配全体の集合 $\partial\varphi(x)\subset E^*$ を $\varphi$ の $x$ での 劣微分（subdifferential）という。$x\notin D(\varphi)$ では $\partial\varphi(x):=\emptyset$ と定める。$\partial\varphi(x)\neq\emptyset$ のとき $\varphi$ は $x$ で 劣微分可能 であるといい、$D(\partial\varphi):=\{x\in E\mid\partial\varphi(x)\neq\emptyset\}$ とおく。

定義から $D(\partial\varphi)\subset D(\varphi)$ である。この定義は Bre11 Problem 2（p. 436）の劣微分と同じである（同書は $\varphi$ を凸と仮定して定義している）。
幾何学的には、$f\in\partial\varphi(x)$ は、連続アフィン関数 $y\mapsto\varphi(x)+\langle f,y-x\rangle$ が $\varphi$ の下にあり、点 $x$ で $\varphi$ に接することを表す。$E\times\mathbb{R}$ で言えば、エピグラフ $\{(y,\lambda)\mid\varphi(y)\le\lambda\}$ を点 $(x,\varphi(x))$ で支える閉超平面のうち、鉛直でないものの傾きが劣勾配である。

1 変数の場合

$\mathbb{R}$ 上の関数では $E^*=\mathbb{R}$（$p\in\mathbb{R}$ を汎関数 $x\mapsto px$ と同一視する）であり、劣勾配は下から接する直線の傾きである。開区間 $I$ 上の凸関数 $g$ と $u\neq v$（$u,v\in I$）について、弦の傾きを $s(u,v):=\dfrac{g(v)-g(u)}{v-u}$ と書く。凸関数の定理「開区間上の凸関数の連続性と片側微分」により、各 $x\in I$ で右微分係数 $g'_+(x)$ と左微分係数 $g'_-(x)$ が実数として存在し、$g'_-(x)\le g'_+(x)$ である。

1 変数の凸関数の劣微分

$I$ を開区間、$g\colon I\to\mathbb{R}$ を凸関数とし、$\varphi$ を $I$ 上で $g$、$I$ の外で $+\infty$ と定めた $\mathbb{R}$ 上の関数とする。このとき $x\in I$ について
$$ \partial\varphi(x)=[\,g'_-(x),\,g'_+(x)\,] $$
である。とくに $g$ が $x$ で微分可能なら $\partial\varphi(x)=\{g'(x)\}$ である。

$y\notin I$ では $\varphi(y)=+\infty$ なので、劣勾配の不等式は $y\in I$ についてだけ確かめればよい。$y\in I$、$y>x$ のとき、$g(y)\ge g(x)+p(y-x)$ は $y-x>0$ で割って $p\le s(x,y)$ と同値である。$y< x$ のときは $y-x< 0$ で割ると不等号が逆になり、$p\ge s(x,y)$ と同値である。よって
$$ p\in\partial\varphi(x)\iff\sup_{y\in I,\,y< x}s(x,y)\le p\le\inf_{y\in I,\,y>x}s(x,y). $$
凸関数の命題「凸関数の傾きの単調性」の 3 により $y\mapsto s(x,y)$ は $I\setminus\{x\}$ 上で単調増加である。したがって $y>x$ についての下限は $y\downarrow x$ での極限 $g'_+(x)$ に等しく、$y< x$ についての上限は $y\uparrow x$ での極限 $g'_-(x)$ に等しい。よって $\partial\varphi(x)=[g'_-(x),g'_+(x)]$ である。微分可能なら $g'_-(x)=g'_+(x)=g'(x)$ である。$\square$

たとえば $\varphi(x)=|x|$ では、$x>0$ で $\partial\varphi(x)=\{1\}$、$x< 0$ で $\{-1\}$、$x=0$ で $[-1,1]$ である。$\varphi(x)=\max\{x,0\}$ では $\partial\varphi(0)=[0,1]$ である。

基本性質

劣微分の基本性質

$\varphi\colon E\to(-\infty,+\infty]$ を真の関数とする。

各 $x\in E$ で $\partial\varphi(x)$ は $E^*$ の閉凸集合である。
（Fermat の規則）$x\in E$ について、$\varphi(x)=\min_{y\in E}\varphi(y)$ であることと $0\in\partial\varphi(x)$ は同値である。
（単調性）$f_1\in\partial\varphi(x_1)$、$f_2\in\partial\varphi(x_2)$ なら $\langle f_1-f_2,x_1-x_2\rangle\ge0$ である。
（Fenchel–Youngの不等式の等号）$x\in E$、$f\in E^*$ について、$f\in\partial\varphi(x)$ であることと $\varphi(x)+\varphi^*(f)=\langle f,x\rangle$ は同値である。
$\varphi$ が凸かつ下半連続なら、$f\in\partial\varphi(x)$ であることと、すべての $g\in E^*$ について $\varphi^*(g)\ge\varphi^*(f)+\langle g-f,x\rangle$ が成り立つことは同値である。

1 は $\partial\varphi(x)$ を閉じた半空間の共通部分として書けばよく、2・3 は定義の不等式を読み替える・足し合わせるだけである。4 は劣勾配の不等式が $\varphi^*(f)\le\langle f,x\rangle-\varphi(x)$ と同じであることによる。5 は 4 と Fenchel–Moreauの定理の $\varphi^{**}=\varphi$ を組み合わせる。

詳細

1：$x\notin D(\varphi)$ なら空集合で、閉凸である。$x\in D(\varphi)$ なら$$\partial\varphi(x)=\bigcap_{y\in D(\varphi)}\bigl\{f\in E^*\ \big|\ \langle f,y-x\rangle\le\varphi(y)-\varphi(x)\bigr\}$$である（$y\notin D(\varphi)$ の不等式はつねに成り立つ）。$f\mapsto\langle f,y-x\rangle$ は $|\langle f-g,y-x\rangle|\le\|f-g\|_*\|y-x\|$ により $E^*$ 上で連続な線形汎関数なので、右辺の各集合は閉じた半空間であり、閉凸である。閉凸集合の共通部分は閉凸である。

2：$x$ で最小になるなら $\varphi(x)$ は有限で（$\varphi$ は真）、$\varphi(y)\ge\varphi(x)+\langle0,y-x\rangle$ がすべての $y$ で成り立つ。逆も同じ不等式を読めばよい。

3：$x_1,x_2\in D(\varphi)$ なので $\varphi(x_1)$、$\varphi(x_2)$ は有限であり、$\varphi(x_2)\ge\varphi(x_1)+\langle f_1,x_2-x_1\rangle$ と $\varphi(x_1)\ge\varphi(x_2)+\langle f_2,x_1-x_2\rangle$ を足すと $0\ge\langle f_1-f_2,x_2-x_1\rangle$ を得る。

4：$\varphi^*(f)>-\infty$ なので左辺の和は定まる。$x\notin D(\varphi)$ なら左辺は $+\infty$ で等号は成り立たず、$\partial\varphi(x)=\emptyset$ なので同値である。$x\in D(\varphi)$ なら、$f\in\partial\varphi(x)$ は「すべての $y$ で $\langle f,y\rangle-\varphi(y)\le\langle f,x\rangle-\varphi(x)$」と書き直せ、これは $\varphi^*(f)\le\langle f,x\rangle-\varphi(x)$ と同値である。逆向きの不等式は Fenchel–Young の不等式（Fenchel共役の定理「共役の基本性質」の 2）なので、等号と同値である。

5：$f\in\partial\varphi(x)$ とすると、4 により $\varphi^*(f)=\langle f,x\rangle-\varphi(x)$ は有限で、任意の $g$ について Fenchel–Young の不等式から $\varphi^*(g)\ge\langle g,x\rangle-\varphi(x)=\varphi^*(f)+\langle g-f,x\rangle$ である。逆に右の条件を仮定する。Fenchel–Moreauの定理により $\varphi^*$ は真であり、$\varphi^*(f)=+\infty$ なら条件からすべての $g$ で $\varphi^*(g)=+\infty$ となって矛盾するので、$\varphi^*(f)$ は有限である。条件を $\langle g,x\rangle-\varphi^*(g)\le\langle f,x\rangle-\varphi^*(f)$ と書き直して $g$ について上限をとると $\varphi^{**}(x)\le\langle f,x\rangle-\varphi^*(f)$ である。Fenchel–Moreauの定理により $\varphi^{**}=\varphi$ なので $\varphi(x)+\varphi^*(f)\le\langle f,x\rangle$ となり、Fenchel–Young の不等式と合わせて等号が成り立つ。4 により $f\in\partial\varphi(x)$ である。$\square$

1 で $\partial\varphi(x)$ は弱スター位相でも閉である（$f\mapsto\langle f,y-x\rangle$ は弱スター位相で連続なので）。3 は、集合値写像 $x\mapsto\partial\varphi(x)$ が単調であること、すなわちグラフの任意の 2 点で単調作用素の定義「単調作用素」の不等式を満たすことを表す。1 変数では、劣微分が単調増加な「多価の導関数」になることにあたる。5 は、$E$ を $E^{**}$ の部分空間とみなせば「$x$ は $\varphi^*$ の $f$ での劣勾配である」と読める。すなわち凸で下半連続な真の関数では、劣微分の対応 $x\mapsto\partial\varphi(x)$ を逆向きに読んだものが、$E$ の元に限れば $\varphi^*$ の劣微分になる（$E$ が反射的でないときは、$\varphi^*$ の劣勾配に $E$ の外の $E^{**}$ の元も現れうる）。たとえば $\varphi(x)=\frac{|x|^p}{p}$（$1< p< \infty$）では $\partial\varphi(x)=\{\operatorname{sgn}(x)|x|^{p-1}\}$ であり、逆対応は共役 $\frac{|s|^{p'}}{p'}$ の導関数 $\operatorname{sgn}(s)|s|^{p'-1}$ である（Fenchel共役の例「冪関数の共役と Young の不等式」）。

方向微分と連続点での劣微分

劣微分が空でないことは自明ではない（下の「条件を外した反例」）。凸関数が連続になる点では空でないことを、方向微分を経由して示す。

凸関数の方向微分

$\varphi\colon E\to(-\infty,+\infty]$ を凸な真の関数、$x\in D(\varphi)$、$y\in E$ とし、$t>0$ について
$$ h_y(t):=\frac{\varphi(x+ty)-\varphi(x)}{t}\in(-\infty,+\infty] $$
とおく。

$h_y$ は $(0,\infty)$ 上で単調増加である。したがって 方向微分 $\varphi'(x;y):=\lim_{t\downarrow0}h_y(t)=\inf_{t>0}h_y(t)$ が $[-\infty,+\infty]$ に存在し、$\varphi'(x;y)\le\varphi(x+y)-\varphi(x)$ である。
$\lambda>0$ について $\varphi'(x;\lambda y)=\lambda\varphi'(x;y)$ である。
$f\in\partial\varphi(x)$ なら $\langle f,y\rangle\le\varphi'(x;y)$ である。

1 は $x+sy$ を $x$ と $x+ty$ の凸結合で書けば差分商の比較になり、2 は変数の置き換え、3 は劣勾配の不等式を $x+ty$ で使って $t$ で割ればよい。

詳細

1：$0< s< t$ とすると $x+sy=(1-\frac st)x+\frac st(x+ty)$ なので、凸性から $\varphi(x+sy)\le(1-\frac st)\varphi(x)+\frac st\varphi(x+ty)$ である（$\varphi(x+ty)=+\infty$ なら $h_y(t)=+\infty$ で $h_y(s)\le h_y(t)$ は自明）。両辺から $\varphi(x)$ を引いて $s$ で割ると $h_y(s)\le h_y(t)$ を得る。単調増加な関数の $t\downarrow0$ での極限は下限に等しい。最後の不等式は $t=1$ の値と比べたものである。

2：$s=\lambda t$ とおくと $h_{\lambda y}(t)=\lambda h_y(\lambda t)$ であり、$t\downarrow0$ とすればよい。

3：$t>0$ について劣勾配の不等式を $x+ty$ で使うと $\varphi(x+ty)-\varphi(x)\ge t\langle f,y\rangle$、すなわち $h_y(t)\ge\langle f,y\rangle$ であり、$t\downarrow0$ とすればよい。$\square$

1 の単調性は Bre11 Exercise 1.25 の 1（p. 28）にある。1 変数では $\varphi'(x;1)=g'_+(x)$、$\varphi'(x;-1)=-g'_-(x)$ であり、prop-sd-one-variable の区間の両端が方向微分になっている。次の定理はこれを一般のノルム空間に広げる。

連続点での劣微分

$\varphi\colon E\to(-\infty,+\infty]$ を凸関数、$x_0\in D(\varphi)$ とし、$\varphi$ は $x_0$ で連続であるとする。$R>0$、$M\in\mathbb{R}$ を $\|x-x_0\|\le R$ なら $\varphi(x)\le M$ となるようにとる。このとき次が成り立つ。

$\partial\varphi(x_0)$ は空でなく、すべての $f\in\partial\varphi(x_0)$ について $\|f\|_*\le\dfrac{M-\varphi(x_0)}{R}$ である。
すべての $y\in E$ について $\varphi'(x_0;y)$ は実数であり、
$$ \varphi'(x_0;y)=\max_{f\in\partial\varphi(x_0)}\langle f,y\rangle $$
である（右辺の最大値は達成される）。

$\varphi$ が $x_0$ で連続で $\varphi(x_0)$ が有限なら、$\varphi(x_0)+1$ を $M$ として、そのような $R$ がとれる。したがって $R$、$M$ は定理の仮定を増やすものではない。

$C:=\dfrac{M-\varphi(x_0)}{R}$ とおく（$x=x_0$ を入れて $M\ge\varphi(x_0)$ なので $C\ge0$）。$q(y):=\varphi'(x_0;y)$ とおき、lem-sd-directional の記号 $h_y$ を $x=x_0$ で使う。
段 1：$q$ は有限で $|q(y)|\le C\|y\|$ を満たす。 $q(0)=0$ である。$y\neq0$ とし、$t_0:=R/\|y\|$ とおく。$\|t_0y\|=R$ なので $\varphi(x_0+t_0y)\le M$ であり、lem-sd-directional の 1 から
$$ q(y)\le h_y(t_0)\le\frac{M-\varphi(x_0)}{t_0}=C\|y\|. $$
下からの評価のため $0< t\le t_0$ をとる。$x_0=\frac12(x_0+ty)+\frac12(x_0-ty)$ と凸性から $2\varphi(x_0)\le\varphi(x_0+ty)+\varphi(x_0-ty)$ であり、右辺の 2 項は球の中の点の値なので有限である。整理すると $h_y(t)\ge-h_{-y}(t)$ となり、単調性から $h_{-y}(t)\le h_{-y}(t_0)\le C\|y\|$ なので $h_y(t)\ge-C\|y\|$ である。$t\downarrow0$ として $q(y)\ge-C\|y\|$ を得る。
段 2：$q$ は劣線形である。 正の斉次性は lem-sd-directional の 2 である。$y,z\in E$ と $t>0$ について、$x_0+t(y+z)=\frac12(x_0+2ty)+\frac12(x_0+2tz)$ と凸性から
$$ \varphi(x_0+t(y+z))-\varphi(x_0)\le\tfrac12\bigl(\varphi(x_0+2ty)-\varphi(x_0)\bigr)+\tfrac12\bigl(\varphi(x_0+2tz)-\varphi(x_0)\bigr) $$
であり、$t$ で割ると $h_{y+z}(t)\le h_y(2t)+h_z(2t)$ である。$t\downarrow0$ とすると、値はどれも有限なので $q(y+z)\le q(y)+q(z)$ を得る。よって $q$ は Hahn–Banachの定理の定義「劣線形汎関数」の意味で劣線形である。
段 3：最大値を与える劣勾配の構成。 $y\in E$ を固定し、$G:=\{sy\mid s\in\mathbb{R}\}$ 上の線形汎関数 $\ell(sy):=s\,q(y)$ を考える（$y=0$ なら $\ell=0$）。劣線形性から $q(y)+q(-y)\ge q(0)=0$ なので、$s< 0$ でも $\ell(sy)=-|s|q(y)\le|s|q(-y)=q(sy)$ であり、$s\ge0$ では $\ell(sy)=q(sy)$ である。よって $G$ 上で $\ell\le q$ である。Hahn–Banachの定理の定理「Hahn–Banachの定理（解析形）」により、$E$ 上の線形汎関数 $f$ で、$G$ 上で $f=\ell$、$E$ 上で $f\le q$ となるものがある。段 1 から $f(z)\le C\|z\|$、$-f(z)=f(-z)\le C\|z\|$ なので $|f(z)|\le C\|z\|$ であり、$f\in E^*$ である。さらに lem-sd-directional の 1 から、すべての $z$ で
$$ \langle f,z\rangle\le q(z)\le\varphi(x_0+z)-\varphi(x_0) $$
なので $f\in\partial\varphi(x_0)$ であり、$\langle f,y\rangle=\ell(y)=q(y)$ である。
結論。 段 3 から $\partial\varphi(x_0)\neq\emptyset$ である。任意の $f\in\partial\varphi(x_0)$ は lem-sd-directional の 3 と段 1 により $\langle f,z\rangle\le q(z)\le C\|z\|$ をすべての $z$ で満たすので、$\|f\|_*\le C$ である。同じく lem-sd-directional の 3 から $\sup_{f\in\partial\varphi(x_0)}\langle f,y\rangle\le q(y)$ であり、段 3 の $f$ で等号が達成される。$\square$

この定理は Bre11 Problem 2 の B の 1・2・5（pp. 437–438）に問題として挙げられている。B の 1 には $E\times\mathbb{R}$ で Hahn–Banach の定理を使うヒントが付いているが、ここでは方向微分を劣線形関数として解析形の Hahn–Banach の定理に渡した。この証明は 2 の最大値の公式を同時に与える。連続な凸関数 $\varphi=\frac12\|\cdot\|^2$ に当てはめると、方向微分 $\varphi'(x;y)$ はノルムの 2 乗の右方向微分（上半内積）$[x,y]_+$ であり、$\partial\varphi(x)$ は双対写像の値 $F(x)$ に等しい（ex-sd-norm のあとの段落）ので、2 の公式は半内積(ノルムの方向微分) の定理「半内積の最大値・最小値表示」の最大値の式になる。
方向微分が線形なら劣勾配はただ 1 つに決まり、逆も連続点では成り立つ。

微分可能性と劣微分

$\varphi\colon E\to(-\infty,+\infty]$ を凸な真の関数、$x\in D(\varphi)$ とする。

ある $A\in E^*$ について、すべての $y$ で $\varphi'(x;y)=\langle A,y\rangle$ が成り立つ（$\varphi$ が $x$ で Gâteaux 微分可能で、その微分が $A$ である）なら、$\partial\varphi(x)=\{A\}$ である。
$\varphi$ が $x$ で連続で $\partial\varphi(x)$ がただ 1 点 $\{A\}$ からなるなら、すべての $y$ で $\varphi'(x;y)=\langle A,y\rangle$ である。

1 は lem-sd-directional の 1 と 3 を $y$ と $-y$ に使い、2 は thm-sd-continuity の 2 の最大値の公式で最大をとる集合が 1 点の場合である。

詳細

1：lem-sd-directional の 1 から $\langle A,y\rangle=\varphi'(x;y)\le\varphi(x+y)-\varphi(x)$ なので $A\in\partial\varphi(x)$ である。$f\in\partial\varphi(x)$ なら、同じ補題の 3 から $\langle f,y\rangle\le\langle A,y\rangle$ がすべての $y$ で成り立ち、$y$ を $-y$ に替えると逆向きの不等式も得られるので $f=A$ である。2：thm-sd-continuity の 2 の最大値の公式で、最大をとる集合が 1 点の場合である。$\square$

$E$ が実 Hilbert 空間（内積 $(\cdot,\cdot)$）で $\varphi(x)=\frac12\|x\|^2$ なら、$\varphi'(x;y)=\lim_{t\downarrow0}\bigl((x,y)+\frac t2\|y\|^2\bigr)=(x,y)$ なので、内積で $E^*$ を $E$ と同一視して $\partial\varphi(x)=\{x\}$ である。

例

ノルムの劣微分

$\varphi(x)=\|x\|$ とし、$B_*:=\{f\in E^*\mid\|f\|_*\le1\}$ とおく。このとき
$$ \partial\varphi(0)=B_*,\qquad\partial\varphi(x)=\bigl\{f\in E^*\ \big|\ \|f\|_*=1,\ \langle f,x\rangle=\|x\|\bigr\}\quad(x\neq0) $$
である。実際、Fenchel共役の例「ノルムの共役」により $\varphi^*$ は $B_*$ の指示関数（$B_*$ 上で $0$、外で $+\infty$）なので、prop-sd-basic の 4 から $f\in\partial\varphi(x)$ は「$\|f\|_*\le1$ かつ $\langle f,x\rangle=\|x\|$」と同値である。$x\neq0$ なら $\|x\|=\langle f,x\rangle\le\|f\|_*\|x\|$ から $\|f\|_*\ge1$ となり、$\|f\|_*=1$ である。$\varphi$ は連続なので thm-sd-continuity によりこの集合は空でない。$E=\mathbb{R}^n$（Euclid ノルム）なら $x\neq0$ で $\partial\varphi(x)=\{x/\|x\|\}$ であり、$\varphi$ は $x\neq0$ で微分可能である。

ノルムの 2 乗の半分 $\psi=\frac12\|\cdot\|^2$ では、$\partial\psi(x)$ は $\|f\|_*=\|x\|$ かつ $\langle f,x\rangle=\|x\|^2$ を満たす $f\in E^*$ 全体、すなわち双対写像の値 $F(x)$ である（双対写像(Banach空間) の定理「双対写像の基本性質」の 4）。

指示関数と法錐

空でない凸集合 $K\subset E$ の指示関数 $I_K$（$K$ 上で $0$、外で $+\infty$）について、$x\in K$ なら
$$ \partial I_K(x)=N_K(x):=\bigl\{f\in E^*\ \big|\ \langle f,y-x\rangle\le0\ \ (y\in K)\bigr\} $$
である。定義の不等式 $I_K(y)\ge\langle f,y-x\rangle$ は $y\notin K$ では自明で、$y\in K$ では $0\ge\langle f,y-x\rangle$ となるからである。$N_K(x)$ を $K$ の $x$ での法錐という。$x$ が $K$ の内点なら $N_K(x)=\{0\}$ であり、$K=M$ が線形部分空間なら $N_M(x)=M^\perp:=\{f\mid\langle f,y\rangle=0\ (y\in M)\}$ である。
$\psi\colon E\to\mathbb{R}$ を凸で連続な関数とすると、$\psi$ を $K$ の上で最小にする問題は $\psi+I_K$ の最小化であり、Fermat の規則（prop-sd-basic の 2）と下の和の公式から、$x\in K$ が最小点であることは $0\in\partial\psi(x)+N_K(x)$ と同値である。$\psi$ が $x$ で Gâteaux 微分可能でその微分が $A$ なら、cor-sd-gateaux によりこれは「すべての $y\in K$ で $\langle A,y-x\rangle\ge0$」という変分不等式になる。

次の例は、関数空間の上の凸汎関数の劣微分が各点の劣微分で決まることを示す。$(\Omega,\mu)$ を測度空間、$1\le p< \infty$、$\frac1p+\frac1{p'}=1$ とし、$f\in L^{p'}(\Omega)$ を Hölderの不等式により $L^p(\Omega)$ 上の連続線形汎関数 $v\mapsto\int_\Omega fv\,d\mu$ とみなす。

積分で定まる凸汎関数の劣微分

$\mu(\Omega)< \infty$、$1\le p< \infty$ とし、$j\colon\mathbb{R}\to\mathbb{R}$ を凸関数とする。$u\in L^p(\Omega)$ について、$j(u)\in L^1(\Omega)$ なら $J(u):=\int_\Omega j(u)\,d\mu$、そうでなければ $J(u):=+\infty$ と定める。このとき $u\in L^p(\Omega)$、$f\in L^{p'}(\Omega)$ について
$$ f\in\partial J(u)\iff\text{ほとんどすべての }\omega\in\Omega\text{ で }f(\omega)\in\partial j(u(\omega)) $$
である。ここで左辺の劣微分は $L^p(\Omega)$ 上の関数 $J$ のもの、右辺は $\mathbb{R}$ 上の関数 $j$ のものである。

$j$ は実数値の凸関数なので凸関数の定理「開区間上の凸関数の連続性と片側微分」により連続であり、$j(u)$ は可測である。また prop-sd-one-variable により $a\in\partial j(0)$ がとれ、$j(t)\ge j(0)+at$ なので $j(u)$ の負の部分は可積分である（$\mu(\Omega)< \infty$ から $u\in L^1$）。$J$ は $L^p(\Omega)$ 上の $(-\infty,+\infty]$ 値の真の関数である（$J(0)=j(0)\mu(\Omega)$）。

$\Leftarrow$ は各点の不等式を積分すればよい。$\Rightarrow$ は $u$ を可測集合の上だけ定数 $r$ に置き換えた関数で劣勾配の不等式を試し、各点の不等式を取り出す。

詳細

$\mu(\Omega)< \infty$ と Hölderの不等式から、$f\in L^{p'}$ と $v\in L^p$ について $f\in L^1$、$fv\in L^1$ である。

$\Leftarrow$：$\omega$ を例外の零集合の外にとると、すべての $t\in\mathbb{R}$ で $j(t)\ge j(u(\omega))+f(\omega)(t-u(\omega))$ である。$t=0$ とすると $j(u)\le j(0)+fu$ であり、上の $a$ について $j(u)\ge j(0)+au$ なので、$j(u)$ は 2 つの可積分関数にはさまれて $J(u)$ は有限である。$v\in L^p$ について $j(v)\ge j(u)+f(v-u)$ がほとんどいたるところで成り立ち、右辺は可積分である。$j(v)\in L^1$ なら積分して $J(v)\ge J(u)+\int f(v-u)$ であり、そうでなければ $J(v)=+\infty$ で不等式は自明である。よって $f\in\partial J(u)$ である。

$\Rightarrow$：$f\in\partial J(u)$ なら $J(u)$ は有限で、$j(u)\in L^1$ である。$r\in\mathbb{R}$ と可測集合 $A\subset\Omega$ をとり、$A$ の上で $r$、$A$ の外で $u$ に等しい関数を $v$ とする。$v\in L^p$ で、$j(v)=j(r)\mathbf 1_A+j(u)\mathbf 1_{\Omega\setminus A}$ は可積分である。劣勾配の不等式 $J(v)\ge J(u)+\int f(v-u)$ を書き直すと$$\int_A\Bigl(j(r)-j(u)-f\,(r-u)\Bigr)d\mu\ge0$$であり、被積分関数 $k_r$ は可積分である。$A:=\{k_r< 0\}$ ととると、負の関数の積分が $0$ 以上になるので $\mu(A)=0$ である。有理数 $r$ ごとの零集合を合わせた零集合の外では、すべての有理数 $r$ について $j(r)\ge j(u(\omega))+f(\omega)(r-u(\omega))$ であり、$j$ の連続性からすべての実数 $r$ で成り立つ。これは $f(\omega)\in\partial j(u(\omega))$ を意味する。$\square$

この主張は Bre11 Exercise 4.10 の 4（p. 120）に演習として挙げられている。同じ演習の 1–3 は $J$ の凸性・下半連続性と共役 $J^*$ の計算を問うもので、この記事では扱わない。たとえば $j(t)=|t|$、$p=1$ なら、$f\in\partial J(u)$ は「$\|f\|_\infty\le1$ で、$u\neq0$ の所では $f=\operatorname{sgn}u$」と同値である。

和の公式

凸関数の和の劣微分は、各関数の劣微分の和を含む。等号には連続性の条件が要る。集合の和は $A+B:=\{a+b\mid a\in A,\ b\in B\}$ で、一方が空なら空とする。

劣微分の和

$\varphi,\psi\colon E\to(-\infty,+\infty]$ を真の関数で $D(\varphi)\cap D(\psi)\neq\emptyset$ とする。

すべての $x$ で $\partial\varphi(x)+\partial\psi(x)\subset\partial(\varphi+\psi)(x)$ である。
$\varphi$、$\psi$ が凸で、ある $x_0\in D(\varphi)\cap D(\psi)$ で $\varphi$ が連続なら、すべての $x$ で等号が成り立つ。

1：$f\in\partial\varphi(x)$、$g\in\partial\psi(x)$ なら $x\in D(\varphi)\cap D(\psi)$ であり、2 つの劣勾配の不等式を足すと、すべての $y$ で $\varphi(y)+\psi(y)\ge\varphi(x)+\psi(x)+\langle f+g,y-x\rangle$ となる。よって $f+g\in\partial(\varphi+\psi)(x)$ である。2 は Fenchel–Rockafellarの双対定理の系「劣微分の和の公式」であり、この記事では証明しない。$\square$

2 の証明は双対定理を使う（Bre11 Problem 2 の A の 5、B の 6、pp. 437–438 に問題として挙げられている）。連続性の条件を外すと、2 の等号は成り立たないことがある（次の表の 4 行目）。

条件を外した反例

外す条件	反例	成り立たなくなること
thm-sd-continuity の「$x_0$ で連続」	$\mathbb{R}$ 上で $x\ge0$ なら $\varphi(x)=-\sqrt x$、$x< 0$ なら $+\infty$、$x_0=0$	$\varphi$ は凸で下半連続、$0\in D(\varphi)$ だが $\partial\varphi(0)=\emptyset$ であり、$\varphi'(0;1)=-\infty$
thm-sd-continuity の凸性	$\mathbb{R}$ 上の $\varphi(x)=-x^2$	至る所で連続かつ微分可能だが、どの点でも $\partial\varphi(x)=\emptyset$
cor-sd-gateaux の 1 の微分可能性	$\mathbb{R}$ 上の $\varphi(x)=\lvert x\rvert$、$x=0$	$\partial\varphi(0)=[-1,1]$ は 1 点でない
prop-sd-sum の 2 の連続点	$\mathbb{R}^2$ で $K_1$ を中心 $(0,1)$・半径 $1$ の閉円板、$K_2$ を横軸 $\{x_2=0\}$ とし、$\varphi=I_{K_1}$、$\psi=I_{K_2}$、$x=0$	$\partial\varphi(0)+\partial\psi(0)$ は縦軸 $\{(0,t)\}$ だが、$\partial(\varphi+\psi)(0)=\mathbb{R}^2$

表の反例の確かめ

1 行目と 2 行目は不等式の比較で、4 行目は法錐の計算で確かめる。

詳細

1 行目：$-\sqrt x$ は $[0,\infty)$ 上で 2 階微分が正なので凸で、外を $+\infty$ としても凸である。$\{x\mid\varphi(x)\le c\}$ は $c\ge0$ なら $[0,\infty)$、$c< 0$ なら $[c^2,\infty)$ で閉なので下半連続である。$0$ の左側で $+\infty$ なので $0$ で連続でない。$f\in\partial\varphi(0)$ なら、すべての $y>0$ で $-\sqrt y\ge fy$、すなわち $f\le-1/\sqrt y$ であるが、$y\downarrow0$ で右辺は $-\infty$ に発散するので、そのような実数 $f$ はない。また $h_1(t)=-1/\sqrt t\to-\infty$ である。

2 行目：$f,x\in\mathbb{R}$ を固定すると、$y\to\infty$ で $-y^2-(-x^2+f(y-x))\to-\infty$ なので、劣勾配の不等式 $-y^2\ge-x^2+f(y-x)$ はどこかの $y$ で破れる。とくに微分係数 $-2x$ は劣勾配でなく、prop-sd-one-variable の結論も凸性なしでは成り立たない。

3 行目は prop-sd-one-variable から従う。

4 行目：$K_1\cap K_2=\{0\}$ なので $\varphi+\psi=I_{\{0\}}$ であり、その $0$ での劣微分は $\mathbb{R}^2$ 全体である。$f=(f_1,f_2)$ について $\sup_{y\in K_1}\langle f,y\rangle=f_2+\sqrt{f_1^2+f_2^2}$（中心での値に半径と $|f|$ の積を足したもの）なので、$N_{K_1}(0)$ の条件 $f_2+\sqrt{f_1^2+f_2^2}\le0$ は $f_1=0$ かつ $f_2\le0$ と同値である。$N_{K_2}(0)=K_2^\perp=\{(0,t)\mid t\in\mathbb{R}\}$ なので、和は縦軸である。$\varphi$ は $K_1$ の外で $+\infty$、$K_1$ の境界の点では近くに $+\infty$ の点があり、$\varphi$ は $D(\varphi)\cap D(\psi)=\{0\}$ で連続でない。$\psi$ も同様である。

参考文献

[1]

Haim Brezis, Functional Analysis, Sobolev Spaces and Partial Differential Equations, Springer, 2011, Exercise 1.25（p. 28、方向差分商の単調性）、Exercise 4.10（p. 120、積分で定まる凸汎関数）、Problem 2（pp. 436–438、劣微分の定義と性質）

Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。支援について／寄付する

劣微分

劣微分

概要

定義