Fenchel共役
概要
Fenchel共役（Fenchel conjugate）とは、実ノルム空間 $E$ 上の $(-\infty,+\infty]$ 値関数 $\varphi$ に、連続双対 $E^*$ 上の関数 $\varphi^*(f)=\sup_{x}(\langle f,x\rangle-\varphi(x))$ を対応させる操作で、$-\varphi^*(f)$ は傾き $f$ のアフィン関数を下から当てたときの最高の切片である。共役は元の関数の形によらず凸で下半連続になり、Fenchel–Young の不等式 $\langle f,x\rangle\le\varphi(x)+\varphi^*(f)$ が成り立つ。微分できる凸関数では共役は勾配の方程式を解いて計算でき、1 変数では共役の導関数が導関数の逆関数になる Legendre 変換に一致し、冪関数の場合から Young の不等式が得られる。
放物線 $y=x^2$ に傾き $p$ の直線 $y=px-c$ を下から当てることを考える。直線がグラフの下にあるための条件は、すべての $x$ で $px-c\le x^2$、すなわち $c\ge px-x^2$ である。右辺の最大値は $x=p/2$ のときの $p^2/4$ なので、グラフに下から接する直線は $y=px-p^2/4$ であり、その切片は $-p^2/4$ である。傾き $p$ ごとに「下から当てた直線の切片の符号を変えたもの」
$$
f^*(p)=\sup_{x}\bigl(px-f(x)\bigr)
$$
を対応させる操作を Fenchel 共役（凸共役）という。$f(x)=x^2$ なら $f^*(p)=p^2/4$ である。
凸関数のグラフは、そのグラフに下から接する直線（接線）の族で決まる。Fenchel 共役は、この接線の族を「傾き $\mapsto$ 切片」という関数として記録したものである。微分できる凸関数では、傾き $p$ の接線は $f'(x)=p$ となる点 $x$ で接し、$f^*(p)=px-f(x)$ を $p$ の関数に書き直したものは古典的な Legendre 変換 と呼ばれる。Fenchel 共役は、微分できない関数や $+\infty$ をとる関数にも同じ定義を広げたものであり、凸解析・最適化の双対理論・解析力学・熱力学の基本的な道具である。
この記事では、実ノルム空間上の関数の共役を定義し、共役がつねに凸で下半連続になること、Fenchel–Young の不等式、微分できる場合に共役が Legendre 変換の式で計算でき、1 変数では共役の導関数が導関数の逆関数になることを証明する。冪関数・指数関数・ノルム・指示関数の共役を計算し、冪関数の場合から古典的な Young の不等式を導く。共役を 2 回とると元の関数に戻るための条件は Fenchel–Moreauの定理 の主題であり、この記事では結果の紹介にとどめる。
定義
以下、$E$ を実数体上のノルム空間、$E^*$ をその連続双対（$E$ 上の連続線形汎関数全体）とし、$f\in E^*$ の $x\in E$ での値を $\langle f,x\rangle$ と書く。$E^*$ には双対ノルム $\|f\|_*:=\sup_{\|x\|\le1}\langle f,x\rangle$ を入れる。$E=\mathbb{R}^n$（Euclid 内積）のときは、$y\in\mathbb{R}^n$ を線形汎関数 $x\mapsto y\cdot x$ と同一視して $E^*=\mathbb{R}^n$ とみなす。
関数は値 $+\infty$ をとってよいが $-\infty$ はとらないものとし、$\varphi\colon E\to(-\infty,+\infty]$ と書く。拡大実数の演算は、実数 $a$ について $a+(+\infty)=+\infty$、$a-(+\infty)=-\infty$、$t>0$ について $t\cdot(+\infty)=+\infty$ とし、$(+\infty)-(+\infty)$ は使わない。
$\varphi\colon E\to(-\infty,+\infty]$ について、$D(\varphi):=\{x\in E\mid\varphi(x)< +\infty\}$ を $\varphi$ の 有効定義域 という。$D(\varphi)\neq\emptyset$、すなわち $\varphi\not\equiv+\infty$ のとき、$\varphi$ は 真（proper）であるという。
区間 $I$ 上の実数値関数 $f$ は、$I$ の外で $+\infty$ と定めれば $\mathbb{R}$ 全体の上の $(-\infty,+\infty]$ 値関数になる。凸関数の定義（凸関数 の定義「凸関数と凹関数」）は、$0< t< 1$ について $\varphi((1-t)x+ty)\le(1-t)\varphi(x)+t\varphi(y)$ という形で $(-\infty,+\infty]$ 値関数にもそのまま使える。$I$ 上の凸関数を外で $+\infty$ と延ばしたものは $\mathbb{R}$ 上の凸関数である。
真の関数 $\varphi\colon E\to(-\infty,+\infty]$ に対し、
$$
\varphi^*(f):=\sup_{x\in E}\bigl(\langle f,x\rangle-\varphi(x)\bigr)=\sup_{x\in D(\varphi)}\bigl(\langle f,x\rangle-\varphi(x)\bigr)\qquad(f\in E^*)
$$
で定まる関数 $\varphi^*\colon E^*\to(-\infty,+\infty]$ を $\varphi$ の Fenchel 共役（Fenchel conjugate）、凸共役、または Legendre–Fenchel 変換 という。さらに $\varphi^*$ が真のとき、
$$
\varphi^{**}(x):=\sup_{f\in E^*}\bigl(\langle f,x\rangle-\varphi^*(f)\bigr)\qquad(x\in E)
$$
を $\varphi$ の 二重共役 という。
2 つの上限が等しいのは、$x\notin D(\varphi)$ の項が $-\infty$ で上限に影響しないからである。$D(\varphi)$ が空でないので有限の項が少なくとも 1 つあり、$\varphi^*$ は $-\infty$ をとらない。$\varphi^{**}$ は本来 $E^*$ の双対 $E^{**}$ 上の関数として定義できるが、ここでは $E$ に制限したものを考える（$E$ は $x\mapsto(f\mapsto\langle f,x\rangle)$ で $E^{**}$ に埋め込まれる）。この定義は Bre11 §1.4（p. 11、p. 13）と同じであり、$E=\mathbb{R}^n$ では BV04 §3.3.1（p. 91）の共役関数と同じである。
「Legendre 変換」という名前は、微分できる凸関数について下の節「微分できる場合：Legendre 変換」の式で計算される場合を指すことが多い（BV04 §3.3.2、p. 95）。一般の関数に対する上の定義を、区別のため Fenchel 共役と呼ぶ。Bre11 p. 11 の脚注は、$\varphi^*$ を $\varphi$ の Legendre 変換とも呼ぶと述べている。
直感
実数 $c$ について「$\langle f,x\rangle-c\le\varphi(x)$ がすべての $x$ で成り立つ」ことは「$c\ge\langle f,x\rangle-\varphi(x)$ がすべての $x$ で成り立つ」ことと同じなので、
$$
\varphi^*(f)=\inf\bigl\{c\in\mathbb{R}\ \big|\ \langle f,\cdot\rangle-c\le\varphi\bigr\}
$$
である（右辺の集合が空なら両辺とも $+\infty$）。つまり $-\varphi^*(f)$ は、傾き $f$ の連続アフィン関数を $\varphi$ の下から当てたときにとれる最も高い切片である。$\varphi^*(f)=+\infty$ は、傾き $f$ のアフィン関数をどれだけ下げても $\varphi$ の下に入らないことを意味する。
同じ読みかえを $\varphi^{**}$ に当てると、$\langle f,x\rangle-\varphi^*(f)$ は「傾き $f$ で $\varphi$ の下に入る最も高いアフィン関数」であり、$\varphi^{**}$ は $\varphi$ の下にある連続アフィン関数すべての上限になる。凸関数のグラフは接線の上側にあるので、凸で「閉じた」関数なら下からのアフィン関数の上限として元に戻ることが期待される。これを正確に述べたものが Fenchel–Moreauの定理 である。
1 変数で $\varphi$ が微分できる凸関数なら、$px-\varphi(x)$ の最大は $\varphi'(x)=p$ となる点 $x$ でとられる。この点での接線 $y=\varphi(x)+p(t-x)$ の切片は $\varphi(x)-px=-\varphi^*(p)$ である。図で言えば、$\varphi^*(p)$ は傾き $p$ の接線が縦軸を切る高さの符号を変えたものである。
基本性質
共役は、元の関数が凸でなくても、つねに凸で下半連続になる。下半連続性は 半連続 の定義「下半連続性と上半連続性」の意味で、$E^*$ には双対ノルムの位相を入れる。
$\varphi,\psi\colon E\to(-\infty,+\infty]$ を真の関数とする。
- $\varphi^*\colon E^*\to(-\infty,+\infty]$ は凸関数であり、$E^*$ 上で下半連続である。
- （Fenchel–Youngの不等式）すべての $x\in E$、$f\in E^*$ について
$$ \langle f,x\rangle\le\varphi(x)+\varphi^*(f). $$ - $\varphi\le\psi$ なら $\psi^*\le\varphi^*$ である。
- $\varphi^*$ が真なら、$\varphi^{**}$ は $E$ 上の $(-\infty,+\infty]$ 値の凸で下半連続な関数であり、$\varphi^{**}\le\varphi$ である。さらに $\varphi^{**}$ は真で、その共役は $(\varphi^{**})^*=\varphi^*$ である。
1：$x\in D(\varphi)$ を固定し、$A_x(f):=\langle f,x\rangle-\varphi(x)$ とおく。$A_x$ は $E^*$ 上の実数値関数で、$A_x((1-t)f+tg)=(1-t)A_x(f)+tA_x(g)$ を満たす（アフィン関数である）。また $|A_x(f)-A_x(g)|=|\langle f-g,x\rangle|\le\|f-g\|_*\|x\|$ なので $A_x$ は連続であり、とくに下半連続である。$\varphi^*=\sup_{x\in D(\varphi)}A_x$ は空でない族の上限である。
凸性：$f,g\in E^*$、$0< t< 1$ とする。各 $x\in D(\varphi)$ について $A_x((1-t)f+tg)=(1-t)A_x(f)+tA_x(g)\le(1-t)\varphi^*(f)+t\varphi^*(g)$ であり、右辺は $x$ によらない。左辺の $x$ についての上限をとると $\varphi^*((1-t)f+tg)\le(1-t)\varphi^*(f)+t\varphi^*(g)$ を得る。右辺に $+\infty$ が現れても、係数が正なので不等式は意味をもつ。
下半連続性：下半連続関数の任意の族の点ごとの上限は下半連続である（半連続 の命題「上限・下限と安全な加法」の 1）。よって $\varphi^*$ は下半連続である。$\varphi^*>-\infty$ であることは定義の直後に述べた。
2：$x\in D(\varphi)$ なら、上限の定義から $\varphi^*(f)\ge\langle f,x\rangle-\varphi(x)$ であり、移項すればよい。$x\notin D(\varphi)$ なら右辺は $+\infty$ で（$\varphi^*(f)>-\infty$ なので和は定まる）、不等式は自明である。
3：各 $x$ で $\langle f,x\rangle-\psi(x)\le\langle f,x\rangle-\varphi(x)$ なので、上限をとればよい。
4：$\varphi^*$ が真なら、$\varphi^{**}$ は $E$ 上の関数 $B_f(x):=\langle f,x\rangle-\varphi^*(f)$（$f\in D(\varphi^*)$）の空でない族の上限であり、1 と同じ議論で凸かつ下半連続で、$-\infty$ をとらない。2 により各 $f$ で $B_f(x)\le\varphi(x)$ なので、$\varphi^{**}\le\varphi$ である。よって $D(\varphi^{**})\supset D(\varphi)\neq\emptyset$ となり、$\varphi^{**}$ は真である。
$\varphi^{**}\le\varphi$ と 3 から $(\varphi^{**})^*\ge\varphi^*$ である。逆に、$f\in E^*$ と $x\in D(\varphi^{**})$ をとる。$\varphi^*(f)=+\infty$ なら $\langle f,x\rangle-\varphi^{**}(x)\le\varphi^*(f)$ は自明である。$\varphi^*(f)$ が有限なら、$\varphi^{**}$ の定義から $\varphi^{**}(x)\ge\langle f,x\rangle-\varphi^*(f)$ なので、やはり $\langle f,x\rangle-\varphi^{**}(x)\le\varphi^*(f)$ である。$x$ について上限をとって $(\varphi^{**})^*(f)\le\varphi^*(f)$ を得る。$\square$
1 で $\varphi$ の凸性を使っていないことに注意する。$\varphi^*$ は「アフィン関数の上限」なので、$\varphi$ の形によらず凸で下半連続になる。4 の最後の式は、共役を 3 回とると 1 回とったものに戻ること（$\varphi^{***}=\varphi^*$）を表している。2 は Bre11 Remark 7（p. 11）、BV04 §3.3.2（p. 94）の Fenchel の不等式である。
次の計算規則は、定義の中で変数を置き換えるだけで確かめられる。
$\varphi$ を真の関数、$c\in\mathbb{R}$、$a>0$、$x_0\in E$、$f_0\in E^*$ とする。$f\in E^*$ について次が成り立つ。
- $\psi=\varphi+c$ なら $\psi^*(f)=\varphi^*(f)-c$。
- $\psi=a\varphi$ なら $\psi^*(f)=a\varphi^*(f/a)$。
- $\psi(x)=\varphi(x-x_0)$ なら $\psi^*(f)=\varphi^*(f)+\langle f,x_0\rangle$。
- $\psi(x)=\varphi(x)+\langle f_0,x\rangle$ なら $\psi^*(f)=\varphi^*(f-f_0)$。
- $\psi(x)=\varphi(ax)$ なら $\psi^*(f)=\varphi^*(f/a)$。
どれも定義の上限の中で変数や定数を置き換えるだけである。
詳細
1：$\langle f,x\rangle-\varphi(x)-c$ の上限は、$\langle f,x\rangle-\varphi(x)$ の上限から $c$ を引いたものである。2：$\langle f,x\rangle-a\varphi(x)=a\bigl(\langle f/a,x\rangle-\varphi(x)\bigr)$ で、正の数 $a$ を掛けることは上限と交換する。3：$y=x-x_0$ とおくと $\langle f,x\rangle-\varphi(x-x_0)=\langle f,y\rangle-\varphi(y)+\langle f,x_0\rangle$ であり、$x$ が $E$ 全体を動くとき $y$ も $E$ 全体を動く。4：$\langle f,x\rangle-\varphi(x)-\langle f_0,x\rangle=\langle f-f_0,x\rangle-\varphi(x)$。5：$y=ax$ とおくと $\langle f,x\rangle-\varphi(ax)=\langle f/a,y\rangle-\varphi(y)$ である。いずれの場合も、$+\infty$ の項は両辺で同じ位置に現れ、上限に影響しない。$\square$
微分できる場合：Legendre 変換
$\varphi$ が微分できる凸関数なら、共役の上限は導関数（勾配）が $f$ に等しい点でとられ、上限を計算する代わりに方程式を解けばよい。$\mathbb{R}^n$ の勾配を $\nabla$ で表す。
$\varphi\colon\mathbb{R}^n\to\mathbb{R}$ を微分可能な凸関数とする。
- すべての $x,z\in\mathbb{R}^n$ について $\varphi(x)\ge\varphi(z)+\nabla\varphi(z)\cdot(x-z)$ が成り立つ。
- $p\in\mathbb{R}^n$ と $z\in\mathbb{R}^n$ について、$x\mapsto p\cdot x-\varphi(x)$ が $x=z$ で最大になることと、$p=\nabla\varphi(z)$ は同値である。とくに、すべての $z$ について
$$ \varphi^*(\nabla\varphi(z))=\nabla\varphi(z)\cdot z-\varphi(z). $$
1：$x,z$ を固定し、$g(t):=\varphi(z+t(x-z))$ とおく。$\varphi$ が凸なので、$0< t< 1$ について
$$
g(t)=\varphi\bigl((1-t)z+tx\bigr)\le(1-t)g(0)+tg(1),
$$
すなわち $\dfrac{g(t)-g(0)}{t}\le g(1)-g(0)=\varphi(x)-\varphi(z)$ である。$\varphi$ は微分可能なので、連鎖律により $t\downarrow0$ で左辺は $g'(0)=\nabla\varphi(z)\cdot(x-z)$ に収束する。よって $\nabla\varphi(z)\cdot(x-z)\le\varphi(x)-\varphi(z)$ である。
2：$p=\nabla\varphi(z)$ なら、1 から $p\cdot x-\varphi(x)\le p\cdot x-\varphi(z)-p\cdot(x-z)=p\cdot z-\varphi(z)$ がすべての $x$ で成り立つので、$x=z$ で最大になる。逆に $h(x):=p\cdot x-\varphi(x)$ が $z$ で最大になるなら、$h$ は微分可能で $z$ は $\mathbb{R}^n$ の内点だから $\nabla h(z)=p-\nabla\varphi(z)=0$ である。最後の式は、最大値が $h(z)$ であることを書いたものである。$\square$
1 変数で導関数が狭義単調増加かつ連続なら、$\varphi'(z)=p$ を解く写像は $\varphi'$ の逆関数であり、共役も同じ型の関数になる。これが古典的な Legendre 変換である。
$I$ を開区間（非有界でもよい）、$f\colon I\to\mathbb{R}$ を微分可能で、$f'$ が連続かつ狭義単調増加な関数とする。$J:=f'(I)$ とおき、$g:=(f')^{-1}\colon J\to I$ とする。$\varphi$ を $I$ 上で $f$、$I$ の外で $+\infty$ と定めた $\mathbb{R}$ 上の関数とする。このとき次が成り立つ。
- $J$ は開区間であり、$p\in J$ について
$$ \varphi^*(p)=p\,g(p)-f(g(p)) $$
である。上限は $x=g(p)$ だけでとられる。 - $\varphi^*$ は $J$ 上で微分可能であり、$(\varphi^*)'(p)=g(p)$ である。
- $f^\sharp:=\varphi^*|_J$ とおくと、$f^\sharp$ は $J$ 上でこの定理の仮定を満たし、$(f^\sharp)'(J)=I$ である。$f^\sharp$ に同じ操作を施すと $f$ に戻る。すなわち $x\in I$ について $x\,f'(x)-f^\sharp(f'(x))=f(x)$ である。
1：$f'$ は区間 $I$ 上で連続かつ狭義単調増加なので、中間値の定理 により像 $J$ は区間であり、$I$ が端点を含まないことと狭義単調性から $J$ も端点を含まない。よって $J$ は開区間で、$f'\colon I\to J$ は全単射である。狭義単調増加な連続関数の逆関数は連続かつ狭義単調増加なので、$g$ もそうである。
次に、$x,z\in I$ について $f(x)\ge f(z)+f'(z)(x-z)$ を示す。$x=z$ なら等号である。$x\neq z$ なら平均値の定理により $x$ と $z$ の間の $\xi$ で $f(x)-f(z)=f'(\xi)(x-z)$ となる。$x>z$ なら $\xi>z$ なので $f'(\xi)>f'(z)$、$x< z$ なら $\xi< z$ なので $f'(\xi)< f'(z)$ であり、どちらの場合も $f'(\xi)(x-z)>f'(z)(x-z)$ である。よって $x\neq z$ では狭義の不等号 $f(x)>f(z)+f'(z)(x-z)$ が成り立つ。
$p\in J$、$z:=g(p)$ とすると $f'(z)=p$ なので、$x\in I$、$x\neq z$ について $px-f(x)< pz-f(z)$ である。$x\notin I$ の項は $-\infty$ である。よって上限は $x=z$ だけでとられ、$\varphi^*(p)=pz-f(z)=p\,g(p)-f(g(p))$ である。
2：$p,q\in J$ とする。1 で上限が $g(p)$ でとられることと、$\varphi^*(q)$ が上限であることから
$$
\varphi^*(q)\ge q\,g(p)-f(g(p))=\varphi^*(p)+(q-p)\,g(p)
$$
である。$p$ と $q$ を入れ替えると $\varphi^*(p)\ge\varphi^*(q)+(p-q)\,g(q)$ である。2 つを合わせて
$$
(q-p)\,g(p)\le\varphi^*(q)-\varphi^*(p)\le(q-p)\,g(q).
$$
$q>p$ なら $q-p$ で割って $g(p)\le\dfrac{\varphi^*(q)-\varphi^*(p)}{q-p}\le g(q)$、$q< p$ なら割ると不等号が逆になって $g(q)\le\dfrac{\varphi^*(q)-\varphi^*(p)}{q-p}\le g(p)$ である。$g$ は連続なので $q\to p$ で差分商は $g(p)$ に収束する。よって $(\varphi^*)'(p)=g(p)$ である。
3：2 により $f^\sharp$ は $J$ 上で微分可能で、導関数 $g$ は連続かつ狭義単調増加であり、$g(J)=I$ である。よって $f^\sharp$ に 1 を当てられ、$(f^\sharp)'=g$ の逆関数は $f'$ である。$x\in I$ について、1 の式を $f^\sharp$ に当てると、その値は
$$
x\,f'(x)-f^\sharp(f'(x))=x\,f'(x)-\bigl(f'(x)\,g(f'(x))-f(g(f'(x)))\bigr)=x\,f'(x)-\bigl(f'(x)\,x-f(x)\bigr)=f(x)
$$
である。$\square$
2 の式 $(\varphi^*)'=(f')^{-1}$ が、Legendre 変換が「導関数を逆関数に取りかえる」変換と言われる理由である。$f$ の傾き $p$ と接点 $x$ は $p=f'(x)$、$x=(f^\sharp)'(p)$ で互いに移り合い、$f(x)+f^\sharp(p)=px$ が成り立つ。3 は、この場合に Legendre 変換を 2 回施すと $I$ の上で元の $f$ に戻ることを示している。実際、$x\in I$ では $\varphi^{**}(x)\ge\sup_{p\in J}\bigl(px-f^\sharp(p)\bigr)=f(x)$ と $\varphi^{**}\le\varphi$（thm-fcj-basic の 4）から $\varphi^{**}(x)=f(x)$ である。ただし $I$ の端点では $\varphi^{**}$ と $\varphi$ が異なりうる。たとえば $I=(-1,1)$、$f(x)=-\sqrt{1-x^2}$ は定理の仮定を満たし（$f'(x)=x/\sqrt{1-x^2}$、$J=\mathbb{R}$）、$\varphi^*(p)=\sqrt{1+p^2}$（上限は $x=p/\sqrt{1+p^2}$ でとられる）だが、$\varphi^{**}(\pm1)=\sup_p\bigl(\pm p-\sqrt{1+p^2}\bigr)=0$（$\pm p-\sqrt{1+p^2}< 0$ で、$p\to\pm\infty$ で $0$ に近づく）であり、$\varphi(\pm1)=+\infty$ と一致しない。端点まで込めて $\varphi^{**}=\varphi$ となるのは、$\varphi$ が下半連続な場合である（Fenchel–Moreauの定理）。一般の関数で同じことが成り立つ条件が Fenchel–Moreauの定理 である。BV04 §3.3.2（p. 95）は、$\mathbb{R}^n$ 上の微分可能な凸関数について thm-fcj-gradient の 2 と同じ式を述べている。
$1< p< \infty$ とし、$p'$ を $\dfrac1p+\dfrac1{p'}=1$ で定める。$f(x)=\dfrac{|x|^p}{p}$（$x\in\mathbb{R}$）とすると、$f'(x)=\operatorname{sgn}(x)\,|x|^{p-1}$ は連続で狭義単調増加であり（$x=0$ での微分係数は差分商 $|h|^{p}/(ph)\to0$ から $0$）、$J=\mathbb{R}$、$g(s)=\operatorname{sgn}(s)\,|s|^{1/(p-1)}$ である。$|s|\,|g(s)|=|s|^{1+1/(p-1)}=|s|^{p'}$、$|g(s)|^p=|s|^{p/(p-1)}=|s|^{p'}$ なので、thm-fcj-legendre の 1 から
$$
f^*(s)=s\,g(s)-\frac{|g(s)|^p}{p}=|s|^{p'}-\frac{|s|^{p'}}{p}=\frac{|s|^{p'}}{p'}
$$
である。Fenchel–Youngの不等式（thm-fcj-basic の 2）は、実数 $a,b$ について
$$
ab\le\frac{|a|^p}{p}+\frac{|b|^{p'}}{p'}
$$
となる。これが古典的な Young の不等式であり、上限が $x=g(b)$ だけでとられることから、$a,b\ge0$ のとき等号は $b=a^{p-1}$ のときに限る。$p=2$ なら $f^*=f$ で、$ab\le\dfrac{a^2+b^2}2$ である。Hölderの不等式 はこの不等式から導かれる。Bre11 Remark 7（pp. 11–12）は、Hölder の不等式の証明（同書 Theorem 4.6）で使うこの形の Young の不等式を、Fenchel–Young の不等式の特別な場合として述べている。
計算例
よく使う共役を表にまとめる（$\mathbb{R}$ 上の関数は、表に書いた範囲の外で $+\infty$ とする）。
| $\varphi(x)$ | $\varphi^*(p)$ |
|---|---|
| $ax+b$（$a,b\in\mathbb{R}$） | $p=a$ なら $-b$、$p\neq a$ なら $+\infty$ |
| $\dfrac{\lvert x\rvert ^q}{q}$（$1< q< \infty$） | $\dfrac{\lvert p\rvert ^{q'}}{q'}$（$\frac1q+\frac1{q'}=1$） |
| $e^x$ | $p>0$ なら $p\log p-p$、$p=0$ なら $0$、$p< 0$ なら $+\infty$ |
| $-\log x$（$x>0$） | $p< 0$ なら $-1-\log(-p)$、$p\ge0$ なら $+\infty$ |
| $\lvert x\rvert$ | $\lvert p\rvert \le1$ なら $0$、$\lvert p\rvert >1$ なら $+\infty$ |
| $\frac12x\cdot Qx$（$\mathbb{R}^n$、$Q$ は正定値対称行列） | $\frac12p\cdot Q^{-1}p$ |
| $\Vert x\Vert $（ノルム空間 $E$） | $\Vert p\Vert _*\le1$ なら $0$、$\Vert p\Vert _*>1$ なら $+\infty$ |
| $I_K(x)$（$K$ の指示関数） | $h_K(p)=\sup_{x\in K}\langle p,x\rangle$ |
1 次関数・冪関数・指数関数・$-\log x$ は Bre11 Exercise 1.18（pp. 24–25）の (a)(b)(e)(h) にあり、指数関数・$-\log x$・2 次形式は BV04 Example 3.21・3.22（pp. 91–92）で計算されている。冪関数は ex-fcj-young で、2 次形式は thm-fcj-gradient の 2（$\nabla\varphi(z)=Qz$ を $p=Qz$ と解いて $z=Q^{-1}p$ とし、$\varphi^*(p)=p\cdot Q^{-1}p-\frac12Q^{-1}p\cdot p$）で求まる。1 次関数は、$px-(ax+b)=(p-a)x-b$ が $p=a$ なら定数 $-b$、$p\neq a$ なら上に有界でないことから分かる。残りを確かめる。
どちらも thm-fcj-legendre で $J$ 上の値を求め、$J$ の外は定義に戻って計算する。
詳細
$\varphi(x)=e^x$ では $\varphi'=e^x$ は連続で狭義単調増加、$J=(0,\infty)$、$g=\log$ なので、thm-fcj-legendre により $p>0$ で $\varphi^*(p)=p\log p-p$ である。$p=0$ では $\sup_x(-e^x)=0$（上限はとられない）、$p< 0$ では $x\to-\infty$ で $px-e^x\to+\infty$ である。$p=0$ での値 $0$ は $p\downarrow0$ での $p\log p-p$ の極限に等しく、$\varphi^*$ が下半連続であること（thm-fcj-basic の 1）と合っている。$J$ の外での値は定理の式からは決まらず、定義に戻って計算する必要がある。
$\varphi(x)=-\log x$（$x>0$）では $\varphi'(x)=-1/x$ は $(0,\infty)$ 上で連続かつ狭義単調増加で、$J=(-\infty,0)$、$g(p)=-1/p$ である。よって $p< 0$ で $\varphi^*(p)=p\cdot(-1/p)+\log(-1/p)=-1-\log(-p)$ である。$p\ge0$ なら $x\to\infty$ で $px+\log x\to+\infty$ である。
$\varphi(x)=\|x\|$ とする。$\|f\|_*\le1$ なら $\langle f,x\rangle-\|x\|\le\|f\|_*\|x\|-\|x\|\le0$ で、$x=0$ で $0$ になるので $\varphi^*(f)=0$ である。$\|f\|_*>1$ なら、双対ノルムの定義から $\|u\|\le1$ かつ $\langle f,u\rangle>1$ となる $u$ がある。$t>0$ について $\langle f,tu\rangle-\|tu\|\ge t(\langle f,u\rangle-1)$ は $t\to\infty$ で $+\infty$ に発散するので、$\varphi^*(f)=+\infty$ である。よって $\varphi^*$ は双対空間の閉単位球 $B_*:=\{f\mid\|f\|_*\le1\}$ の指示関数である（Bre11 Example 1、p. 14）。$E=\mathbb{R}$ なら $|x|$ の共役は $[-1,1]$ の指示関数である。
空でない集合 $K\subset E$ の 指示関数 $I_K$ を、$K$ 上で $0$、$K$ の外で $+\infty$ と定める（$K$ 上で $1$、外で $0$ となる特性関数とは別のものである）。定義から
$$
I_K^*(f)=\sup_{x\in K}\langle f,x\rangle=:h_K(f)
$$
であり、これを $K$ の 支持関数 という（Bre11 Example 2、p. 14、BV04 Example 3.24、p. 92）。$h_K(f)$ は、$K$ を半空間 $\{x\mid\langle f,x\rangle\le c\}$ に含めるための最小の $c$ である。
$K=M$ が線形部分空間なら、$f$ が $M$ 上で $0$ のとき $h_M(f)=0$ であり、そうでなければ $\langle f,u\rangle\neq0$ となる $u\in M$ と実数 $t$ について $\langle f,tu\rangle$ がいくらでも大きくなるので $h_M(f)=+\infty$ である。よって $I_M^*$ は零化空間 $M^\perp:=\{f\in E^*\mid\langle f,x\rangle=0\ (x\in M)\}$ の指示関数である。
条件を外した反例
thm-fcj-legendre の仮定（微分可能性、$f'$ の狭義単調増加、$f'$ の単調増加すなわち凸性）を 1 つずつ外すと、次のように結論が崩れる。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 微分可能性 | $f(x)=\lvert x\rvert+\frac{x^2}2$ | $x\neq0$ では $f'(x)=x+\operatorname{sgn}x$ は連続で狭義単調増加だが、$p\in(-1,1)$ に対して $f'(x)=p$ となる点がなく、上限は角 $x=0$ でとられる。$f^*(p)=\frac12\bigl(\max\{\lvert p\rvert-1,0\}\bigr)^2$ の導関数は $[-1,1]$ で $0$ になり狭義単調でない |
| $f'$ の狭義単調性 | $\lvert x\rvert\le1$ で $\frac{x^2}2$、$\lvert x\rvert>1$ で $\lvert x\rvert-\frac12$ | $f'$ は $[-1,1]$ の値を端で一定にとり、$f'(x)=1$ となる点が $[1,\infty)$ 全体になる。$f^*$ は $\lvert p\rvert\le1$ で $\frac{p^2}2$、外で $+\infty$ となり、$p=\pm1$ で微分できない |
| $f'$ の単調性（凸性） | $f(x)=x^3$ | $p>0$ なら $f'(z)=p$ の解 $z=\pm\sqrt{p/3}$ があるが、$f^*(p)=+\infty$ である（$x\to-\infty$ で $px-x^3\to+\infty$）。$f^*$ は恒等的に $+\infty$ で真でない |
表の 3 つの関数の共役を、定義に戻って計算する。
詳細
1 行目：$f(x)=|x|+\frac{x^2}2$ は凸関数 $|x|$ と $\frac{x^2}2$ の和なので凸で、$x=0$ だけで微分できない。$|p|\le1$ なら $px-|x|-\frac{x^2}2\le(|p|-1)|x|-\frac{x^2}2\le-\frac{x^2}2\le0$ で、等号は $x=0$ だけなので $f^*(p)=0$ である。$p>1$ なら、$x\ge0$ では $px-f(x)=(p-1)x-\frac{x^2}2$ が $x=p-1$ で最大値 $\frac{(p-1)^2}2$ をとり、$x< 0$ では $px-f(x)=(p+1)x-\frac{x^2}2< 0$ である。よって $f^*(p)=\frac{(p-1)^2}2$ である。$p< -1$ は $f$ が偶関数なので対称で、$f^*(p)=\frac{(|p|-1)^2}2$ である。$f^*$ は微分可能で $(f^*)'(p)=\operatorname{sgn}(p)\max\{|p|-1,0\}$ であり、$[-1,1]$ で $0$ になる。
2 行目：この $f$ は Bre11 Exercise 1.18 (g) の関数である。$f'(x)$ は $x\in[-1,1]$ で $x$、$x>1$ で $1$、$x< -1$ で $-1$ であり、連続で単調増加だが狭義ではない。$|p|< 1$ なら $f'(z)=p$ の解は $z=p$ だけで、thm-fcj-gradient の 2（1 変数の場合）により $f^*(p)=p^2-\frac{p^2}2=\frac{p^2}2$ である。$p=1$ なら $x\ge1$ で $x-f(x)=\frac12$、$|x|\le1$ で $x-\frac{x^2}2\le\frac12$、$x< -1$ で $2x+\frac12< 0$ なので $f^*(1)=\frac12$ で、上限は $[1,\infty)$ のすべての点でとられる。$p=-1$ も同様である。$|p|>1$ なら $x$ を $p$ と同じ符号で大きくとると $px-|x|+\frac12=(|p|-1)|x|+\frac12\to+\infty$ である。$f^*$ は $p=1$ の右側で $+\infty$ なので、$p=1$ で微分できない。
3 行目：どの $p$ についても $x\to-\infty$ で $px-x^3\to+\infty$ なので $f^*\equiv+\infty$ である。$f'(z)=p$ を解いて $pz-f(z)$ を計算すると有限の値が出るが、それは $px-f(x)$ の極大値にすぎず最大値ではない。thm-fcj-gradient の 2 で凸性を使ったのは、極値の条件が最大の十分条件になる 1 の不等式のところである。
この例のように、凸でない関数では共役が真にならないことがある。$\varphi(x)=-x^2$ でも $px+x^2\to+\infty$ なので $\varphi^*\equiv+\infty$ である（Bre11 p. 12 の Proposition 1.10 は、凸で下半連続な真の関数なら共役が真であることを示している）。
二重共役と Fenchel–Moreau の定理
thm-fcj-basic の 4 により、$\varphi^*$ が真なら $\varphi^{**}$ は凸で下半連続な $\varphi$ 以下の関数である。逆向きの等号については、次が成り立つ。
- $\varphi$ が真なら、「$\varphi^*$ が真で $\varphi^{**}=\varphi$」であることと、$\varphi$ が凸で下半連続であることは同値である（Fenchel–Moreauの定理、Bre11 Theorem 1.11、p. 13）。
- 一般の真の関数 $\varphi$ でも、$\varphi^*$ が真なら、$\varphi^{**}$ は $\varphi$ 以下の凸で下半連続な関数のうち最大のものである（Fenchel–Moreauの定理 の系）。
たとえば上の表の関数は（指示関数の行は $K$ が閉凸集合のときに限り）どれも凸で下半連続なので、表の右の列の共役をとると左の列に戻る。$|x|$ の共役は $[-1,1]$ の指示関数で、その共役は $\sup_{|p|\le1}px=|x|$ である。凸でない $\varphi(x)=\min\{(x-1)^2,(x+1)^2\}$ では $\varphi^{**}$ は $\varphi$ と一致せず、$|x|\le1$ で $0$、$|x|>1$ で $(|x|-1)^2$ となる（Fenchel–Moreauの定理 で計算する）。
共役は最適化の双対理論の基礎でもある。凸関数 $\varphi,\psi\colon E\to(-\infty,+\infty]$ について、ある点 $x_0\in D(\varphi)\cap D(\psi)$ で $\varphi$ が連続なら
$$ \inf_{x\in E}\bigl(\varphi(x)+\psi(x)\bigr)=\max_{f\in E^*}\bigl(-\varphi^*(-f)-\psi^*(f)\bigr) $$
が成り立ち、右辺の上限は $E^*$ の元で達成される。これが Fenchel–Rockafellar の双対定理であり、証明は Fenchel–Rockafellarの双対定理 の定理「Fenchel–Rockafellar の双対定理」にある（Bre11 Theorem 1.12、pp. 15–16）。左辺の最小化問題を、右辺の共役についての最大化問題（双対問題）に置き換えられる。右辺が左辺以下であることは Fenchel–Young の不等式（thm-fcj-basic の 2）から従うが、等号には連続点の条件が要り、これを外すと $\varphi$、$\psi$ が凸で下半連続でも両辺が一致しない例がある（Fenchel–Rockafellarの双対定理 の例「表の反例の確かめ」）。
関連項目
- 前提: 凸関数, ノルム空間, 連続線形汎関数, 半連続
- 比較: 凸集合, 平均値の定理, Hölderの不等式
- 直後に読む: Fenchel–Youngの不等式, Fenchel–Moreauの定理, Minkowski汎関数, 支持関数
- 発展: Fenchel–Rockafellarの双対定理, 双極定理, Hahn–Banachの定理, 通過領域と包絡線
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
