Fenchel–Youngの不等式
概要
Fenchel–Youngの不等式（Fenchel–Young inequality）とは、実ノルム空間 $E$ 上の真の関数 $\varphi$ とその Fenchel 共役 $\varphi^*$ について、$\langle f,x\rangle\le\varphi(x)+\varphi^*(f)$ がすべての $x\in E$、$f\in E^*$ で成り立つという不等式である。等号が成り立つのは $f$ が $\varphi$ の $x$ での劣勾配であるときに限り、凸で下半連続な関数では等号条件が $x$ と $f$ について対称になる。増加関数の積分の対に当てると積分の形の古典的な Young の不等式が、ノルムの冪に当てると双対ノルムについての不等式が得られる。凸最適化では、和の最小化問題と双対問題の値の差を 2 つの不等式の差で表し、最適性の判定に使う。
実数 $a,b$ について $ab\le\frac{a^2}2+\frac{b^2}2$ が成り立ち、等号は $a=b$ のときに限る。これは $(a-b)^2\ge0$ を展開しただけの式だが、「積を、それぞれの変数だけの関数の和で上から押さえる」という形をしている。指数を変えた $ab\le\frac{a^p}p+\frac{b^{p'}}{p'}$（$a,b\ge0$、$\frac1p+\frac1{p'}=1$）は Young の不等式と呼ばれ、Hölderの不等式 の証明の出発点になる。
Fenchel–Young の不等式 は、これらを 1 つの原理にまとめたものである。実ノルム空間 $E$ 上の関数 $\varphi$ とその Fenchel共役 $\varphi^*$ について
$$
\langle f,x\rangle\le\varphi(x)+\varphi^*(f)\qquad(x\in E,\ f\in E^*)
$$
が成り立つ。左辺の「積」$\langle f,x\rangle$ が、$x$ だけの関数と $f$ だけの関数の和で押さえられる。不等式そのものは共役の定義からすぐに出るが、等号が成り立つ組 $(x,f)$ がちょうど $f$ が $\varphi$ の $x$ での劣勾配となる組であることが要点である。この等号条件によって、不等式は凸最適化の最適性の判定（双対問題との差が $0$ になること）の道具になる。
この記事では、Fenchel–Young の不等式と等号条件を述べて証明し、増加関数の積分で定まる 1 変数の関数の対について、古典的な Young の不等式（積分の形）を Fenchel–Young の不等式として導く。ノルムの冪の共役を計算して双対ノルムについての不等式を求め、2 つの関数の和の最小化問題の弱双対性と最適性の判定を示す。最後に、等号条件の仮定を外した反例を挙げる。
不等式と等号条件
以下、$E$ を実数体上のノルム空間、$E^*$ をその連続双対、$\|\cdot\|_*$ を双対ノルムとし、$f\in E^*$ の $x\in E$ での値を $\langle f,x\rangle$ と書く。関数は値 $+\infty$ を許し $-\infty$ を許さない $\varphi\colon E\to(-\infty,+\infty]$ とし、有効定義域 $D(\varphi)$、真の関数、共役 $\varphi^*$ は Fenchel共役 の定義「有効定義域と真の関数」「Fenchel 共役」のとおりとする。真の関数の共役は $-\infty$ をとらないので、和 $\varphi(x)+\varphi^*(f)$ はつねに $(-\infty,+\infty]$ の値として定まる。劣微分 $\partial\varphi(x)$ は 劣微分 の定義「劣勾配と劣微分」のとおりとする。
$\varphi\colon E\to(-\infty,+\infty]$ を真の関数とする。
- すべての $x\in E$、$f\in E^*$ について
$$ \langle f,x\rangle\le\varphi(x)+\varphi^*(f). $$ - $x\in E$、$f\in E^*$ について、1 で等号が成り立つことと $f\in\partial\varphi(x)$ は同値である。
- $\varphi$ が凸で下半連続なら、1 で等号が成り立つことと、すべての $g\in E^*$ について
$$ \varphi^*(g)\ge\varphi^*(f)+\langle g-f,x\rangle $$
が成り立つことは同値である。
1：$x\notin D(\varphi)$ なら右辺は $+\infty$ である。$x\in D(\varphi)$ なら、共役の定義 $\varphi^*(f)=\sup_y(\langle f,y\rangle-\varphi(y))$ の上限の中で $y=x$ の項をとれば $\varphi^*(f)\ge\langle f,x\rangle-\varphi(x)$ であり、移項すればよい。
2：$x\notin D(\varphi)$ なら右辺は $+\infty$ で等号は成り立たず、劣微分の定義から $\partial\varphi(x)=\emptyset$ である。$x\in D(\varphi)$ とする。$f\in\partial\varphi(x)$ は、すべての $y$ で $\varphi(y)\ge\varphi(x)+\langle f,y-x\rangle$、すなわち $\langle f,y\rangle-\varphi(y)\le\langle f,x\rangle-\varphi(x)$ が成り立つことである。$y$ について上限をとると、これは $\varphi^*(f)\le\langle f,x\rangle-\varphi(x)$ と同値である。1 の逆向きの不等式と合わせて、等号と同値である。
3：劣微分 の命題「劣微分の基本性質」の 5 と、本定理の 2 を組み合わせる（5 の証明で Fenchel–Moreauの定理 の $\varphi^{**}=\varphi$ を使う）。$\square$
1 は Fenchel共役 の定理「共役の基本性質」の 2、2 は 劣微分 の命題「劣微分の基本性質」の 4 と同じ主張である。1 は Bre11 Remark 7（p. 11）で、BV04 §3.3.2（p. 94）では Fenchel の不等式と呼ばれている。
3 の条件は、$E$ を $E^{**}$ の部分空間とみなして「$x$ は $\varphi^*$ の $f$ での劣勾配である」と読める。凸で下半連続な真の関数では、等号の条件は $x$ と $f$ について対称になり、
$$
f\in\partial\varphi(x)\iff\varphi(x)+\varphi^*(f)=\langle f,x\rangle\iff x\in\partial\varphi^*(f)
$$
が成り立つ（最後の $\partial\varphi^*(f)$ は $E^{**}$ の部分集合で、$E$ の元に限って読む）。凸な $\varphi$ が $x$ で Gâteaux 微分可能なら $\partial\varphi(x)$ は微分 1 点だけからなり（劣微分 の系「微分可能性と劣微分」）、この同値は「共役の導関数は導関数の逆関数」という Legendre 変換の性質（Fenchel共役 の定理「1 変数の Legendre 変換」）の一般形である。
非負の量
$$
G(x,f):=\varphi(x)+\varphi^*(f)-\langle f,x\rangle\ \ge0
$$
を Fenchel–Young の差 と呼ぶことにする。2 により、$G(x,f)=0$ は $f\in\partial\varphi(x)$ と同値である。下の節「和の最小化と弱双対性」では、最適化問題の最適性をこの差が $0$ になることで判定する。
古典的な Young の不等式
1 変数の場合、増加関数の積分で定まる関数の対が互いに共役になり、Fenchel–Young の不等式は面積の比較として読める。$E=E^*=\mathbb{R}$ とし、$p\in\mathbb{R}$ を汎関数 $x\mapsto px$ と同一視する。
以下、$\alpha\colon[0,+\infty)\to[0,+\infty)$ を連続で狭義単調増加、$\alpha(0)=0$、$\lim_{t\to\infty}\alpha(t)=+\infty$ を満たす関数とする。中間値の定理により $\alpha$ は $[0,+\infty)$ からそれ自身への全単射であり、逆関数 $\beta:=\alpha^{-1}$ も同じ条件を満たす（$\beta$ は単調で、その像が区間 $[0,+\infty)$ なので連続である）。
$$
\Phi(t):=\int_0^{|t|}\alpha(s)\,ds,\qquad\Psi(t):=\int_0^{|t|}\beta(s)\,ds\qquad(t\in\mathbb{R})
$$
とおく。
上の $\alpha,\beta,\Phi,\Psi$ について次が成り立つ。
- $A\ge0$ について $\displaystyle\int_0^A\alpha(s)\,ds+\int_0^{\alpha(A)}\beta(t)\,dt=A\,\alpha(A)$ である。
- $\Phi^*=\Psi$ かつ $\Psi^*=\Phi$ である。
- $a,b\ge0$ について
$$ ab\le\int_0^a\alpha(s)\,ds+\int_0^b\beta(t)\,dt $$
であり、等号は $b=\alpha(a)$ のときに限る。
1：$B:=\alpha(A)$、$R:=[0,A]\times[0,B]$ とおく。$(s,t)\in R$ について、$\beta$ が狭義単調増加なので $t< \alpha(s)$ と $\beta(t)< s$ は同値である。よって $R$ は
$$
S_1:=\{(s,t)\in R\mid t< \alpha(s)\},\qquad S_2:=\{(s,t)\in R\mid s\le\beta(t)\}
$$
の交わらない和である。$\alpha$、$\beta$ は連続なので $S_1$、$S_2$ は Borel 集合である。$s\in[0,A]$ を固定した $S_1$ の切り口は $[0,\alpha(s))$（$\alpha(s)\le B$）で長さ $\alpha(s)$、$t\in[0,B]$ を固定した $S_2$ の切り口は $[0,\beta(t)]$（$\beta(t)\le A$）で長さ $\beta(t)$ である。Fubiniの定理 の定理「Tonelliの定理」により、平面の Lebesgue 測度で $|S_1|=\int_0^A\alpha$、$|S_2|=\int_0^B\beta$ であり（連続関数の Riemann 積分と Lebesgue 積分は一致する）、$|S_1|+|S_2|=|R|=AB$ である。
2：$b\ge0$ を固定し、$a\ge0$ について $h(a):=ab-\Phi(a)$ とおく。$a_0:=\beta(b)$ とすると $\alpha(a_0)=b$ であり、
$$
h(a)-h(a_0)=\int_{a_0}^{a}\bigl(b-\alpha(s)\bigr)\,ds
$$
である。$a>a_0$ なら $s\in(a_0,a]$ で $\alpha(s)>b$ なので右辺は負、$a< a_0$ なら $s\in[a,a_0)$ で $\alpha(s)< b$ なので右辺 $=-\int_a^{a_0}(b-\alpha)$ は負である。よって $h$ は $[0,+\infty)$ 上で $a_0$ だけで最大値をとり、1 から
$$
h(a_0)=a_0\alpha(a_0)-\int_0^{a_0}\alpha=\int_0^{b}\beta=\Psi(b)
$$
である。$t< 0$ では $tb-\Phi(t)\le-\Phi(t)\le0\le\Psi(b)$ なので、$\Phi^*(b)=\sup_{t\in\mathbb{R}}(tb-\Phi(t))=\Psi(b)$ である。$\Phi$、$\Psi$ は偶関数なので、$b< 0$ でも $\Phi^*(b)=\Phi^*(|b|)=\Psi(b)$ である（$t\mapsto-t$ と置きかえる）。$\beta$ は $\alpha$ と同じ条件を満たし $\beta^{-1}=\alpha$ なので、役割を入れかえて $\Psi^*=\Phi$ を得る。
3：2 と thm-fy-main の 1 から、$a,b\ge0$ で $ab\le\Phi(a)+\Phi^*(b)=\Phi(a)+\Psi(b)$ である。2 の証明で、$ab-\Phi(a)=\Psi(b)$ となる $a\ge0$ は $a=\beta(b)$ だけだったので、等号は $a=\beta(b)$、すなわち $b=\alpha(a)$ のときに限る。$\square$
1 は、長方形 $[0,A]\times[0,\alpha(A)]$ が曲線 $t=\alpha(s)$ の下側と左側に分かれることを表している。3 の左辺 $ab$ は長方形 $[0,a]\times[0,b]$ の面積で、右辺は曲線の下側（$s\le a$ の部分）と左側（$t\le b$ の部分）の面積の和である。$b\neq\alpha(a)$ なら、2 つの部分が長方形からはみ出す分だけ右辺が大きい。
$\alpha(s)=s^{p-1}$（$1< p< \infty$）なら $\beta(t)=t^{p'-1}$（$\frac1p+\frac1{p'}=1$）で、3 は $ab\le\frac{a^p}p+\frac{b^{p'}}{p'}$ である。これは Fenchel共役 の例「冪関数の共役と Young の不等式」、凸関数 の系「Youngの不等式」と同じ不等式であり、Hölderの不等式 の証明に使われる（Bre11 Remark 7、pp. 11–12）。
$\alpha(s)=e^s-1$ とすると $\beta(t)=\log(1+t)$ で、
$$
\Phi(a)=e^a-1-a,\qquad\Psi(b)=(1+b)\log(1+b)-b\qquad(a,b\ge0)
$$
である。3 から、$a,b\ge0$ について
$$
ab\le e^a-1-a+(1+b)\log(1+b)-b
$$
が成り立ち、等号は $b=e^a-1$ のときに限る。$\Phi$ は冪関数より速く増加し、対になる $\Psi$ は $b\log b$ の程度でしか増加しない。
ノルムの冪と双対ノルム
一般のノルム空間では、ノルムの冪の共役が双対ノルムの冪になり、Fenchel–Young の不等式は双対ノルムの定義 $\langle f,x\rangle\le\|f\|_*\|x\|$ を精密にした形になる。
$E\neq\{0\}$ とし、$1< p< \infty$、$\frac1p+\frac1{p'}=1$ とする。$\varphi(x):=\frac1p\|x\|^p$ について次が成り立つ。
- $\varphi^*(f)=\frac1{p'}\|f\|_*^{p'}$（$f\in E^*$）である。したがって
$$ \langle f,x\rangle\le\frac1p\|x\|^p+\frac1{p'}\|f\|_*^{p'}\qquad(x\in E,\ f\in E^*) $$
である。 - この不等式で等号が成り立つことは、$\langle f,x\rangle=\|f\|_*\|x\|$ かつ $\|f\|_*^{p'}=\|x\|^p$ であることと同値である。
- $p=2$ のとき、等号が成り立つ $f$ の全体は、双対写像(Banach空間) の定義「双対写像(Banach空間)」の $F(x)=\{f\mid\|f\|_*=\|x\|,\ \langle f,x\rangle=\|x\|^2\}$ に一致する。とくに $\partial\varphi(x)=F(x)$ である。
1：$r:=\|f\|_*$ とおく。実数 $u\ge0$ の関数 $u\mapsto ru-\frac{u^p}p$ の最大値は、1 変数の Young の不等式（上の節の $\alpha(s)=s^{p-1}$ の場合）により $\frac{r^{p'}}{p'}$ で、$u=r^{p'-1}$ でとられる。$\langle f,x\rangle\le r\|x\|$ なので $\langle f,x\rangle-\frac1p\|x\|^p\le r\|x\|-\frac1p\|x\|^p\le\frac{r^{p'}}{p'}$ であり、$\varphi^*(f)\le\frac{r^{p'}}{p'}$ である。逆に $0< \theta< 1$ について、双対ノルムの定義から $\|u_0\|=1$、$\langle f,u_0\rangle\ge\theta r$ となる $u_0$ をとり、$x:=r^{p'-1}u_0$ とおく。$p(p'-1)=p'$ なので $\|x\|^p=r^{p'}$ であり、
$$
\langle f,x\rangle-\frac1p\|x\|^p\ge\theta r\cdot r^{p'-1}-\frac{r^{p'}}p=\Bigl(\theta-\frac1p\Bigr)r^{p'}
$$
である。$\theta\uparrow1$ として $\varphi^*(f)\ge\bigl(1-\frac1p\bigr)r^{p'}=\frac{r^{p'}}{p'}$ を得る（$r=0$ なら $x=0$ で $\varphi^*(f)\ge0$）。不等式は thm-fy-main の 1 である。
2：$\langle f,x\rangle\le\|f\|_*\|x\|\le\frac1p\|x\|^p+\frac1{p'}\|f\|_*^{p'}$ と分けると、全体の等号は 2 つの不等号がともに等号であることと同値である。2 つ目は 1 変数の Young の不等式で $a=\|x\|$、$b=\|f\|_*$ としたもので、等号は $b=a^{p-1}$、すなわち $b^{p'}=a^{(p-1)p'}=a^p$ のときに限る。
3：$p=p'=2$ では 2 の条件は $\langle f,x\rangle=\|f\|_*\|x\|$ かつ $\|f\|_*=\|x\|$ で、これは $\langle f,x\rangle=\|x\|^2$ かつ $\|f\|_*=\|x\|$ と同値である（$\|x\|=0$ なら $f=0$ に限る）。thm-fy-main の 2 から $\partial\varphi(x)=F(x)$ である。$\square$
1 は Bre11 Exercise 1.19 の 2（p. 25）で、$F$ を 1 変数の凸関数として $F(\|x\|)$ の共役を $F^*(\|f\|_*)$ と求める問題の特別な場合である。3 の $\partial\varphi=F$ は 双対写像(Banach空間) の定理「双対写像の基本性質」の 4 でもある。$E$ が実 Hilbert 空間で $E^*$ を内積で $E$ と同一視すれば、$p=2$ の不等式は $(f,x)\le\frac12\|x\|^2+\frac12\|f\|^2$ で、等号は $f=x$ のときに限る。
和の最小化と弱双対性
2 つの関数の和を最小化する問題
$$
\text{(P)}\quad m:=\inf_{x\in E}\bigl(\varphi(x)+\psi(x)\bigr)
$$
に対し、共役を使った最大化問題
$$
\text{(D)}\quad m^*:=\sup_{f\in E^*}\bigl(-\varphi^*(-f)-\psi^*(f)\bigr)
$$
を考える。(D) を (P) の 双対問題 という。
$\varphi,\psi\colon E\to(-\infty,+\infty]$ を真の関数とする。
- すべての $x\in E$、$f\in E^*$ について $-\varphi^*(-f)-\psi^*(f)\le\varphi(x)+\psi(x)$ であり、$m^*\le m$ である。
- $\bar x\in E$、$\bar f\in E^*$ について、$\varphi(\bar x)+\psi(\bar x)=-\varphi^*(-\bar f)-\psi^*(\bar f)$ かつこの値が有限であることと、$-\bar f\in\partial\varphi(\bar x)$ かつ $\bar f\in\partial\psi(\bar x)$ であることは同値である。このとき $\bar x$ は (P) の最小点、$\bar f$ は (D) の最大点であり、$m=m^*$ である。
1：thm-fy-main の 1 を $\varphi$ と $-f$、$\psi$ と $f$ に使うと
$$
\varphi(x)+\varphi^*(-f)\ge\langle-f,x\rangle,\qquad\psi(x)+\psi^*(f)\ge\langle f,x\rangle
$$
である。両辺の値はすべて $-\infty$ でないので足すことができ、
$$
\bigl(\varphi(x)+\psi(x)\bigr)-\bigl(-\varphi^*(-f)-\psi^*(f)\bigr)=G_\varphi(x,-f)+G_\psi(x,f)\ge0
$$
を得る（$G_\varphi$、$G_\psi$ は Fenchel–Young の差。左辺に $+\infty$ が現れるときは、不等式は自明である）。$x$ について下限、$f$ について上限をとって $m^*\le m$ である。
2：等号で値が有限なら、上の式の左辺が $0$ なので、非負の 2 つの差がともに $0$ であり、thm-fy-main の 2 から $-\bar f\in\partial\varphi(\bar x)$、$\bar f\in\partial\psi(\bar x)$ である。逆にこの 2 つが成り立てば $\bar x\in D(\varphi)\cap D(\psi)$ で、2 つの差がともに $0$ になり、値は有限で等号が成り立つ。このとき 1 から、任意の $x$、$f$ について $-\varphi^*(-f)-\psi^*(f)\le\varphi(\bar x)+\psi(\bar x)=-\varphi^*(-\bar f)-\psi^*(\bar f)\le\varphi(x)+\psi(x)$ である。$\square$
2 は、候補の組 $(\bar x,\bar f)$ が最適であることを、2 つの Fenchel–Young の差が $0$ であることで判定できることを示している。どちらかの差が正なら、その値の和が (P) と (D) の値の差の上界を与える。逆に $m=m^*$ が成り立ち、(D) の上限が達成されるための条件（ある点で $\varphi$ が連続であることなど）は Fenchel–Rockafellarの双対定理 の主題であり、その条件を外すと $\varphi,\psi$ が凸で下半連続でも $m^*< m$ となる例がある（Bre11 Exercise 1.21、p. 26）。
$\psi$ が閉凸集合 $K$ の指示関数（$K$ 上で $0$、外で $+\infty$）なら (P) は制約付き最小化 $\inf_K\varphi$ であり、2 の条件 $\bar f\in\partial\psi(\bar x)$ は $\bar f$ が $\bar x$ での $K$ の法錐に入ること（劣微分 の例「指示関数と法錐」）、$-\bar f\in\partial\varphi(\bar x)$ は「$\varphi$ の傾きの逆向きが法錐に入る」という最適性の条件である。
条件を外した反例
thm-fy-main の 3（等号条件の対称性）と 1 の仮定を 1 つずつ外すと、次のように結論が崩れる。表の各行は 1 つの条件だけを外している。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 下半連続性 | $\varphi=I_{(0,1)}$（$(0,1)$ 上で $0$、外で $+\infty$、$E=\mathbb{R}$）、$x=1$、$f=1$ | $\varphi^*(g)\ge\varphi^*(1)+(g-1)\cdot1$ がすべての $g$ で成り立つが、$\varphi(1)+\varphi^*(1)=+\infty\neq1$ |
| 凸性 | $\varphi(t)=(\lvert t\rvert-1)^2$（$E=\mathbb{R}$）、$x=0$、$f=0$ | $\varphi^*(g)\ge\varphi^*(0)+g\cdot0$ がすべての $g$ で成り立つが、$\varphi(0)+\varphi^*(0)=1\neq0$ |
| 真であること | $\varphi\equiv+\infty$ | 共役の定義が当てはまらず、上限の式をそのまま当てると $\varphi^*\equiv-\infty$ となって、和 $\varphi(x)+\varphi^*(f)$ が定まらない |
共役を定義から計算する。
詳細
1 行目：$\varphi$ は凸で真だが、$\{\varphi\le0\}=(0,1)$ が閉でないので下半連続でない。$\varphi^*(g)=\sup_{0< t< 1}gt=\max\{g,0\}$ であり、$\max\{g,0\}\ge g=\varphi^*(1)+(g-1)$ がすべての $g$ で成り立つ。一方 $\varphi(1)=+\infty$ なので等号は成り立たない。
2 行目：$\varphi$ は連続な真の関数だが、$\varphi(0)=1>0=\frac{\varphi(-1)+\varphi(1)}2$ なので凸でない。$\varphi^*(0)=\sup_t(-\varphi(t))=0$ である（$t=\pm1$）。任意の $g$ について $\varphi^*(g)\ge g\cdot\operatorname{sgn}(g)-\varphi(\operatorname{sgn}(g))=|g|\ge0$（$g=0$ なら $\varphi^*(0)=0$）なので条件は成り立つ。一方 $\varphi(0)+\varphi^*(0)=1\neq0=\langle0,0\rangle$ である。
3 行目：$\varphi$ は凸で下半連続だが真でない。$\langle f,x\rangle-\varphi(x)=-\infty$ がすべての $x$ で成り立つので、上限は $-\infty$ である。
1 行目は、$\varphi$ を下半連続包 $I_{[0,1]}$ に替えると等号 $I_{[0,1]}(1)+\varphi^*(1)=1$ が成り立つ例であり、2 行目は $\varphi$ を二重共役（$|t|\le1$ で $0$）に替えると等号が成り立つ例である。3 の条件は $\varphi^{**}$ の劣微分を見ているので、$\varphi^{**}\neq\varphi$ の点で 2 の等号条件とずれる。
関連項目
- 前提: Fenchel共役, 劣微分, 凸関数, ノルム空間
- 道具: Fenchel–Moreauの定理, Fubiniの定理, 双対写像(Banach空間)
- 比較: Hölderの不等式, Youngの畳み込み不等式, エピグラフ
- 直後に読む: Fenchel–Rockafellarの双対定理, inf畳み込み
- 発展: Moreau–吉田正則化, 支持関数
参考文献
Mathpediaは寄付と、参考文献の書籍リンク（Amazonアソシエイト）の紹介料で運営されています。 支援について ／ 寄付する
