凸関数(convex function)とは、区間 $I$ 上の実数値関数 $f$ で、任意の $x,y\in I$ と $0\le t\le1$ について $f((1-t)x+ty)\le(1-t)f(x)+tf(y)$ を満たすもの、すなわちグラフ上の 2 点を結ぶ線分がグラフより下に来ない関数である。$x^2$、$|x|$、$e^x$ は凸関数であり、開区間上で 2 回微分可能な関数では、凸であることと $f''\ge0$ が同値である。開区間上の凸関数は連続で左右の微分係数をもち、有限個の点の重み付き平均について Jensen の不等式 $f(\sum_i\lambda_ix_i)\le\sum_i\lambda_if(x_i)$ が成り立つ。これを凹関数 $\log x$ に使うと相加相乗平均の不等式が得られ、Young・Hölder の不等式も導かれる。
指数関数 $e^x$ のグラフ上の 2 点 $(1,e)$ と $(3,e^3)$ を線分で結ぶと、その中点の高さは $(e+e^3)/2=11.4019\ldots$ であり、真ん中の $x=2$ でのグラフの高さ $e^2=7.3890\ldots$ より上にある。どの 2 点をとっても、それを結ぶ線分がグラフより下に来ない。このような関数を 凸関数 という。反対に対数関数 $\log x$ では線分がグラフより上に来ない(凹関数)。たとえば $2$ と $8$ について、真ん中の点での値 $\log\frac{2+8}{2}=\log5=1.6094\ldots$ は、両端の値の平均 $\frac{\log2+\log8}{2}=\log4=1.3862\ldots$ 以上である。両辺の指数をとると $5\ge4$、すなわち $2$ と $8$ の相加平均 $5$ が相乗平均 $\sqrt{2\cdot8}=4$ 以上であることになる。
凸関数は、グラフが「下に膨らんでいる」関数であり、微分積分・不等式・最適化の基本的な対象である。凸関数の最も重要な性質は、2 点についての定義の不等式が任意個の点の重み付き平均に広がる Jensen の不等式 であり、相加相乗平均の不等式・Young の不等式・Hölder の不等式はすべてこれから導かれる。本記事では 1 変数の凸関数を主に扱い、定義・傾きの単調性・連続性と片側微分・導関数による判定・Jensen の不等式とその応用を証明する。
以下、$I\subset\mathbb{R}$ は区間とする。区間の 2 点 $x,y$ と $0\le t\le1$ について、$(1-t)x+ty$ は $x$ と $y$ の間の点であり、$I$ に属する。
$f\colon I\to\mathbb{R}$ とする。
点 $(1-t)x+ty$ は $t=0$ で $x$、$t=1$ で $y$ であり、右辺の $(1-t)f(x)+tf(y)$ は、グラフ上の 2 点 $(x,f(x))$ と $(y,f(y))$ を結ぶ線分(弦)の、横座標 $(1-t)x+ty$ における高さである。したがって凸であるとは、どの弦もグラフより下に来ないことである。$t=0,1$ や $x=y$ では不等式は等号で成り立つので、$x< y$、$0< t<1$ の場合を確かめれば足りる($x>y$ の場合は $x$ と $y$、$t$ と $1-t$ を入れ替えればよい)。この定義は BV04 §3.1.1(p. 67)や Leb の Exercise 3.2.19(p. 129)と同じであり、凸集合 の記事の節「凸関数との関係」の定義とも同じである。
凸関数は、$f$ のグラフの上側の部分(エピグラフ)$\{(x,y)\in\mathbb{R}^2\mid x\in I,\ y\ge f(x)\}$ が凸集合であることと同値である(凸集合 の記事の節「凸関数との関係」)。「下に凸」「上に凸」という言い方では、凸関数は下に凸、凹関数は上に凸である。
凸関数は、グラフのどの部分を切り出しても弦の下にある、つまり「たるんだ綱」のような形の関数である。傾きで言えば、右へ進むほど傾きが大きくなる(減らない)関数である(prop-cvxf-slopes)。微分できるなら導関数が単調に増える関数であり、2 回微分できるなら 2 階導関数が $0$ 以上の関数である(cor-cvxf-second-derivative)。凸関数では「平均の値は値の平均以下」になり、これを任意個の点に広げたものが Jensen の不等式である。また、凸関数には谷底が高々 1 つの区間しかなく、局所的な最小はそのまま全体の最小になる(prop-cvxf-minimum)。この性質のために、凸関数の最小化(凸最適化)は計算で扱いやすい。
条件を 1 つ外した反例を表にまとめる。最後の行の例は prop-cvxf-minimum の後で確かめ、ほかの行の確認は上の反例の箱にある。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 区間が開区間(thm-cvxf-continuity) | $[0,1)$ で $0$、$f(1)=1$ | 凸関数は連続である |
| 左右の微分係数が等しい(thm-cvxf-continuity が保証するのは存在まで) | $\lvert x\rvert$ | 凸関数は微分可能である |
| 演算が和(積に替える) | $x$ と $x^2$ の積 $x^3$ | 凸関数の積は凸関数である |
| $f''>0$ の逆向き(cor-cvxf-second-derivative) | $x^4$ | 狭義凸関数では 2 階導関数がつねに正である |
| 凸性(prop-cvxf-minimum) | $x^3-3x$ | 局所的な最小は全体の最小 |
$u\neq v$ について、グラフ上の 2 点 $(u,f(u))$、$(v,f(v))$ を結ぶ直線の傾きを
$$
s(u,v):=\frac{f(v)-f(u)}{v-u}
$$
と書く。$s(u,v)=s(v,u)$ である。
$f\colon I\to\mathbb{R}$ について、次の 3 条件は同値である。
1 ⇒ 2:$t:=\frac{b-a}{c-a}$ とおくと $0< t<1$、$b=(1-t)a+tc$、$b-a=t(c-a)$、$c-b=(1-t)(c-a)$ である。凸性から $f(b)\le(1-t)f(a)+tf(c)$ である。両辺から $f(a)$ を引くと $f(b)-f(a)\le t(f(c)-f(a))$ であり、$b-a=t(c-a)$ で割ると $s(a,b)\le s(a,c)$ を得る。また両辺から $f(c)$ を引くと $f(b)-f(c)\le(1-t)(f(a)-f(c))$、すなわち $f(c)-f(b)\ge(1-t)(f(c)-f(a))$ であり、$c-b=(1-t)(c-a)$ で割ると $s(b,c)\ge s(a,c)$ を得る。
2 ⇒ 3:$u\in I$、$v_1< v_2$($v_1,v_2\neq u$)とする。$u< v_1< v_2$ なら 2 の左の不等式($a=u$、$b=v_1$、$c=v_2$)により $s(u,v_1)\le s(u,v_2)$ である。$v_1< v_2< u$ なら 2 の右の不等式($a=v_1$、$b=v_2$、$c=u$)により $s(v_1,u)\le s(v_2,u)$ である。$v_1< u< v_2$ なら 2 の両端($a=v_1$、$b=u$、$c=v_2$)により $s(v_1,u)\le s(u,v_2)$ である。$s$ は対称なので、いずれも $s(u,v_1)\le s(u,v_2)$ である。
3 ⇒ 1:$x< y$、$0< t<1$ とし、$b:=(1-t)x+ty$ とおく。$x< b< y$ であり、3 を $u=x$、$v_1=b$、$v_2=y$ に使うと $s(x,b)\le s(x,y)$ である。$b-x=t(y-x)$ を掛けると $f(b)-f(x)\le t(f(y)-f(x))$、すなわち $f(b)\le(1-t)f(x)+tf(y)$ である。$\square$
1 ⇒ 2 は Γ関数 の記事の補題「凸関数の傾きの単調性」と同じ内容である。狭義凸関数では、同じ計算で 2 と 3 の不等号がすべて $<$ になる。
$x\in I$ とする。$I$ は開区間なので、$a< x< b$ となる $a,b\in I$ がある。
1:$0< h< b-x$ について、prop-cvxf-slopes の 3 により $h\mapsto s(x,x+h)$ は単調増加であり、同じく 3 により($a< x+h$ なので)$s(x,a)\le s(x,x+h)$、すなわち $s(a,x)\le s(x,x+h)$ である。よって $h$ を $0$ に近づけると $s(x,x+h)$ は減少し、$s(a,x)$ で下から押さえられる。$m:=\inf_{0< h< b-x}s(x,x+h)$ とおくと(上限と下限)、任意の $\varepsilon>0$ に対し $s(x,x+h_0)< m+\varepsilon$ となる $h_0$ があり、$0< h< h_0$ なら $m\le s(x,x+h)\le s(x,x+h_0)< m+\varepsilon$ である。よって $f'_+(x)=m$ が存在する。同様に $0< h< x-a$ について $s(x-h,x)=s(x,x-h)$ は $h$ を $0$ に近づけると増加し、$s(x,b)$ で上から押さえられるので、$f'_-(x)=\sup_{h}s(x-h,x)$ が存在する。任意の $h,k>0$ について $x-h< x< x+k$ なので prop-cvxf-slopes の 2 により $s(x-h,x)\le s(x,x+k)$ であり、上限と下限をとって $f'_-(x)\le f'_+(x)$ を得る。
2:$x< y$ とし、$0< h< y-x$ とする。prop-cvxf-slopes の 3 により $s(x,x+h)\le s(x,y)$、$s(y,x)\le s(y,y-h)$ である。$h\to+0$ として $f'_+(x)\le s(x,y)\le f'_-(y)$ を得る。1 と合わせて $f'_-(x)\le f'_+(x)\le f'_-(y)\le f'_+(y)$ なので、$f'_-$ と $f'_+$ は単調増加である。
3:$0< h< b-x$ について $f(x+h)-f(x)=h\,s(x,x+h)$ であり、1 の証明から $s(a,x)\le s(x,x+h)\le s(x,b)$ なので、$|f(x+h)-f(x)|\le h\max\{|s(a,x)|,|s(x,b)|\}\to0$($h\to+0$)である。同様に $f(x-h)-f(x)=-h\,s(x-h,x)\to0$ である。よって $f$ は $x$ で連続である。$\square$
3 は Leb の Exercise 3.2.19 (a)(p. 129)にある。BV04 §3.1.1(p. 68)は、多変数の凸関数が定義域の相対的内部で連続であることを述べている。
$I$ を開区間、$f\colon I\to\mathbb{R}$ を $I$ 上で微分可能な関数とする。次の 3 条件は同値である。
1 ⇒ 2:$x< y$ とする。$f$ は微分可能なので $f'_+(x)=f'(x)$、$f'_-(y)=f'(y)$ であり、thm-cvxf-continuity の 2 により $f'(x)\le s(x,y)\le f'(y)$ である。
2 ⇒ 3:$y\neq x$ とする。平均値の定理 の記事の定理「平均値の定理」により、$x$ と $y$ の間の点 $\xi$($\xi\neq x$)で $f(y)-f(x)=f'(\xi)(y-x)$ となるものがある。$y>x$ なら $\xi>x$ なので $f'(\xi)\ge f'(x)$ であり、$y-x>0$ を掛けて $f(y)-f(x)\ge f'(x)(y-x)$ を得る。$y< x$ なら $\xi< x$ なので $f'(\xi)\le f'(x)$ であり、$y-x<0$ を掛けると不等号の向きが変わって同じ不等式を得る。$y=x$ では等号である。
3 ⇒ 1:$x,y\in I$、$0\le t\le1$、$z:=(1-t)x+ty$ とする。3 を点 $z$ で使うと
$$
f(x)\ge f(z)+f'(z)(x-z),\qquad f(y)\ge f(z)+f'(z)(y-z)
$$
である。第 1 式に $1-t$、第 2 式に $t$ を掛けて加えると、$(1-t)(x-z)+t(y-z)=(1-t)x+ty-z=0$ なので、$(1-t)f(x)+tf(y)\ge f(z)$ を得る。
最後の主張:$f'$ が狭義単調増加なら、2 ⇒ 3 の議論で $f'(\xi)>f'(x)$($y>x$)、$f'(\xi)< f'(x)$($y< x$)となるので、$y\neq x$ のとき $f(y)>f(x)+f'(x)(y-x)$ である。$x\neq y$、$0< t<1$ なら $z$ は $x$ とも $y$ とも異なるので、3 ⇒ 1 の 2 つの不等式はともに $>$ になり、$(1-t)f(x)+tf(y)>f(z)$ を得る。$\square$
3 ⇒ 1 の議論は BV04 §3.1.3(pp. 69–70)の 1 変数の場合の証明と同じである。
$I$ を開区間、$f\colon I\to\mathbb{R}$ を $I$ 上で 2 回微分可能な関数とする。
平均値の定理 の記事の系「導関数の符号と増減」を $f'$ に使うと、$f''\ge0$ であることと $f'$ が単調増加であることは同値であり、$f''>0$ なら $f'$ は狭義単調増加である。あとは prop-cvxf-differentiable による。$\square$
$f\colon I\to\mathbb{R}$ を凸関数、$c\in I$ とする。
1:$y\in I$ とする。$0< t\le1$ を $t|y-c|<\delta$ となるように小さくとり、$z:=(1-t)c+ty$ とおくと $|z-c|=t|y-c|<\delta$ なので、仮定と凸性により
$$
f(c)\le f(z)\le(1-t)f(c)+tf(y)
$$
である。これを整理すると $tf(c)\le tf(y)$ であり、$t>0$ で割って $f(c)\le f(y)$ を得る。
2:prop-cvxf-differentiable の 3 で $x=c$ とすると、任意の $y\in I$ について $f(y)\ge f(c)+f'(c)(y-c)=f(c)$ である。$\square$
凸性の仮定を外すと、どちらも成り立たなくなる。$f(x)=x^3-3x$ は $f'(1)=0$ で、$1$ の近くでは $f(1)=-2$ が最小だが、$f(-3)=-18<-2$ である。この例は凸性を満たさず($f''(x)=6x$ は $x<0$ で負)、「局所的な最小は全体の最小」という結論が破れる。
$f\colon I\to\mathbb{R}$ を凸関数とし、$x_1,\dots,x_n\in I$、$\lambda_1,\dots,\lambda_n\ge0$、$\lambda_1+\cdots+\lambda_n=1$ とする。このとき $\sum_i\lambda_ix_i\in I$ であり、
$$
f\Bigl(\sum_{i=1}^n\lambda_ix_i\Bigr)\le\sum_{i=1}^n\lambda_if(x_i)
$$
が成り立つ。さらに $f$ が狭義凸関数で、すべての $\lambda_i$ が正ならば、等号が成り立つのは $x_1=x_2=\cdots=x_n$ のときに限る。
$m:=\min_ix_i$、$M:=\max_ix_i$ とすると $m\le\sum_i\lambda_ix_i\le M$ であり、$m,M\in I$ で $I$ は区間なので $\sum_i\lambda_ix_i\in I$ である。
不等式を $n$ についての数学的帰納法で示す。$n=1$ では $\lambda_1=1$ で等号である。$n\ge2$ とし、$n-1$ 個では正しいとする。$\lambda_n=1$ なら他の $\lambda_i$ はすべて $0$ で、両辺は $f(x_n)$ である。$\lambda_n<1$ なら $s:=1-\lambda_n=\lambda_1+\cdots+\lambda_{n-1}>0$ とおき、
$$
y:=\sum_{i=1}^{n-1}\frac{\lambda_i}{s}x_i
$$
とする。係数 $\lambda_i/s$ は $0$ 以上で和が $1$ なので、前段により $y\in I$ である。$\sum_i\lambda_ix_i=sy+\lambda_nx_n$ で $s+\lambda_n=1$ なので、凸性と帰納法の仮定により
$$
f\Bigl(\sum_{i=1}^n\lambda_ix_i\Bigr)=f(sy+\lambda_nx_n)\le sf(y)+\lambda_nf(x_n)\le s\sum_{i=1}^{n-1}\frac{\lambda_i}{s}f(x_i)+\lambda_nf(x_n)=\sum_{i=1}^n\lambda_if(x_i)
$$
である。
等号の条件:$f$ は狭義凸で、すべての $\lambda_i>0$ とする。$x_1=\cdots=x_n$ なら両辺は $f(x_1)$ で等しい。逆を $n$ についての帰納法で示す。$n=1$ では明らかである。$n\ge2$ なら $0<\lambda_n<1$、$0< s<1$ であり、全体が等号なら上の 2 つの $\le$ はともに等号である。2 つ目の等号は $f(y)=\sum_{i< n}(\lambda_i/s)f(x_i)$ を意味し、係数 $\lambda_i/s$ はすべて正なので、帰納法の仮定により $x_1=\cdots=x_{n-1}$、したがって $y=x_1$ である。1 つ目の等号 $f(sy+\lambda_nx_n)=sf(y)+\lambda_nf(x_n)$ は、狭義凸性($0<\lambda_n<1$)により $y=x_n$ を意味する。よって $x_1=\cdots=x_n$ である。$\square$
Jensen の不等式は、点 $(x_i,f(x_i))$ がすべてエピグラフに属し、エピグラフが凸集合なので、その凸結合 $\bigl(\sum\lambda_ix_i,\sum\lambda_if(x_i)\bigr)$ もエピグラフに属する、と読むこともできる(凸集合 の記事の命題「凸集合は凸結合で閉じている」)。$\lambda_i=\frac1n$ とすると「平均での値は値の平均以下」
$$
f\Bigl(\frac{x_1+\cdots+x_n}{n}\Bigr)\le\frac{f(x_1)+\cdots+f(x_n)}{n}
$$
となる。$f$ が凹関数なら不等号の向きが逆になる。
BV04 §3.1.8(pp. 77–78)によれば、J. Jensen 自身が調べたのは 2 点の中点についての不等式 $f(\frac{x+y}2)\le\frac{f(x)+f(y)}2$ であり、今日では定義の不等式、有限個の凸結合の形の thm-cvxf-jensen、その積分や期待値の形をまとめて Jensen の不等式と呼ぶ。期待値の形は、確率変数 $X$ が $I$ に値をとり期待値が存在するとき $f(E[X])\le E[f(X)]$ というものである。$X$ が有限個の値 $x_i$ を確率 $\lambda_i$ でとる場合は thm-cvxf-jensen そのものであり、一般の場合は同書の同じ節に言明がある(本記事では証明しない)。
$a_1,\dots,a_n>0$、$\lambda_1,\dots,\lambda_n\ge0$、$\lambda_1+\cdots+\lambda_n=1$ とすると
$$
a_1^{\lambda_1}a_2^{\lambda_2}\cdots a_n^{\lambda_n}\le\lambda_1a_1+\lambda_2a_2+\cdots+\lambda_na_n
$$
が成り立つ。等号は、$\lambda_i>0$ となるすべての $i$ について $a_i$ が等しいときに限る。
$\lambda_i>0$ となる $i$ だけを残しても両辺は変わらない($a_i^0=1$)ので、すべての $\lambda_i>0$ としてよい。ex-cvxf-second-derivative の 2 により $-\log$ は $(0,\infty)$ 上の狭義凸関数なので、thm-cvxf-jensen により
$$
-\log\Bigl(\sum_i\lambda_ia_i\Bigr)\le-\sum_i\lambda_i\log a_i,\quad\text{すなわち}\quad\sum_i\lambda_i\log a_i\le\log\Bigl(\sum_i\lambda_ia_i\Bigr)
$$
であり、等号は $a_1=\cdots=a_n$ のときに限る。$a_i^{\lambda_i}=e^{\lambda_i\log a_i}$ なので左辺は $\log\bigl(\prod_ia_i^{\lambda_i}\bigr)$ であり、$e^x$ は狭義単調増加なので、両辺の指数をとって結論を得る。$\square$
$\lambda_i=\frac1n$ とすると $\sqrt[n]{a_1\cdots a_n}\le\frac{a_1+\cdots+a_n}n$ であり、これは 不等式 の記事の定理「$n$ 変数の相加相乗平均の不等式」($a_i>0$ の場合)である。同記事の証明は積が $1$ の数についての帰納法によるもので、上の証明は対数の凹性による別証明である(この筋は BV04 §3.1.9、p. 78 にある)。冒頭の $\log5\ge\log4$ は $n=2$、$a_1=2$、$a_2=8$ の場合である。
$p,q>1$ が $\frac1p+\frac1q=1$ を満たすとき、$a,b\ge0$ について
$$
ab\le\frac{a^p}{p}+\frac{b^q}{q}
$$
が成り立つ。$a,b>0$ のとき、等号は $a^p=b^q$ のときに限る。
$a=0$ または $b=0$ なら左辺は $0$ で右辺は $0$ 以上である。$a,b>0$ なら、cor-cvxf-weighted-am-gm を $a_1=a^p$、$a_2=b^q$、$\lambda_1=\frac1p$、$\lambda_2=\frac1q$ に使うと、$(a^p)^{1/p}=e^{\frac1p\cdot p\log a}=a$、$(b^q)^{1/q}=b$ なので
$$
ab=(a^p)^{1/p}(b^q)^{1/q}\le\frac1pa^p+\frac1qb^q
$$
であり、等号は $a^p=b^q$ のときに限る。$\square$
$p,q>1$ が $\frac1p+\frac1q=1$ を満たすとき、$0$ 以上の実数 $a_1,\dots,a_n$、$b_1,\dots,b_n$ について
$$
\sum_{i=1}^na_ib_i\le\Bigl(\sum_{i=1}^na_i^p\Bigr)^{1/p}\Bigl(\sum_{i=1}^nb_i^q\Bigr)^{1/q}
$$
が成り立つ。
$A:=(\sum_ia_i^p)^{1/p}$、$B:=(\sum_ib_i^q)^{1/q}$ とおく。$A=0$ ならすべての $a_i$ が $0$ で両辺は $0$ であり、$B=0$ でも同じである。$A,B>0$ とし、各 $i$ について cor-cvxf-young を $a_i/A$、$b_i/B$ に使って $i$ について加えると
$$
\frac{1}{AB}\sum_ia_ib_i\le\frac1p\cdot\frac{\sum_ia_i^p}{A^p}+\frac1q\cdot\frac{\sum_ib_i^q}{B^q}=\frac1p+\frac1q=1
$$
であり、$AB$ を掛けて結論を得る。$\square$
$p=q=2$ の場合は Cauchy–Schwarz の不等式である。不等式 の記事の定理「Hölderの不等式とMinkowskiの不等式の言明」は証明を他に譲っているが、上の 3 つの系はその Hölder の不等式の部分を Jensen の不等式から証明したものである(BV04 §3.1.9 と同じ筋)。
$C\subset\mathbb{R}^n$ を凸集合とし、$f\colon C\to\mathbb{R}$ とする。任意の $x,y\in C$ と $0\le t\le1$ について $f((1-t)x+ty)\le(1-t)f(x)+tf(y)$ が成り立つとき、$f$ を凸関数という(BV04 §3.1.1)。$f$ が凸であることは、$C$ と交わる各直線への制限 $t\mapsto f(x+tv)$ が 1 変数の凸関数であることと同値であり(定義から直ちに従う)、1 変数の結果の多くはこの制限を通して多変数に移せる。たとえば $\mathbb{R}^n$ の任意のノルム $\|\cdot\|$ は凸関数である。三角不等式と斉次性により $\|(1-t)x+ty\|\le(1-t)\|x\|+t\|y\|$ だからである。thm-cvxf-jensen は同じ証明で多変数の凸関数に対しても成り立つ($\sum\lambda_ix_i\in C$ は 凸集合 の記事の命題「凸集合は凸結合で閉じている」による)。開凸集合上で 2 回連続微分可能な $f$ が凸であることは、各点での Hesse 行列(Hesse行列)が半正定値であることと同値である(BV04 §3.1.4、p. 71。証明は同書の演習)。
Γ関数 の記事の定理「Bohr–Mollerup の定理」は、$\Gamma$ を「対数が凸関数である」という性質(対数凸性)で特徴づけている。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する