Jensenの不等式

同義語:イェンセンの不等式Jensen's inequality

概要

Jensenの不等式(Jensen's inequality)とは、確率空間上の可積分関数 $f$ が区間 $I$ に値をとり、$\varphi$ が $I$ 上の凸関数のとき、$\varphi(\int f\,d\mu)\le\int\varphi(f)\,d\mu$ が成り立つという不等式である。平均の点で凸関数に下から接する直線を積分すれば得られ、$\varphi$ が狭義凸なら等号は $f$ がほとんど至るところ定数のときに限る。多変数の凸関数や条件付き期待値にも同じ形で広がり、確率空間での $L^p$ ノルムの単調性や、相対エントロピーが $0$ 以上であることはその直接の帰結である。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 凸関数, Lebesgue積分, 確率空間

何を表す不等式か

凸関数 $\varphi$ のグラフは、どの弦よりも下にある。これを平均の言葉で言い直すと「平均での値は、値の平均以下」
$$ \varphi\Bigl(\int f\,d\mu\Bigr)\le\int\varphi(f)\,d\mu $$
となる。これが Jensen の不等式 である。有限個の点の重み付き平均の場合は 凸関数 の定理「有限個の点のJensenの不等式」であり、高校数学の範囲での扱いは Jensenの不等式(高校数学) にある。この記事では、確率測度による積分(期待値)の形と、条件付き期待値の形を扱う。
証明の要点は 1 つで、平均の点 $m=\int f\,d\mu$ で凸関数の下から接する直線(支持直線)$\ell$ をとり、$\varphi(f)\ge\ell(f)$ を積分することである。$\ell$ は 1 次関数なので積分と交換でき、$\int\ell(f)=\ell(m)=\varphi(m)$ となる。$L^p$ ノルムの単調性、相加相乗平均の不等式の積分版、情報量の不等式などがここから出る。

設定

以下 $(\Omega,\mathcal F,\mu)$ は確率空間($\mu(\Omega)=1$)、$I\subset\mathbb R$ は区間(開・閉・半開、有界・非有界を問わない)、$\varphi\colon I\to\mathbb R$ は凸関数である。$I$ の内部では $\varphi$ は連続であり(凸関数 の定理「開区間上の凸関数の連続性と片側微分」)、端点はたかだか 2 点なので、$\varphi$ は Borel 可測である。とくに可測関数 $f\colon\Omega\to I$ について $\varphi(f)$ は可測である。

支持直線

$m$ を $I$ の内点とし、$a$ を $\varphi'_-(m)\le a\le\varphi'_+(m)$ をみたす実数とする(片側微分係数は実数として存在する)。このとき $\ell(t):=\varphi(m)+a(t-m)$ について、すべての $t\in I$ で $\varphi(t)\ge\ell(t)$ である。

$s(u,v):=\frac{\varphi(v)-\varphi(u)}{v-u}$ とする。凸関数 の命題「凸関数の傾きの単調性」の 3 により、$v\mapsto s(m,v)$ は $I\setminus\{m\}$ 上で単調増加である。$t>m$ なら、$0< h< t-m$ について $s(m,t)\ge s(m,m+h)$ で、$h\to+0$ とすると $s(m,t)\ge\varphi'_+(m)\ge a$、すなわち $\varphi(t)-\varphi(m)\ge a(t-m)$ である。$t< m$ なら同様に $s(m,t)\le\varphi'_-(m)\le a$ であり、$t-m<0$ を掛けて同じ不等式を得る。$\square$

主定理

Jensenの不等式

$f\colon\Omega\to I$ を可積分な関数とする。このとき $m:=\int f\,d\mu\in I$ であり、$\varphi(f)$ の負の部分は可積分なので $\int\varphi(f)\,d\mu\in(-\infty,\infty]$ が定まり、
$$ \varphi\Bigl(\int f\,d\mu\Bigr)\le\int\varphi(f)\,d\mu $$
が成り立つ。

支持直線を積分する

$m\in I$。 $I$ の下端を $\alpha$ とする($\alpha=-\infty$ なら何もしない)。$f\ge\alpha$ なので $m\ge\alpha$ である。$\alpha\notin I$ のとき $m=\alpha$ とすると、$f-\alpha>0$ で $\int(f-\alpha)\,d\mu=0$ となり、$f-\alpha=0$ がほとんど至るところ成り立つことになって(Lebesgue積分 の補題「零集合と積分」)$\mu(\Omega)=1$ に反する。上端についても同じなので $m\in I$ である。
$m$ が $I$ の端点の場合。 たとえば $m=\alpha\in I$ なら、$f-\alpha\ge0$ で積分が $0$ なので $f=m$ がほとんど至るところ成り立つ。このとき $\varphi(f)=\varphi(m)$ がほとんど至るところ成り立ち、両辺は等しい。上端でも同じである。
$m$ が $I$ の内点の場合。 lem-jen-support の支持直線 $\ell(t)=\varphi(m)+a(t-m)$ をとると、$\varphi(f)\ge\ell(f)$ であり、$\ell(f)$ は可積分である。よって $\varphi(f)^-\le\lvert\ell(f)\rvert$ は可積分で、
$$ \int\varphi(f)\,d\mu\ge\int\ell(f)\,d\mu=\varphi(m)+a\Bigl(\int f\,d\mu-m\Bigr)=\varphi(m) $$
である。$\square$

$\varphi$ が $\mathbb R$ 全体で定義された凸関数の場合の同じ筋の証明は Dur19 Theorem 1.5.1(p. 25)にある。$m$ が端点になる場合を分けたのは、端点では支持直線がないことがあるからである。$I=[0,\infty)$、$\varphi(t)=-\sqrt t$ では、$0$ での傾きが $-\infty$ に発散し、$0$ を通って $\varphi$ の下にある直線はない。それでも $m=0$ なら $f=0$ がほとんど至るところ成り立つので、不等式は等号で成り立つ。

等号の条件

thm-jen-main の設定で、$m$ が $I$ の内点で $\int\varphi(f)\,d\mu<\infty$ とし、$\ell$ を $m$ での支持直線とする。等号 $\varphi(m)=\int\varphi(f)\,d\mu$ が成り立つことと、$f$ がほとんど至るところ集合 $\{t\in I\mid\varphi(t)=\ell(t)\}$ に値をとることは同値である。この集合は $m$ を含む区間で、その上で $\varphi$ は 1 次関数である。とくに $\varphi$ が狭義凸なら、等号は $f=m$ がほとんど至るところ成り立つときに限る。

$\varphi(f)-\ell(f)\ge0$ であり、その積分は $\int\varphi(f)\,d\mu-\varphi(m)$ である。これが $0$ であることは、$\varphi(f)=\ell(f)$ がほとんど至るところ成り立つことと同値である(Lebesgue積分 の補題「零集合と積分」)。$\varphi-\ell$ は $0$ 以上の凸関数なので、零点の集合 $\{\varphi-\ell\le0\}$ は区間であり(2 点で $0$ なら間の点でも凸性から $0$ 以下)、その上で $\varphi=\ell$ は 1 次関数である。$\varphi$ が狭義凸なら、この区間は 1 点 $\{m\}$ である。$\square$

測度が 1 でない場合と拡張実数値の凸関数

$0<\mu(\Omega)<\infty$ の測度空間では、$\mu/\mu(\Omega)$ に主定理を使うと、平均 $A(f):=\frac1{\mu(\Omega)}\int f\,d\mu$ について $\varphi(A(f))\le A(\varphi(f))$ である。$\mu(\Omega)=0$ では平均が定義されないので、$\mu(\Omega)>0$ の仮定は外せない。
凸関数 $j\colon\mathbb R\to(-\infty,\infty]$($j\not\equiv\infty$)については、$D(j):=\{t\mid j(t)<\infty\}$ は区間で、$j$ を $D(j)$ に制限すると実数値の凸関数になる。したがって、$f\in L^1$ がほとんど至るところ $D(j)$ に値をとり $j(f)\in L^1$ なら、主定理を $I=D(j)$ に使って $A(f)\in D(j)$ と $j(A(f))\le A(j(f))$ を得る。これが Bre11 Exercise 4.9(p. 120)の形で、同書は $j$ の下半連続性も仮定しているが、この議論では使わない。

応用

確率空間でのLpノルムの単調性

$0< p< q\le\infty$ とし、$f$ を可測関数とする。$\|f\|_p:=(\int\lvert f\rvert^p\,d\mu)^{1/p}$($p=\infty$ では本質的上限)について、$\|f\|_p\le\|f\|_q$ である。

$q=\infty$ なら $\lvert f\rvert^p\le\|f\|_\infty^p$ がほとんど至るところ成り立つので、積分して結論を得る。$q<\infty$ とし、$\|f\|_q<\infty$ としてよい。$\lvert f\rvert^p\le1+\lvert f\rvert^q$ なので $g:=\lvert f\rvert^p$ は可積分である。$\varphi(t)=t^{q/p}$ は $[0,\infty)$ 上の凸関数なので、thm-jen-main により $\bigl(\int g\,d\mu\bigr)^{q/p}\le\int g^{q/p}\,d\mu=\int\lvert f\rvert^q\,d\mu$ であり、$\frac1q$ 乗して結論を得る。$\square$

$1\le p< q$ の場合は、Hölder の不等式による別証明が Lp空間 の命題「有限測度空間での包含」にある。確率空間でない場合は成り立たない(下の反例の表)。

積分の形の相加相乗平均

$g>0$ を可測関数で $\log g$ が可積分なものとする。$\varphi=\exp$ は $\mathbb R$ 上の凸関数なので、$f=\log g$ に thm-jen-main を使うと
$$ \exp\Bigl(\int\log g\,d\mu\Bigr)\le\int g\,d\mu $$
である(右辺は $\infty$ でもよい)。$\Omega=\{1,\dots,N\}$ で $\mu$ が一様なら、$\sqrt[N]{g_1\cdots g_N}\le\frac{g_1+\cdots+g_N}N$ である。

情報量の不等式

$p_1,\dots,p_N$ と $q_1,\dots,q_N$ を確率($0$ 以上で和が $1$)とし、$p_i>0$ なら $q_i>0$ とする。$p_i>0$ となる $i$ の上の確率測度 $p$ と凹関数 $\log$ に thm-jen-main を($-\log$ が凸なので不等号を逆にして)使うと
$$ \sum_{p_i>0}p_i\log\frac{q_i}{p_i}\le\log\sum_{p_i>0}p_i\frac{q_i}{p_i}=\log\sum_{p_i>0}q_i\le0 $$
である。すなわち $\sum_ip_i\log\frac{p_i}{q_i}\ge0$(相対エントロピーは $0$ 以上)である。全体が等号なら 2 つの不等号がともに等号で、$-\log$ は狭義凸なので prop-jen-equality により $q_i/p_i$ は $p_i>0$ の範囲で定数、2 つ目の等号からその定数は $1$ である。よって等号は $p=q$ のときに限る。

多変数の凸関数

$\mathbb R^d$ に値をとる関数についても、支持直線を支持超平面に取り替えれば同じ議論ができる。$\langle\cdot,\cdot\rangle$ を $\mathbb R^d$ の標準内積とし、$f=(f_1,\dots,f_d)$ の積分を成分ごとに $\int f\,d\mu:=(\int f_1\,d\mu,\dots,\int f_d\,d\mu)$ で定める。

多変数のJensenの不等式

$C\subset\mathbb R^d$ を空でない開凸集合、$\varphi\colon C\to\mathbb R$ を連続な凸関数、$f\colon\Omega\to C$ を各成分が可積分な関数とする。このとき $m:=\int f\,d\mu\in C$ であり、$\varphi(f)$ の負の部分は可積分で、$\varphi(m)\le\int\varphi(f)\,d\mu$ である。

$m\in C$。 $m\notin C$ とすると、開凸集合 $C$ と凸集合 $\{m\}$ は交わらないので、Hahn–Banachの定理 の定理「Hahn–Banachの定理(第一幾何形)」により、$a\in\mathbb R^d$ で $\langle a,x\rangle<\langle a,m\rangle$($x\in C$)となるものがある($\mathbb R^d$ 上の線形汎関数は内積で表せる)。$h:=\langle a,m\rangle-\langle a,f\rangle$ は正の値をとる可積分関数で、$\int h\,d\mu=\langle a,m\rangle-\langle a,m\rangle=0$ なので、thm-jen-main の証明と同じく $\mu(\Omega)=1$ に反する。
支持超平面。 $\varphi$ は $m$ で連続なので、$m$ の近くで上に有界である。$C$ の外で $\varphi=+\infty$ とおいた $\mathbb R^d$ 上の凸関数に 劣微分 の定理「連続点での劣微分」を使うと、$g\in\mathbb R^d$ で $\varphi(x)\ge\varphi(m)+\langle g,x-m\rangle$($x\in C$)となるものがある。$\varphi$ は連続なので $\varphi(f)$ は可測であり、右辺に $f$ を代入した関数は可積分である。あとは thm-jen-main の内点の場合と同じく積分すればよい。$\square$

たとえば $\varphi(x)=\lvert x\rvert$(Euclid ノルム)とすると $\bigl\lvert\int f\,d\mu\bigr\rvert\le\int\lvert f\rvert\,d\mu$ を得る。$\varphi(x)=\lvert x\rvert^2$ とすると $\lvert\int f\rvert^2\le\int\lvert f\rvert^2$ で、差 $\int\lvert f\rvert^2d\mu-\lvert m\rvert^2=\int\lvert f-m\rvert^2\,d\mu$ は分散である。$C$ が開集合であることは、$m\in C$ を示すところで使った。

条件付き期待値の形

$(\Omega,\mathcal F,P)$ を確率空間、$\mathcal G\subset\mathcal F$ を部分 σ-代数とし、条件付き期待値 を $E[\,\cdot\mid\mathcal G]$ と書く。

条件付きJensenの不等式

$\varphi\colon\mathbb R\to\mathbb R$ を凸関数、$X$ を可積分な確率変数で $\varphi(X)$ も可積分なものとする。このとき、ほとんど確実に
$$ \varphi\bigl(E[X\mid\mathcal G]\bigr)\le E\bigl[\varphi(X)\bigm|\mathcal G\bigr] $$
が成り立つ。

可算個の支持直線の上限

有理数 $q$ ごとに支持直線 $\ell_q(t):=\varphi(q)+\varphi'_+(q)(t-q)$ をとる(lem-jen-support)。
$\varphi=\sup_q\ell_q$。 $\ell_q\le\varphi$ である。$t\in\mathbb R$ を固定すると、$t-1< q< t+1$ の有理数 $q$ について $\varphi'_+(t-1)\le\varphi'_+(q)\le\varphi'_-(t+1)$(凸関数 の定理「開区間上の凸関数の連続性と片側微分」の 2)なので、$\lvert\varphi'_+(q)\rvert\le C$ となる $C$ がある。$\ell_q(t)\ge\varphi(q)-C\lvert t-q\rvert$ であり、$q\to t$ とすると $\varphi$ の連続性から右辺は $\varphi(t)$ に近づく。
各 $q$ での不等式。 $\ell_q(X)\le\varphi(X)$ に条件付き期待値の線形性と単調性、定数の条件付き期待値はその定数であることを使うと(条件付き期待値 の定理「条件付き期待値の基本性質」の 1・2・4)、ほとんど確実に
$$ \ell_q\bigl(E[X\mid\mathcal G]\bigr)=E[\ell_q(X)\mid\mathcal G]\le E[\varphi(X)\mid\mathcal G] $$
である。
上限をとる。 例外の零集合は $q$ ごとに 1 つで、有理数は可算個なので、その和の外ではすべての $q$ について上の不等式が成り立つ。$q$ について上限をとれば結論を得る。$\square$

同じ主張は Dur19 Theorem 4.1.10(p. 211)にあり、そこでは $\varphi$ の下にある有理数係数の 1 次関数の全体(可算個)を使い、例外の零集合を可算個に抑えている。
$\mathcal G=\{\emptyset,\Omega\}$ なら $E[X\mid\mathcal G]=E[X]$ で、thm-jen-main に戻る。$\varphi(t)=\lvert t\rvert^p$($p\ge1$)とすると $\lvert E[X\mid\mathcal G]\rvert^p\le E[\lvert X\rvert^p\mid\mathcal G]$ であり、期待値をとると条件付き期待値が $L^p$ ノルムを増やさないことが分かる。マルチンゲールに凸関数を合成すると劣マルチンゲールになることも、この不等式による(Dur19 Theorem 4.2.6、p. 219)。

反例:条件を外すと崩れること

外す条件反例成り立たなくなること
$\mu(\Omega)=1$(平均でなく積分のまま使う)$\mu(\Omega)=2$、$\varphi(t)=t^2$、$f=1$$\varphi(\int f)\le\int\varphi(f)$(左辺 $4$、右辺 $2$)
$\mu(\Omega)>0$(平均を使う場合)$\mu(\Omega)=0$平均 $A(f)$ が定まること
$\varphi$ が凸$\varphi(t)=-t^2$、$f=\pm1$(確率 $\frac12$ ずつ)主定理の不等式(左辺 $0$、右辺 $-1$)
$\varphi$ が狭義凸(等号の条件)$\varphi(t)=t$、$f$ は定数でない可積分関数等号なら $f$ がほとんど至るところ定数
$\mu$ が確率測度(cor-jen-lp)$\mathbb R$ の Lebesgue 測度、$f=\chi_{[0,2]}$$\|f\|_1\le\|f\|_2$(左辺 $2$、右辺 $\sqrt2$)

1 行目の測度でも $\mu/2$ に正規化すれば、平均の形 $\varphi(A(f))\le A(\varphi(f))$ は成り立つ(両辺 $1$)。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する