Pontryaginの最大原理

同義語:ポントリャーギンの最大原理Pontrjaginの最大原理Pontryaginの最小原理Pontryagin maximum principlePontryagin's maximum principle最大原理(最適制御)

概要

Pontryaginの最大原理(Pontryagin maximum principle)とは、最適制御の必要条件で、最適な制御とその軌道に対し、余状態と呼ぶ関数 $p(t)$ が存在して、各時刻の制御の値が Hamilton 関数 $H=p\cdot f-\ell$ を制御の値の集合の上で最大にすることを述べる定理である。関数全体の最小化が時刻ごとの有限次元の最大化に変わり、制御の値の集合の端で最適になる場合も扱える。余状態は随伴方程式と終端条件を満たし、価値関数が滑らかならその勾配の符号を変えたものに等しい。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 動的計画法と最適制御, 線形微分方程式, Grönwallの不等式, Picard–Lindelöfの定理

Pontryagin の最大原理(Pontryagin maximum principle)は、最適制御の必要条件である。最適な制御 $u^*$ とその軌道 $x^*$ があれば、状態と対になる関数 $p(t)$ が存在し、各時刻の $u^*(t)$ は 1 つの関数 $H(t,x^*(t),\cdot,p(t))$ を最大にする。
関数全体を動かす無限次元の最小化が、時刻ごとの有限次元の最大化に変わる点が要である。しかも $u$ の値の集合 $U$ には微分の条件がいらない。$U$ が区間でも有限集合でも、端の点で最大になる場合でも使える。変分法 の Euler–Lagrange 方程式は、制御の言葉では「$\partial_uH=0$」という停留の条件にあたる。最大原理は停留ではなく値の大小を直接比べる。
動的計画法と最適制御 は、すべての初期状態についての最適費用 $V(t,x)$ を求め、そこから制御を決める。この記事は、$V$ を使わず 1 本の軌道が満たす条件を調べる。2 つの見方のつなぎ目は prop-pmp-hjb にある。
この記事では次のことを示す。

  • 時間を固定し終端を自由にした問題で、最大原理の完全な証明(thm-pmp-free)。
  • 線形 2 次の問題での計算(ex-pmp-lq)と、$H$ の凹性のもとでの十分条件(prop-pmp-sufficient)。
  • 終端を固定した問題の主張と、証明の段階(thm-pmp-fixed)。これは主張を述べるだけで、一般の証明はこの記事では与えない。

問題の設定

固定時間の最適制御問題

$T>0$ を定数、$U\subset\mathbb{R}^m$ を空でない閉集合、$\xi\in\mathbb{R}^n$ とする。次の関数を与える。
$$ f\colon[0,T]\times\mathbb{R}^n\times U\to\mathbb{R}^n,\qquad\ell\colon[0,T]\times\mathbb{R}^n\times U\to\mathbb{R},\qquad g\colon\mathbb{R}^n\to\mathbb{R} $$
$f,\ell$ とその $x$ についての偏導関数 $\partial_xf,\nabla_x\ell$ は存在して連続であり、$g$ は $C^1$ 級とする。
$[0,T]$ を有限個の閉区間に分け、各区間の内部で連続で、分点で $U$ の中に片側極限をもつ関数 $u\colon[0,T]\to U$ を 区分的に連続な制御 という。各点の値は片側極限のどちらかとする。常微分方程式
$$ \dot x(t)=f(t,x(t),u(t)),\qquad x(0)=\xi $$
の解 $x$ が $[0,T]$ 全体に存在するとき $u$ を 許容制御 といい、
$$ J[u]:=\int_0^T\ell(t,x(t),u(t))\,dt+g(x(T)) $$
をその費用という。すべての許容制御 $u$ で $J[u^*]\le J[u]$ となる許容制御 $u^*$ を 最適制御 といい、対応する解 $x^*$ を 最適軌道 という。

終端の値 $x(T)$ に制約がないので、この問題を 終端が自由 な問題という。$x(T)$ を指定する問題は後の節で扱う。

Hamilton 関数

$p\in\mathbb{R}^n$ について
$$ H(t,x,u,p):=p\cdot f(t,x,u)-\ell(t,x,u) $$
を Hamilton 関数 という。$p$ に対応する関数 $p(t)$ を 余状態(随伴変数)という。

符号の流儀には違いがある。費用の項の係数を $-1$ にすると「最大」原理、$+1$ にすると「最小」原理になる。後者は $p$ の符号を変えた同じ主張である。

主定理

Pontryagin の最大原理(終端が自由な場合)

def-pmp-problem の問題で $(x^*,u^*)$ を最適制御と最適軌道とする。このとき連続で区分的に $C^1$ 級の関数 $p\colon[0,T]\to\mathbb{R}^n$ で次を満たすものがある。
(1)(随伴方程式)$u^*$ の連続点で
$$ \dot p(t)=-\partial_xH(t,x^*(t),u^*(t),p(t))=-\partial_xf(t,x^*(t),u^*(t))^{\mathsf T}p(t)+\nabla_x\ell(t,x^*(t),u^*(t)) $$
である。
(2)(終端条件)$p(T)=-\nabla g(x^*(T))$ である。
(3)(最大条件)$u^*$ の連続点 $t\in(0,T)$ とすべての $v\in U$ について
$$ H(t,x^*(t),v,p(t))\le H(t,x^*(t),u^*(t),p(t)) $$
である。

状態の方程式も $\dot x^*=\partial_pH$ と書けるので、$(x^*,p)$ は Hamilton の正準方程式の形の連立方程式を満たす。境界条件は $x^*(0)=\xi$ と $p(T)=-\nabla g(x^*(T))$ の 2 点に分かれる。実際の計算では、(3) で $u$ を $x,p$ の関数として表し、この 2 点境界値問題を解く。
証明の考え方は次のとおりである。ごく短い時間だけ制御を別の値 $v$ に置き換える。すると終端の状態は、置き換えた長さに比例した分だけずれる。最適性は、このずれが費用を下げないことを意味する。$p$ はそのずれを時刻 $T$ から時刻 $\tau$ へ運び戻す役をする。

針状変分と随伴方程式

段階 0:終端費用だけの問題に直す。 $y=(x^0,x)\in\mathbb{R}^{n+1}$ とおき、
$$ F(t,y,u):=\bigl(\ell(t,x,u),\,f(t,x,u)\bigr),\qquad\varphi(y):=x^0+g(x) $$
と定める。$\dot y=F(t,y,u)$、$y(0)=(0,\xi)$ の解について $J[u]=\varphi(y(T))$ である。$y^*$ を $u^*$ に対応する解とする。$F$ は $x^0$ によらず、$\partial_yF$ は連続である。
段階 1:針状変分と一様な評価。 $u^*$ の連続点 $\tau\in(0,T)$ と $v\in U$ を固定する。$0<\varepsilon<\tau$ について、$(\tau-\varepsilon,\tau]$ で値 $v$、それ以外で $u^*$ に等しい制御を $u_\varepsilon$ とする。$u_\varepsilon$ も区分的に連続で、値は $U$ の中にある。
$u^*$ の値の集合の閉包と $\{v\}$ の和を $\mathcal U$ とすると、$\mathcal U$ は $U$ のコンパクト部分集合である。$R:=\max_t\lvert y^*(t)\rvert+1$ とおき、$B$ を半径 $R$ の閉球とする。$M,L$ を $[0,T]\times B\times\mathcal U$ の上の $\lvert F\rvert$ と $\|\partial_yF\|$ の最大値とする。$B$ は凸なので、$B$ の上で $F$ は $y$ について $L$-Lipschitz である。
$u_\varepsilon$ に対応する解を $y_\varepsilon$ とする。$[0,\tau-\varepsilon]$ では $y_\varepsilon=y^*$ である。$C:=2Me^{LT}$ とおき、$C\varepsilon<1$ とする。解が存在して $B$ の中にある範囲で $\delta(t):=\lvert y_\varepsilon(t)-y^*(t)\rvert$ を評価する。$t\le\tau$ なら $\delta(t)\le2M\varepsilon$ である。$t\ge\tau$ なら $\delta(t)\le2M\varepsilon+L\int_\tau^t\delta(s)\,ds$ であり、Grönwallの不等式 から $\delta(t)\le C\varepsilon<1$ である。よって解は $B$ の内部の閉球から出ないので、Picard–Lindelöfの定理 により $[0,T]$ 全体に延び、
$$ \sup_{0\le t\le T}\lvert y_\varepsilon(t)-y^*(t)\rvert\le C\varepsilon\qquad\text{(a)} $$
である。とくに $u_\varepsilon$ は許容制御である。
段階 2:時刻 $\tau$ でのずれ。 $s\in(\tau-\varepsilon,\tau]$ で $s\to\tau$ のとき、(a) から $y_\varepsilon(s)\to y^*(\tau)$ であり、$u^*$ は $\tau$ で連続なので $u^*(s)\to u^*(\tau)$ である。$F$ はコンパクト集合の上で一様連続だから、
$$ y_\varepsilon(\tau)-y^*(\tau)=\int_{\tau-\varepsilon}^{\tau}\bigl(F(s,y_\varepsilon(s),v)-F(s,y^*(s),u^*(s))\bigr)ds=\varepsilon\,\zeta+o(\varepsilon) $$
である。ここで $\zeta:=F(\tau,y^*(\tau),v)-F(\tau,y^*(\tau),u^*(\tau))$ である。
段階 3:線形化。 $A(t):=\partial_yF(t,y^*(t),u^*(t))$ とおく。$A$ は区分的に連続で $\| A\|\le L$ である。$w$ を $\dot w=A(t)w$、$w(\tau)=\zeta$ の $[\tau,T]$ での解とする。$z_\varepsilon:=(y_\varepsilon-y^*)/\varepsilon$ とおくと、$\tau$ より後の $u^*$ の連続点で
$$ \dot z_\varepsilon(t)=A(t)z_\varepsilon(t)+r_\varepsilon(t),\qquad r_\varepsilon(t):=\int_0^1\bigl(\partial_yF(t,y^*+\theta(y_\varepsilon-y^*),u^*)-\partial_yF(t,y^*,u^*)\bigr)d\theta\;z_\varepsilon(t) $$
である。$\omega$ を $\partial_yF$ の $[0,T]\times B\times\mathcal U$ での $y$ についての連続性の係数とする($\omega(r)\to0$)。(a) より $\lvert z_\varepsilon\rvert\le C$ なので、$\lvert r_\varepsilon\rvert\le C\omega(C\varepsilon)$ である。$e:=z_\varepsilon-w$ について
$$ \lvert e(t)\rvert\le\lvert e(\tau)\rvert+TC\omega(C\varepsilon)+L\int_\tau^t\lvert e(s)\rvert\,ds $$
となる。段階 2 より $e(\tau)\to0$ だから、Grönwallの不等式 から $z_\varepsilon(T)\to w(T)$ である。すなわち
$$ y_\varepsilon(T)=y^*(T)+\varepsilon\,w(T)+o(\varepsilon) $$
である。
段階 4:最適性を使う。 $\varphi(y_\varepsilon(T))\ge\varphi(y^*(T))$ であり、$\varphi$ は $C^1$ 級である。$\varepsilon$ で割って $\varepsilon\to0$ とすると
$$ \nabla\varphi(y^*(T))\cdot w(T)\ge0\qquad\text{(b)} $$
である。
段階 5:随伴方程式で運び戻す。 $q\colon[0,T]\to\mathbb{R}^{n+1}$ を線形方程式 $\dot q=-A(t)^{\mathsf T}q$、$q(T)=-\nabla\varphi(y^*(T))$ の解とする。$\frac{d}{dt}(q\cdot w)=-A^{\mathsf T}q\cdot w+q\cdot Aw=0$ だから $q\cdot w$ は一定であり、(b) から
$$ q(\tau)\cdot\zeta=q(T)\cdot w(T)=-\nabla\varphi(y^*(T))\cdot w(T)\le0\qquad\text{(c)} $$
である。$q$ は $\tau,v$ によらないことが重要である。
段階 6:元の記号に戻す。 $q=(q^0,p)$ と書く。$F$ は $x^0$ によらないので $\dot q^0=0$ であり、$q^0(T)=-\partial_{x^0}\varphi=-1$ から $q^0\equiv-1$ である。残りの成分は
$$ \dot p=-\partial_xf^{\mathsf T}p-q^0\nabla_x\ell=-\partial_xf^{\mathsf T}p+\nabla_x\ell,\qquad p(T)=-\nabla g(x^*(T)) $$
となり、これは (1) と (2) である。また $q\cdot F=-\ell+p\cdot f=H$ なので、(c) は
$$ H(\tau,x^*(\tau),v,p(\tau))-H(\tau,x^*(\tau),u^*(\tau),p(\tau))\le0 $$
である。$\tau$ と $v$ は任意だったので (3) が成り立つ。$\square$

$p(t)$ の意味を 1 つ述べる。(c) は「時刻 $\tau$ の状態を $\zeta$ だけずらすと、終端の費用は 1 次で $-q(\tau)\cdot\zeta$ だけ変わる」ことを表す。$x$ の成分だけを見れば、$-p(\tau)$ は時刻 $\tau$ の状態の 1 単位の増加が残りの費用をいくら増やすかの率である。prop-pmp-hjb はこれを $p=-\nabla_xV$ の形で述べる。
終端が自由なので、費用が下がらないという 1 つの不等式だけが要り、針は 1 本で足りた。終端に制約があると事情が変わる。

公式の表

問題の型ごとに、$H$ の形、余状態の境界条件、最大条件の形をまとめる。どの行も最適制御の必要条件であり、最適制御の存在は仮定している。

問題の型Hamilton 関数余状態の境界条件最大条件の形根拠
時間を固定、終端が自由$H=p\cdot f-\ell$$p(T)=-\nabla g(x^*(T))$$u^*(t)$ は $H(t,x^*(t),\cdot,p(t))$ を $U$ の上で最大にするthm-pmp-free
時間と終端 $x(T)=x_1$ を固定、$g=0$$H_{p_0}=p\cdot f+p_0\ell$(定数 $p_0\le0$)$p(T)$ に条件なし。$(p_0,p(t))\ne(0,0)$$u^*(t)$ は $H_{p_0}$ を最大にするthm-pmp-fixed(証明しない)
線形 2 次、$U=\mathbb{R}^m$、$R$ は正定値$H=p\cdot(Ax+Bu)-x^{\mathsf T}Qx-u^{\mathsf T}Ru$$p(T)=-2Q_Tx(T)$$u=\frac12R^{-1}B^{\mathsf T}p$ex-pmp-lq
$H$ が $u$ の 1 次式、$m=1$、$U=[a,b]$$H=h_0(t,x,p)+\sigma(t,x,p)\,u$問題の型による$\sigma>0$ なら $u=b$、$\sigma<0$ なら $u=a$。$\sigma=0$ では決まらないthm-pmp-free、ex-pmp-switch

最小原理の流儀では $H'=q\cdot f+\ell$ とおく。$q=-p$ と置けば $H'=-H$ となるので、$\dot q=-\partial_xH'$、$q(T)=\nabla g(x^*(T))$ で、$u^*$ は $H'$ を最小にする。式の形は違うが主張は同じである。

計算の手順

最大原理で最適制御を求める手順は次のとおりである。

  1. 問題を def-pmp-problem の形に直し、$H$ を書く。最大化の問題は費用の符号を変える。
  2. 最大条件を解いて、$u$ を $t,x,p$ の関数として表す。$H$ が $u$ について滑らかで凹なら $\partial_uH=0$ の解と $U$ の端を調べ、$H$ が $u$ の 1 次式なら公式の表の最後の行を使う。
  3. $u$ を代入した $\dot x=\partial_pH$、$\dot p=-\partial_xH$ に、$x(0)=\xi$ と公式の表の境界条件を付けた 2 点境界値問題を解く。
  4. 得られた候補の最適性を確かめる。prop-pmp-sufficient の仮定が満たされればそれを使い、満たされなければ ex-pmp-switch のように直接比べる。最適制御の存在が別に分かっていれば、候補どうしの費用を比べてもよい。
    次の場合は手順がそのままでは進まない。
  • 段階 2 で、公式の表の係数 $\sigma$ のように $p$ から決まる関数が区間の上で $0$ になると、最大条件は $u$ を決めない。これが ex-pmp-counterexamples の特異な区間で、その区間の $u$ は問題ごとに別の議論で決める。
  • 終端を固定した問題では $p_0=0$ の場合が残る(ex-pmp-abnormal)。$p_0=-1$ だけを解くと候補を落とす。
  • 段階 2 で $u$ が決まらない区間がなく、段階 3 に解がなければ、最大原理の条件を満たす制御はないので、最適制御は存在しない。これは定理の対偶で、最適制御の存在を別に仮定しない使い方である。終端を固定した問題では $p_0=0$ の場合も調べたうえで言える。$u$ が決まらない区間があるときは、その区間を含む候補を調べるまでこの結論は出せない。
  • 段階 3 の解がいくつもあれば段階 4 で選ぶ。解があっても、それだけでは最適とは言えない(反例の表の 1 行目)。

例題

線形 2 次の問題

問い:$\dot x=Ax+Bu$、$U=\mathbb{R}^m$、$J=\int_0^T(x^{\mathsf T}Qx+u^{\mathsf T}Ru)\,dt+x(T)^{\mathsf T}Q_Tx(T)$ の最適制御を求める。$Q,Q_T$ は対称な半正定値行列、$R$ は対称な正定値行列である。
使う公式:公式の表の線形 2 次の行と prop-pmp-sufficient。
答え:$u^*=-R^{-1}B^{\mathsf T}S(t)x^*(t)$ である。$S$ は下の Riccati 方程式の解である。下の数の例で $T=2$、$\xi=1$ とすると、$u^*\equiv-1/3$、$x^*(2)=1/3$、$p\equiv-2/3$、費用は $1/3\approx0.33333$ である。
$H=p\cdot(Ax+Bu)-x^{\mathsf T}Qx-u^{\mathsf T}Ru$ は $u$ について狭義に凹なので、(3) は $B^{\mathsf T}p-2Ru=0$、すなわち $u=\frac12R^{-1}B^{\mathsf T}p$ と同値である。随伴方程式と終端条件は
$$ \dot p=-A^{\mathsf T}p+2Qx,\qquad p(T)=-2Q_Tx(T) $$
である。$p=-2S(t)x$ と置く。$S$ を対称行列の値の関数とすると $u=-R^{-1}B^{\mathsf T}Sx$ であり、$\dot p=-2\dot Sx-2S(Ax+Bu)$ を随伴方程式に代入すると、すべての $x$ で成り立つ条件は
$$ -\dot S=A^{\mathsf T}S+SA-SBR^{-1}B^{\mathsf T}S+Q,\qquad S(T)=Q_T $$
となる。これは 動的計画法と最適制御 の表の連続時間の Riccati 方程式と同じで、解が $[0,T]$ 全体に存在することは Riccati方程式 の定理「大域存在と最適性」にある。最大原理は必要条件だが、この問題では prop-pmp-sufficient により十分でもある。
数の例:$n=m=1$、$\dot x=u$、$J=\int_0^Tu^2\,dt+x(T)^2$、$x(0)=\xi$ とする。$\dot p=0$ だから $p$ は定数で、$u=p/2$ も定数である。$x(T)=\xi+Tp/2$ と $p=-2x(T)$ から $p=-\dfrac{2\xi}{1+T}$、$u^*=-\dfrac{\xi}{1+T}$ である。費用は $\dfrac{\xi^2}{1+T}$ で、Riccati 方程式の解 $S(t)=\dfrac1{1+T-t}$ の $S(0)\xi^2$ に等しい。

$u$ に端の制約がある問題では、最大条件の値打ちがさらにはっきりする。$H$ が $u$ の 1 次式なら、最大は端の点でとられ、$p$ から決まる関数の符号で制御が切り替わる。

投資と消費の切り替え

問い:$x>0$ を生産の能力とし、時刻 $t$ に生産の割合 $u(t)\in U=[0,1]$ を再投資に回し、残りを受け取るとする。$\dot x=ux$、$x(0)=\xi>0$ で、$\int_0^T(1-u)x\,dt$ を最大にする。費用の形では $\ell=-(1-u)x$、$g=0$ である。
使う公式:thm-pmp-free と公式の表の最後の行。$H$ は凹ではないので、最適性は直接の比較で確かめる。
答え:$T>1$ なら、$t< T-1$ で $u^*=1$、$t>T-1$ で $u^*=0$ で、最大値は $\xi e^{T-1}$ である。$T\le1$ なら $u^*\equiv0$ で、最大値は $\xi T$ である。$T=3$、$\xi=1$ なら切り替えは $t=2$ で、最大値は $e^2\approx7.38906$ である。同じ $T,\xi$ で、$u\equiv0$ の値は $3$、$u\equiv1$ の値は $0$ である。
$H=pux+(1-u)x=x+ux(p-1)$ で、$x>0$ だから最大条件は「$p>1$ なら $u=1$、$p<1$ なら $u=0$」である。随伴方程式は $\dot p=-1-u(p-1)$、$p(T)=0$ である。
時刻 $T$ の近くでは $p<1$ なので $u=0$ で、$p=T-t$ である。$T>1$ なら、$t< T-1$ では $p>1$ となり $u=1$ で、$\dot p=-p$ から $p=e^{T-1-t}$ である。よって候補は「$t< T-1$ で全部を投資し、残りの時間 $1$ で全部を受け取る」である。$T\le1$ なら $u\equiv0$ である。
候補が本当に最適であることを確かめる。上の $p$ は $C^1$ 級で、すべての $t$ で $\dot p+1+\max\{p-1,0\}=0$ を満たす。任意の許容制御で $x>0$ であり、
$$ \frac{d}{dt}(xp)+(1-u)x=x\bigl(\dot p+1+u(p-1)\bigr)\le0 $$
である。積分すると、$p(T)=0$ から $\int_0^T(1-u)x\,dt\le\xi p(0)$ となる。候補では等号が成り立つ。最大値は $T>1$ なら $\xi e^{T-1}$、$T\le1$ なら $\xi T$ である。

下の図は $T=3$、$\xi=1$ の場合である。左の $p$ が $1$ を横切る時刻 $t=2$ で、右の制御が $1$ から $0$ へ切り替わる。$p(0)=e^2$ は、最大値が $\xi p(0)$ であることに対応する。
図: T=3、ξ=1 の投資と消費の例。左は余状態 p(t) で t=2 で p=1 を横切る。右は最適制御 u*(t) と状態 x*(t)/e^2 で、t=2 で制御が 1 から 0 へ切り替わり、以後は状態が一定になる。 図: T=3、ξ=1 の投資と消費の例。左は余状態 p(t) で t=2 で p=1 を横切る。右は最適制御 u(t) と状態 x(t)/e^2 で、t=2 で制御が 1 から 0 へ切り替わり、以後は状態が一定になる。

十分条件と動的計画法との関係

最大原理は必要条件であり、条件を満たす制御が最適とは限らない(反例の表の 1 行目)。$H$ が凹なら十分条件になる。

凹性のもとでの十分条件

def-pmp-problem の問題で、次を仮定する。$U$ は凸で、$f,\ell$ は $U$ の近くまで定義され $(x,u)$ について $C^1$ 級であり、$g$ は凸である。$(x^*,u^*)$ は許容制御と解の組で、連続で区分的に $C^1$ 級の $p$ が thm-pmp-free の (1)(2)(3) を満たす。さらに各 $t$ で $(x,u)\mapsto H(t,x,u,p(t))$ が $\mathbb{R}^n\times U$ の上で凹であるとする。このとき $u^*$ は最適制御である。

差を積分で表す

$(x,u)$ を任意の許容制御と解の組とし、$H^*(t):=H(t,x^*(t),u^*(t),p(t))$ とおく。$\partial_xH^*,\partial_uH^*$ は偏導関数の同じ点での値を表す。$\ell=p\cdot\dot x-H$ だから
$$ J[u]-J[u^*]=\int_0^T\bigl(p\cdot(\dot x-\dot x^*)-H(t,x,u,p)+H^*\bigr)dt+g(x(T))-g(x^*(T)) $$
である。部分積分と $x(0)=x^*(0)$、(1)(2) より
$$ \int_0^Tp\cdot(\dot x-\dot x^*)\,dt=-\nabla g(x^*(T))\cdot(x(T)-x^*(T))+\int_0^T\partial_xH^*\cdot(x-x^*)\,dt $$
である。したがって
\begin{align*} J[u]-J[u^*]={}&g(x(T))-g(x^*(T))-\nabla g(x^*(T))\cdot(x(T)-x^*(T))\\ &+\int_0^T\bigl(H^*+\partial_xH^*\cdot(x-x^*)-H(t,x,u,p)\bigr)dt \end{align*}
である。1 行目は $g$ の凸性から $0$ 以上である。$H$ の凹性から、$u^*$ の連続点で
$$ H(t,x,u,p)\le H^*+\partial_xH^*\cdot(x-x^*)+\partial_uH^*\cdot(u-u^*) $$
である。(3) と $U$ の凸性から、関数 $s\mapsto H(t,x^*,u^*+s(u-u^*),p)$ は $[0,1]$ の上で $s=0$ のとき最大になるので、$\partial_uH^*\cdot(u-u^*)\le0$ である。よって積分の中身も $0$ 以上である。$\square$

線形 2 次の問題(ex-pmp-lq)では $H$ は $(x,u)$ について凹で $g$ は凸である。一方 ex-pmp-switch の $H$ は積 $ux$ を含むので凹ではなく、この命題は使えない。そのため例の中で直接確かめた。

自律系では $H$ は一定

$f,\ell$ が $t$ によらないとする。thm-pmp-free の状況で、$h(t):=H(x^*(t),u^*(t),p(t))$ は定数である($u^*$ の不連続点の値は片側極限のどちらでもよい)。

最大の値は動かない

要点:最大条件により $u^*$ の動きによる変化は打ち消され、残る変化は正準方程式で消える。

詳しい証明を開く

$u^*$ が連続な閉区間 $I$(分点では片側極限を値とする)を 1 つとる。$w\in U$ について $G_w(r):=H(x^*(r),w,p(r))$ とおく。$\partial_pH=f$ と随伴方程式から $G_w'(r)=\Psi(r,w)$ である。ここで $\Psi(r,w):=\partial_xH(x^*(r),w,p(r))\cdot f(x^*(r),u^*(r))-f(x^*(r),w)\cdot\partial_xH(x^*(r),u^*(r),p(r))$ である。$\Psi(r,u^*(r))=0$ であり、$\Psi$ は $I$ と $u^*(I)$ の積の上で一様連続なので、$\eta(d):=\sup\{\lvert\Psi(r,u^*(a))\rvert\colon a,r\in I,\ \lvert a-r\rvert\le d\}$ は $d\to0$ で $0$ に近づく。

最大条件は連続性により $I$ のすべての点で成り立つ。$s< t$ を $I$ の点とすると、$h(t)\ge G_{u^*(s)}(t)$ と $h(s)\ge G_{u^*(t)}(s)$ から、$G_{u^*(s)}(t)-G_{u^*(s)}(s)\le h(t)-h(s)\le G_{u^*(t)}(t)-G_{u^*(t)}(s)$ である。両端の絶対値は $(t-s)\eta(t-s)$ 以下である。$[s,t]$ を $N$ 等分して足すと $\lvert h(t)-h(s)\rvert\le(t-s)\eta((t-s)/N)$ となり、$N\to\infty$ として $h(t)=h(s)$ である。分点では、左右の極限がともに $H(x^*(\tau),\cdot,p(\tau))$ の最大を与えるので値は等しい。したがって $h$ は全体で定数である。$\square$

$f,\ell$ が $t$ に依存するときは $h$ は一定とは限らない(Lib12 §4.3.1)。
価値関数が滑らかなら、$p$ はその勾配である。

余状態は価値関数の勾配

$V\colon[0,T]\times\mathbb{R}^n\to\mathbb{R}$ が $C^2$ 級で、$V(T,\cdot)=g$ と 動的計画法と最適制御 の Hamilton–Jacobi–Bellman 方程式
$$ \partial_tV(t,x)+\min_{u\in U}\bigl\{\ell(t,x,u)+\nabla_xV(t,x)\cdot f(t,x,u)\bigr\}=0 $$
を満たすとする。$(x^*,u^*)$ が許容制御と解の組で、$u^*$ の連続点の各時刻で $u^*(t)$ が $x=x^*(t)$ での上の最小を与えるなら、$p(t):=-\nabla_xV(t,x^*(t))$ は $u^*$ の連続点で thm-pmp-free の (1)(3) を満たし、(2) も満たす。

方程式を $x$ で微分する
  1. は $V(T,\cdot)=g$ から従う。(3) は $\ell+\nabla_xV\cdot f=-H(t,x,u,-\nabla_xV)$ から従う。
  2. を示す。$u^*$ の連続点 $t$ を固定し、$w:=u^*(t)$ とする。
    $$ \Phi(x):=\partial_tV(t,x)+\ell(t,x,w)+\nabla_xV(t,x)\cdot f(t,x,w) $$
    は方程式から $\Phi\ge0$ で、$\Phi(x^*(t))=0$ である。$\Phi$ は $x^*(t)$ で最小になるので $\nabla\Phi(x^*(t))=0$、すなわち $x=x^*(t)$ で
    $$ \partial_t\nabla_xV+\nabla_x\ell+\nabla_x^2V\,f+\partial_xf^{\mathsf T}\nabla_xV=0 $$
    である。$\pi(t):=\nabla_xV(t,x^*(t))$ とおくと $\dot\pi=\partial_t\nabla_xV+\nabla_x^2V\,f=-\nabla_x\ell-\partial_xf^{\mathsf T}\pi$ である。$p=-\pi$ に書き直すと (1) になる。$\square$

$V$ が $C^2$ 級とは限らないので、この命題は thm-pmp-free の証明の代わりにはならない。最大原理の証明が $V$ の滑らかさを使わないことに価値がある。

終端を固定した場合

$x(T)=x_1$ を指定する問題では、針を 1 本動かしただけの制御は制約を満たさない。この場合の主張には、費用の項の係数 $p_0$ が加わる。

最大原理(時間と終端を固定した場合)

$f,\ell$ は def-pmp-problem の仮定に加えて $t$ についても $C^1$ 級で、$\partial_tf,\partial_t\ell$ は連続とする。$x_1\in\mathbb{R}^n$ とし、$g=0$ とする。$(x^*,u^*)$ が、$x(T)=x_1$ を満たす許容制御の中で $J$ を最小にするとする。このとき定数 $p_0\le0$ と、連続で区分的に $C^1$ 級の関数 $p$ があり、$H_{p_0}(t,x,u,p):=p\cdot f+p_0\ell$ について次が成り立つ。
(1) すべての $t$ で $(p_0,p(t))\ne(0,0)$ である。
(2) $u^*$ の連続点で $\dot p=-\partial_xH_{p_0}(t,x^*(t),u^*(t),p(t))$ である。
(3) $u^*$ の連続点とすべての $v\in U$ について $H_{p_0}(t,x^*(t),v,p(t))\le H_{p_0}(t,x^*(t),u^*(t),p(t))$ である。
$p(T)$ に条件はない。

一般の証明はこの記事では与えない。Lib12 §4.1–§4.2 は時間も自由な問題を証明し、§4.3.1 で固定時間と時間に依存する系へ変数の変換で広げている。証明の段階は次のとおりである。

証明の段階
  1. 針を増やす:費用も状態の成分に入れた $\mathbb{R}^{n+1}$ で考える。thm-pmp-free の証明の段階 1〜3 の計算を、異なる時刻の複数の針に同時に行う。終端のずれの 1 次の項は、各針の $w(T)$ の非負係数の和になる。これらが作る凸錐を 終端錐 という。
  2. 位相的な補題:費用を下げる方向 $(-1,0,\dots,0)$ が終端錐の内部にあれば、針の係数を調整して、終端の状態をちょうど $x_1$ にしたまま費用を下げられることになり、最適性に反する。1 次の近似から実際の到達を導くところに位相的な議論が要る(Lib12 §4.2.6)。この段階は thm-pmp-free の証明にはなかった部分である。
  3. 分離:したがって終端錐と費用を下げる方向は超平面で分けられる(Lib12 §4.2.7)。その法線を $q(T)=(p_0,p(T))$ として、thm-pmp-free の証明の段階 5 と同じ線形方程式で $q$ を運び戻すと、(c) の形の不等式から最大条件が出る。線形方程式の $0$ でない解はどの時刻でも $0$ でないので、(1) が成り立つ。$q^0$ は定数なので $p_0$ は定数で、分離の向きから $p_0\le0$ である。

$p_0<0$ の場合は、$(p_0,p)$ を定数倍して $p_0=-1$ とできる。この場合を 正常、$p_0=0$ の場合を 異常 という。異常な場合の条件には費用 $\ell$ が現れない。

異常な場合

$n=2$、$m=1$、$U=\mathbb{R}$、$\dot x_1=u$、$\dot x_2=u^2$、$x(0)=(0,0)$、$x(T)=(0,0)$ とし、$\ell=x_1$ とする。$\int_0^Tu^2\,dt=0$ が必要なので、制約を満たす制御は $u\equiv0$ だけで、これが最適である。
$p_0=-1$ とすると、$\dot p_1=\partial_{x_1}\ell=1$、$\dot p_2=0$ である。$H_{-1}=p_1u+p_2u^2-x_1$ が $u=0$ で最大になるには各時刻で $p_1(t)=0$ が必要で、これは $\dot p_1=1$ に反する。
$p_0=0$ なら、$p_1\equiv0$、$p_2\equiv-1$ とすると $H_0=-u^2$ は $u=0$ で最大で、すべての条件が成り立つ。許容制御が 1 つしかなく費用が最適性に関わらないことが、$p_0=0$ に現れている。

使える条件と反例

thm-pmp-free を使う前に確かめる条件は次のとおりである。
(i) 時間 $T$ は固定で、終端は自由である。
(ii) $f,\ell$ とその $x$ についての偏導関数は連続で、$g$ は $C^1$ 級で、制御は区分的に連続である。
(iii) 最適制御が存在する。定理は存在を仮定しており、存在は別に確かめる。
$U$ の凸性と、$f,\ell$ の $u$ についての微分可能性は要らない。

誤った読み方反例何が起こるか
条件を満たせば最適である$\dot x=u$、$U=[-1,1]$、$x(0)=0$、$J=-x(T)^2$、$u\equiv0$thm-pmp-free の 3 条件を満たすが最適でない($g$ が凸でない)
最適制御はいつも存在する$\dot x=u$、$U=\{-1,1\}$、$x(0)=0$、$J=\int_0^Tx^2\,dt$下限 $0$ に達しない($U$ が凸でない)。定理は存在を仮定している
最大条件は $\partial_uH=0$ と同じである$\dot x=u$、$U=[-1,1]$、$x(0)=0$、$J=\int_0^Tx\,dt$$u^*\equiv-1$ が最適だが $\partial_uH=p\ne0$($t< T$)
終端を固定しても $p_0=-1$ としてよいex-pmp-abnormal$p_0=-1$ の $p$ は存在しない
最大条件はいつも $u$ を決める$\dot x=u$、$U=[-1,1]$、$x(0)=\xi>0$、$\xi< T$、$J=\int_0^Tx^2\,dt$$x^*\equiv0$ となる区間で $p\equiv0$ となり、$H$ が $u$ によらない
表の反例の確かめ

1 行目から 3 行目は直接の計算で、5 行目は $p$ を書き下して確かめる。

各行の確かめを開く

1 行目:$u\equiv0$ では $x\equiv0$ で、$\dot p=0$、$p(T)=-g'(0)=0$ より $p\equiv0$ である。$H\equiv0$ だから最大条件は成り立つ。しかし $J=0$ で、$u\equiv1$ なら $J=-T^2<0$ である。この問題では $H=pu$ は凹だが、$g(x)=-x^2$ は凸でない。

2 行目:許容制御では $\dot x=\pm1$ なので、$x$ は有限個の点でしか $0$ にならず $J>0$ である。$T/2^k$ ごとに $\pm1$ を切り替えると $\lvert x\rvert\le T/2^k$ なので $J\to0$ である。よって下限 $0$ に達する制御はない。$U=[-1,1]$ に広げると $u\equiv0$ が最適になる。

3 行目:どの許容制御でも $x(t)\ge-t$ で、等号がすべての $t$ で成り立つのは $u\equiv-1$ のときだから、$u^*\equiv-1$ が最適である。$\ell=x$ から $\dot p=1$、$p(T)=0$ で $p(t)=t-T$ である。$H=pu-x$ で $p<0$ なので最大は $u=-1$ でとられる。$\partial_uH=p$ は $t< T$ で $0$ でない。

5 行目:どの許容制御でも $\lvert x(t)\rvert\ge\xi-t$ なので、$x^*(t)=\max\{\xi-t,0\}$ が最適である($t<\xi$ で $u^*=-1$、$t>\xi$ で $u^*=0$)。$\dot p=2x^*$、$p(T)=0$ から、$t\ge\xi$ で $p\equiv0$、$t<\xi$ で $p(t)=-(\xi-t)^2<0$ である。$t<\xi$ では最大条件は $u=-1$ を与えるが、$t>\xi$ では $H=-(x^*)^2=0$ が $u$ によらず、最大条件は $u^*$ を決めない。このような区間を 特異な区間 という。

よくある誤り

誤り正しくはなぜ
$H'=p\cdot f+\ell$ を $p(T)=-\nabla g$ のまま最大にする$H=p\cdot f-\ell$ なら最大、$H'=q\cdot f+\ell$ なら最小で、$q(T)=\nabla g$$q=-p$ で $H'=-H$ となる。公式の表の直後の注
$p(T)=\nabla g(x^*(T))$ とする$H=p\cdot f-\ell$ の流儀では $p(T)=-\nabla g(x^*(T))$ex-pmp-lq の数の例で $p=2x(T)$ とすると $u\equiv-1$、費用は $3$ で、最適値 $1/3$ と合わない
条件を満たす制御を最適と書くprop-pmp-sufficient か直接の比較で確かめる必要条件である。反例の表の 1 行目
$\partial_uH=0$ だけを解く$U$ の上の最大を直接調べる最大が $U$ の端でとられることがある。反例の表の 3 行目
終端を固定した問題で $p_0$ を省く$p_0=0$ の場合も調べるex-pmp-abnormal では $p_0=-1$ の $p$ が存在しない

補足

仮定の緩め方と歴史

制御を可測で有界な関数の族まで広げても、最大条件がほとんどすべての $t$ で成り立つ形の主張がある。この記事では区分的に連続な制御だけを扱い、その形は証明しない。
最大原理は 1950 年代末に Pontryagin の学派によって得られ、1960 年にモスクワで開かれた IFAC の第 1 回世界会議で発表され、1962 年の著書で広く知られた(Lib12 §4.1.2)。

関連項目

参考文献

[1]
Daniel Liberzon, Calculus of Variations and Optimal Control Theory: A Concise Introduction, Princeton University Press, 2012, §4.1(主張)、§4.2(証明。§4.2.6 位相的な補題、§4.2.7 分離)、§4.3.1(固定時間、時間に依存する系、終端費用)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する