モデル予測制御(model predictive control)とは、各時刻に現在の状態から先の有限段の入力の列を最適化問題として解き、その最初の入力だけを加えて、次の時刻に状態を測り直して解き直す制御の方法である。入力や状態の制約を最適化問題にそのまま書き込める。終端集合の中で終端費用が段の費用以上に減るという終端条件を課すと、最適化問題は一度解ければ次の時刻も解け、最適値は閉ループの Lyapunov 関数になって状態は原点へ収束する。線形の系と 2 次の費用では、終端費用と終端集合を離散代数 Riccati 方程式の解から作れ、制約が効かない範囲では線形 2 次レギュレータに一致する。
前提知識: 動的計画法と最適制御, Lyapunovの安定性定理, Riccati方程式, 凸最適化
モデル予測制御(model predictive control、MPC)は、各時刻に「今の状態から先の $N$ 段の入力の列」を有限期間の最適制御問題として解き、その 最初の 1 つだけ を加え、次の時刻に状態を測り直して同じ問題を解き直す制御の方法である。予測する区間が時刻とともに先へずれていくので、後退ホライズン制御(receding horizon control)ともいう。入力の大きさや状態の範囲の 制約 を最適化問題にそのまま書き込めることが、動的計画法と最適制御 の線形 2 次レギュレータ(LQR)にはない長所である。
たとえば離散時間の系 $x_{t+1}=2x_t+u_t$ は入力がなければ $x_t=2^tx_0$ と発散し、入力は $|u_t|\le1$ に限られる。$|x|>1$ になると $|2x+u|\ge2|x|-1>|x|$ なので、もう原点へは戻せない。各時刻に有限期間の問題を解き直すだけの制御器が、制約を守りながら原点へ連れ戻せるか。答えは、最適化問題の「終端」に適切な費用と集合を置けば保証される、というのがこの記事の主定理である。
この記事では、MPC の最適化問題を定義し、解の存在と、終端条件による安定性(再帰的な実行可能性、価値関数の減少、指数的な収束)を完全に証明する。次に線形の系と 2 次の費用で終端の費用と集合を Riccati方程式 から作る方法を証明し、数値の例と、条件を外すと不安定になる反例を示す。
状態 $x\in\mathbb R^n$、入力 $u\in\mathbb R^m$ の離散時間の系 $x_{t+1}=f(x_t,u_t)$ を考える。$|x|$ は Euclid ノルムである。
ホライズン $N\ge1$、段の費用 $\ell(x,u)\ge0$、終端費用 $V_f(x)\ge0$、状態の制約集合 $\mathbb X\subset\mathbb R^n$、入力の制約集合 $\mathbb U\subset\mathbb R^m$、終端集合 $\mathbb X_f\subset\mathbb X$ を与える。状態 $x$ について、入力の列 $\mathbf u=(u_0,\dots,u_{N-1})\in\mathbb U^N$ と $x_0=x$、$x_{k+1}=f(x_k,u_k)$ から決まる状態の列が
$$
x_k\in\mathbb X\ (0\le k\le N-1),\qquad x_N\in\mathbb X_f
$$
を満たすとき、$\mathbf u$ は 実行可能 であるという。実行可能な $\mathbf u$ についての
$$
V_N(x,\mathbf u):=\sum_{k=0}^{N-1}\ell(x_k,u_k)+V_f(x_N)
$$
の最小化を問題 $\mathbb P_N(x)$ と呼ぶ。実行可能な $\mathbf u$ が存在する $x$ の全体を $\mathbb X_N$、最小値を $V_N^0(x)$ と書く。
$x\in\mathbb X_N$ について $\mathbb P_N(x)$ の最小点 $\mathbf u^0(x)=(u_0^0(x),\dots,u_{N-1}^0(x))$ を 1 つ選び、$\kappa_N(x):=u_0^0(x)$ とおく。閉ループ $x_{t+1}=f(x_t,\kappa_N(x_t))$ を モデル予測制御(MPC)という。最小点が複数あるときは、どれを選んでも以下の結論は同じである。
使える条件を (A1)〜(A4) にまとめる。(A3) と (A4) が安定性のための 終端条件 である(RMD17 の Assumption 2.2・2.3(pp. 97–98)と Assumption 2.14(p. 114)を、2 次の上下の評価で述べ直したもの)。
(A1) $f,\ell$ は連続、$V_f$ は $\mathbb X_f$ の上で連続で、$f(0,0)=0$、$\ell(0,0)=0$、$V_f(0)=0$。
(A2) $\mathbb X$ と $\mathbb X_f$ は閉集合、$\mathbb U$ は有界閉集合(コンパクト空間)で、$0\in\mathbb X_f$、$0\in\mathbb U$。
(A3) すべての $x\in\mathbb X_f$ について、ある $u\in\mathbb U$ が $f(x,u)\in\mathbb X_f$ かつ
$$
V_f\bigl(f(x,u)\bigr)-V_f(x)\le-\ell(x,u)
$$
を満たす。
(A4) 定数 $a,b,r>0$ があって、$\ell(x,u)\ge a|x|^2$($x\in\mathbb X$、$u\in\mathbb U$)、$V_f(x)\le b|x|^2$($x\in\mathbb X_f$)、$\{|x|\le r\}\subset\mathbb X_f$。
(A3) は、終端集合の中では「ある局所的な制御則で $V_f$ が段の費用以上に減る」ことを言っている。$V_f$ は $\mathbb X_f$ の上の Lyapunov 関数で、終端集合は不変集合である。
(A1)(A2) の下で、$x\in\mathbb X_N$ なら $\mathbb P_N(x)$ は最小点をもつ。
$x$ を固定すると、各 $x_k$ は $\mathbf u$ の連続関数である($f$ の連続性と帰納法)。実行可能な $\mathbf u$ の集合は、コンパクト集合 $\mathbb U^N$ の中で閉集合 $\mathbb X$、$\mathbb X_f$ の連続関数による逆像の共通部分だから、コンパクトで、$x\in\mathbb X_N$ なので空でない。$V_N(x,\cdot)$ はその上で連続なので、最大値・最小値の定理 により最小値をとる。$\square$
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| 価値関数の減少 | $V_N^0(x^+)\le V_N^0(x)-\ell(x,\kappa_N(x))$ | (A1)〜(A3)、$x\in\mathbb X_N$ | thm-mpc-main |
| 上下の評価 | $a\lvert x\rvert^2\le V_N^0(x)\le V_f(x)\le b\lvert x\rvert^2$ | 上は $x\in\mathbb X_f$、下は $x\in\mathbb X_N$ | thm-mpc-main |
| 指数的な収束 | $\lvert x_t\rvert^2\le\frac ba\bigl(1-\frac ab\bigr)^t\lvert x_0\rvert^2$ | $\lvert x_0\rvert\le r\sqrt{a/b}$ | thm-mpc-main |
| 離散代数 Riccati 方程式 | $P=Q+A^{\mathsf T}PA-A^{\mathsf T}PB(R+B^{\mathsf T}PB)^{-1}B^{\mathsf T}PA$ | $Q,R$ 正定値、$P$ 正定値 | 動的計画法と最適制御 |
| 終端の利得 | $K=(R+B^{\mathsf T}PB)^{-1}B^{\mathsf T}PA$、$\kappa_f(x)=-Kx$ | 同上 | prop-mpc-lq |
| 減少条件の等号 | $(A-BK)^{\mathsf T}P(A-BK)-P=-(Q+K^{\mathsf T}RK)$ | 同上 | prop-mpc-lq |
| 終端集合の大きさ | $c\le\dfrac{\bar u_i^2}{k_i^{\mathsf T}P^{-1}k_i}$、$c\le\dfrac{\bar x_j^2}{h_j^{\mathsf T}P^{-1}h_j}$ | 箱形・帯形の制約 | prop-mpc-lq |
| 楕円の上の 1 次式の最大 | $\max_{x^{\mathsf T}Px\le c}\lvert g^{\mathsf T}x\rvert=\sqrt{c\,g^{\mathsf T}P^{-1}g}$ | $P$ 正定値 | prf-mpc-lq |
| 例の実行可能集合 | $\mathbb X_N=[-c_N,c_N]$、$c_N=1-\dfrac{3-\sqrt5}{2^{N+1}}$ | ex-mpc-scalar の系 | ex-mpc-feasible |
(A1)〜(A4) を仮定し、$N\ge1$ とする。閉ループ $x^+=f(x,\kappa_N(x))$ について次が成り立つ。
1 と 2。 $x\in\mathbb X_N$ とし、prop-mpc-exist の最小点 $\mathbf u^0=(u_0^0,\dots,u_{N-1}^0)$ と、それが生む状態の列 $x_0^0=x,x_1^0,\dots,x_N^0$ をとる。$x^+=x_1^0$ である。(A3) を $x_N^0\in\mathbb X_f$ に使って、$\tilde u\in\mathbb U$ を $f(x_N^0,\tilde u)\in\mathbb X_f$、$V_f(f(x_N^0,\tilde u))-V_f(x_N^0)\le-\ell(x_N^0,\tilde u)$ となるようにとる。$x^+$ から始める入力の列として
$$
\tilde{\mathbf u}:=(u_1^0,\dots,u_{N-1}^0,\tilde u)
$$
を考える。状態の列は $x_1^0,\dots,x_N^0,f(x_N^0,\tilde u)$ で、$x_k^0\in\mathbb X$($1\le k\le N-1$)、$x_N^0\in\mathbb X_f\subset\mathbb X$、$f(x_N^0,\tilde u)\in\mathbb X_f$ だから、$\tilde{\mathbf u}$ は $x^+$ について実行可能である。よって $x^+\in\mathbb X_N$ で、1 が示された。その費用は
$$
V_N(x^+,\tilde{\mathbf u})=V_N^0(x)-\ell(x,u_0^0)+\Bigl[\ell(x_N^0,\tilde u)+V_f\bigl(f(x_N^0,\tilde u)\bigr)-V_f(x_N^0)\Bigr]\le V_N^0(x)-\ell(x,u_0^0)
$$
である(括弧の中は $\tilde u$ の選び方で $0$ 以下)。$V_N^0(x^+)\le V_N(x^+,\tilde{\mathbf u})$ と $u_0^0=\kappa_N(x)$、(A4) の $\ell\ge a|x|^2$ から 2 が従う。
3。 $x\in\mathbb X_f$ とする。(A3) を繰り返し使い、$x_0=x$ から $u_k\in\mathbb U$ を $x_{k+1}=f(x_k,u_k)\in\mathbb X_f$、$V_f(x_{k+1})-V_f(x_k)\le-\ell(x_k,u_k)$ となるように順に選ぶ。すべての $x_k$ は $\mathbb X_f\subset\mathbb X$ にあるので、この列は実行可能で、$x\in\mathbb X_N$ である。不等式を $k=0,\dots,N-1$ で足すと $\sum_{k< N}\ell(x_k,u_k)+V_f(x_N)\le V_f(x)$ なので、$V_N^0(x)\le V_f(x)\le b|x|^2$ である。下からの評価は、$V_N^0(x)\ge\ell(x,u_0^0)\ge a|x|^2$ による。$0\ne x\in\mathbb X_f$($|x|\le r$ の点がある)で上下を比べて $a\le b$。
4。 2 を $t=0,\dots,T-1$ で足すと $a\sum_{t< T}|x_t|^2\le V_N^0(x_0)-V_N^0(x_T)\le V_N^0(x_0)$ で、$T\to\infty$ として級数は収束し、$x_t\to0$ である。
$|x_0|\le r\sqrt{a/b}$ とする。$a\le b$ なので $|x_0|\le r$ で、$x_0\in\mathbb X_f$ である。$V_t:=V_N^0(x_t)$ とおくと、2 により $V_t$ は増えないので、$a|x_t|^2\le V_t\le V_0\le b|x_0|^2\le ar^2$、すなわち $|x_t|\le r$ で、すべての $x_t$ は $\mathbb X_f$ にある。したがって 3 から $V_t\le b|x_t|^2$ で、2 と合わせて
$$
V_{t+1}\le V_t-a|x_t|^2\le\Bigl(1-\frac ab\Bigr)V_t
$$
である。よって $a|x_t|^2\le V_t\le(1-\frac ab)^tV_0\le(1-\frac ab)^tb|x_0|^2$ で、主張の評価を得る。一般の $x_0\in\mathbb X_N$ では $x_t\to0$ なので、ある $t_0$ で $|x_{t_0}|\le r\sqrt{a/b}$ となり、$x_{t_0}$ から上の議論を使えばよい。$\square$
3 の不等式 $V_N^0\le V_f$ は、ホライズンを延ばしても価値関数が増えないという単調性の一部である(RMD17 Proposition 2.18、pp. 118–119)。4 の前半は、$V_N^0$ が閉ループの Lyapunov 関数であることの言い換えである。RMD17 Theorem 2.19(p. 119)は、2 次の評価の代わりに $\mathcal K_\infty$ 関数による上下の評価を仮定し、漸近安定性を同じ筋で示している。
$f(x,u)=Ax+Bu$、$\ell(x,u)=x^{\mathsf T}Qx+u^{\mathsf T}Ru$($Q,R$ は 正定値行列)の場合に、(A3)(A4) を満たす終端の費用と集合を作る。
$P$ を離散代数 Riccati 方程式 $P=Q+A^{\mathsf T}PA-A^{\mathsf T}PB(R+B^{\mathsf T}PB)^{-1}B^{\mathsf T}PA$ の正定値な解とし、$K:=(R+B^{\mathsf T}PB)^{-1}B^{\mathsf T}PA$ とおく。
1。 $M:=R+B^{\mathsf T}PB$ とおくと $B^{\mathsf T}PA=MK$ である。展開して
$$
(A-BK)^{\mathsf T}P(A-BK)=A^{\mathsf T}PA-2K^{\mathsf T}MK+K^{\mathsf T}(M-R)K=A^{\mathsf T}PA-K^{\mathsf T}MK-K^{\mathsf T}RK
$$
である($A^{\mathsf T}PBK=K^{\mathsf T}MK$ と $B^{\mathsf T}PB=M-R$ を使った)。Riccati 方程式は $A^{\mathsf T}PA-K^{\mathsf T}MK=P-Q$ と書けるので、$(A-BK)^{\mathsf T}P(A-BK)-P=-(Q+K^{\mathsf T}RK)$ である。両辺を $x$ で挟めば主張になる。
2。 $g\in\mathbb R^n$ について、$y=P^{1/2}x$ と置き Cauchy–Schwarz の不等式を使うと $|g^{\mathsf T}x|=|(P^{-1/2}g)^{\mathsf T}y|\le\sqrt{g^{\mathsf T}P^{-1}g}\sqrt{x^{\mathsf T}Px}$ で、等号は $x$ が $P^{-1}g$ の定数倍のときに成り立つ。よって $x\in\mathbb X_f$ なら $|k_i^{\mathsf T}x|\le\bar u_i$、$|h_j^{\mathsf T}x|\le\bar x_j$ で、$-Kx\in\mathbb U$、$\mathbb X_f\subset\mathbb X$ である。1 から $V_f((A-BK)x)\le V_f(x)\le c$ なので $(A-BK)x\in\mathbb X_f$ で、(A3) が成り立つ。$\mathbb X_f$ は閉集合、$\mathbb U$ はコンパクトで (A2) を満たす。(A4) は $a=\lambda_{\min}(Q)$、$b=\lambda_{\max}(P)$、$r=\sqrt{c/\lambda_{\max}(P)}$ でよい($|x|\le r$ なら $x^{\mathsf T}Px\le\lambda_{\max}(P)|x|^2\le c$)。$\square$
1 は等号なので、制約がなければ $V_f$ は無限ホライズンの価値関数そのものであり、この終端費用を使った MPC はどのホライズン $N$ でも LQR の制御則 $u=-Kx$ に一致する(RMD17 §2.5.1、pp. 132–133)。制約があるときも、$\mathbb X_f$ の中では MPC の答えは $-Kx$ と一致する。実際、$M=R+B^{\mathsf T}PB$ とおくと $\ell(x,u)+V_f(Ax+Bu)=V_f(x)+(u+Kx)^{\mathsf T}M(u+Kx)$ で、これを段ごとに足すと $V_N(x,\mathbf u)=V_f(x)+\sum_{k< N}(u_k+Kx_k)^{\mathsf T}M(u_k+Kx_k)$ となる。$x\in\mathbb X_f$ なら $u_k=-Kx_k$ の列は prop-mpc-lq の 2 により実行可能なので、これがただ 1 つの最小点である。MPC は、制約が効く領域でだけ LQR と違う答えを出す制御器と見ることができる。
線形の系、2 次の費用、箱形の制約の場合、各時刻に次を行う。
$x^+=2x+u$、$\ell=x^2+u^2$、$\mathbb U=[-1,1]$、$\mathbb X=\mathbb R$ とする。prop-mpc-lq の $P$、$K$ と終端集合を求めよ。
解答:Riccati 方程式は $P=1+4P-\dfrac{4P^2}{1+P}$ で、整理すると $P^2-4P-1=0$、正の解は $P=2+\sqrt5\approx4.236068$。$K=\dfrac{2P}{1+P}=\dfrac{1+\sqrt5}2\approx1.618034$ で、閉ループの係数は $2-K=\dfrac{3-\sqrt5}2\approx0.381966$ である。入力の制約から $c\le P/K^2\approx1.618034$ で、終端集合は $\mathbb X_f=\{\lvert x\rvert\le1/K\}=\{\lvert x\rvert\le0.618034\}$ である。(A4) は $a=1$、$b=P$、$r=0.618034$ で成り立つ。
ex-mpc-scalar で $\mathbb X_N$ を求めよ。
解答:$\mathbb X_0=\mathbb X_f=[-c_0,c_0]$、$c_0=\dfrac{\sqrt5-1}2$ とおく。$x$ から 1 段で $[-c,c]$ に入れるのは $2\lvert x\rvert-1\le c$ のときだけだから、$c_{N}=\dfrac{1+c_{N-1}}2$ で、$1-c_N=\dfrac{1-c_{N-1}}2$。よって $c_N=1-\dfrac{3-\sqrt5}{2^{N+1}}$ で、$c_1,\dots,c_4=0.809017,\ 0.904508,\ 0.952254,\ 0.976127$。$N$ を増やすと $\mathbb X_N$ は $(-1,1)$ に近づくが、$\lvert x\rvert\ge1$ はどの $N$ でも含まない。
ex-mpc-scalar で $N=3$、$x_0=0.9$ とする。最初の最適な列、価値、閉ループの軌道を求め、thm-mpc-main の 2 を確かめよ。
解答:最適な列は $(-1,-1,-0.970820)$、$V_3^0(0.9)=4.974984$。閉ループは $0.9\to0.8\to0.6\to0.229180\to0.087539\to0.033437$ と進み、価値は $4.974984,\ 3.164984,\ 1.524984,\ 0.222492$ と減る。最初の差は $1.81=0.9^2+1^2=\ell(0.9,-1)$ で、2 の不等式は等号で成り立っている。$0.6\in\mathbb X_f$ では $V_3^0(0.6)=P\cdot0.36=1.524984=V_f(0.6)$ で、制御は $-K\cdot0.6=-0.970820$ と LQR に一致する。一方 $x_0=0.96$ は $c_3=0.952254$ を超え、$N=3$ では実行可能でない。
$A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$、$B=\begin{pmatrix}0.5\\1\end{pmatrix}$(位置と速度)、$Q=I$、$R=1$、$\lvert u\rvert\le1$、速度の制約 $\lvert v\rvert\le1$、$N=10$、$x_0=(-4,0)$ とする。
解答:$P=\begin{pmatrix}2.367101&1.118034\\1.118034&2.587483\end{pmatrix}$、$K=(0.434483,\ 1.028466)$、$A-BK$ の固有値は $0.377146\pm0.215723i$。終端の水準は入力から $2.445920$、速度から $2.059411$ で、$c=2.059411$。MPC の最初の入力は $u_0=1$、$V_{10}^0(x_0)=42.059359$ で、軌道は $(-4,0)\to(-3.5,1)\to(-2.5,1)\to(-1.5,1)\to(-0.688371,0.623259)$ と、速度の上限 $1$ に沿って進んでから減速し、$25$ 段で $\lvert x_{25}\rvert\approx1.1\times10^{-7}$ になる。LQR の入力を $[-1,1]$ に切り詰めただけの制御では速度が $1.492225$ まで上がり、制約を満たさない。
図: 2重積分器でのモデル予測制御と飽和したLQRの軌道。速度の上限の線と終端集合の楕円を描いてある
ex-mpc-scalar の系で、条件を 1 つだけ外す。
| 外す条件 | 設定 | 何が起こるか | 主張は成り立つか |
|---|---|---|---|
| (A3):終端費用が小さすぎる | $V_f=0$、$\mathbb X_f=\mathbb R$、$N=1$ | $\kappa_1(x)=0$、$x^+=2x$ | 成り立たない:$\mathbb X_1=\mathbb R$ から発散 |
| (A3):終端費用が Riccati の解より小さい | $\ell=x^2+4u^2$、$V_f=x^2$、$\mathbb X_f=\mathbb R$、$N=1$ | $\lvert x\rvert\le2.5$ で $\kappa_1(x)=-0.4x$、$x^+=1.6x$ | 成り立たない:小さい $x_0\ne0$ から発散 |
| (A4):段の費用が状態を測らない | $\ell=u^2$、$V_f=0$、$\mathbb X_f=\mathbb R$ | 最小点は $u=0$、$x^+=2x$ | 成り立たない:$x_t\to0$ とならない |
| (A3):終端の制約をはずす | $V_f=Px^2$、$\mathbb X_f=\mathbb R$ | $x_0=1.5$ から $1.5,2,3,5,9,17$ | 成り立たない:$\mathbb X_N=\mathbb R$ だが発散 |
表の 2 行目と 4 行目を確かめよ。
解答:2 行目。$x^2+4u^2+(2x+u)^2$ を $u$ で微分して $8u+2(2x+u)=0$、$\lvert x\rvert\le2.5$ では $\lvert u\rvert\le1$ を満たすので $u=-0.4x$、$x^+=1.6x$。(A3) の左辺から右辺を引いた量の $u$ についての最小値は $\min_u[(2x+u)^2+4u^2]=3.2x^2>0$ で、(A3) は $x\ne0$ で成り立たない。この $\ell$ の Riccati の解は $P=13.300735$ で、$V_f=Px^2$ と prop-mpc-lq の終端集合に替えれば (A3) が戻る。4 行目。$\lvert x\rvert>1$ ではどの $\lvert u\rvert\le1$ でも $\lvert 2x+u\rvert\ge2\lvert x\rvert-1>\lvert x\rvert$ なので、どの入力の列でも原点へ戻れず、(A3) は $\lvert x\rvert\ge1$ で成り立たない。最適な入力は毎回 $u=-1$ で、軌道は $1.5,2,3,5,9,17$ と発散する。終端の制約があれば $1.5\notin\mathbb X_N$ で、主張の前提から外れる。
| 誤り | 正しくは |
|---|---|
| 最適な入力の列を全部加えればよい | 最初の 1 つだけを加え、測り直して解き直す。そうしないと外乱や誤差に反応しない |
| 終端の費用と集合は省いてよい | 短いホライズンでは不安定になりうる(表の 1・2 行目)。保証には (A3) が要る |
| 終端集合は大きいほどよい | (A3) の $u$ は $\mathbb U$ に入らなければならない。$c$ には prop-mpc-lq の上限がある |
| 最初の時刻に実行可能なら十分 | 次の時刻も実行可能であることは、終端の制約から出る thm-mpc-main の 1 で保証される |
| $\ell\ge0$ なら価値関数は Lyapunov 関数になる | 状態を測る下からの評価 (A4) がないと $x_t\to0$ は出ない(表の 3 行目) |
| MPC と LQR は別物 | 制約が効かない $\mathbb X_f$ の中では、prop-mpc-lq の終端費用で両者は一致する |
主定理の 2 次の上下の評価を一般の $\mathcal K_\infty$ 関数による評価に替えた形(RMD17 Theorem 2.19、p. 119)は、同じ筋で示せるが、この記事では証明しない。モデルの誤差や外乱を集合で表してそのすべてに対して制約を守らせる設計は、ロバスト制御 の考え方を MPC に持ち込んだもので、状態を直接測れないときは Kalmanフィルタ などの推定と組み合わせる。連続時間の有限期間の最適制御の必要条件は Pontryaginの最大原理 が与える。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する