確率最適制御(stochastic optimal control)とは、Brown 運動による雑音を含む確率微分方程式に従う系の制御を、その時刻までの情報だけから選び、走行費用と終端費用の和の期待値を最小にする問題である。最小の費用を表す価値関数は 2 階の Hamilton–Jacobi–Bellman 方程式と結びつき、検証定理により、この方程式の滑らかな解は可積分性などの条件のもとで価値関数に一致し、各時刻で最小を与える値を状態の関数として使う制御が最適になる。線形の系と 2 次の費用では Riccati 方程式で解け、最適なフィードバックは加法的な雑音の大きさによらない。資産配分、在庫、機械や軌道の制御に使う。
前提知識: 確率微分方程式, 伊藤の公式, 動的計画法と最適制御
確率最適制御(stochastic optimal control)は、雑音を含む系
$$
dX_s=b(s,X_s,\alpha_s)\,ds+\sigma(s,X_s,\alpha_s)\,dW_s
$$
の制御 $\alpha_s$ を、その時刻までの情報だけから選び、費用の期待値
$$
J=\mathbb{E}\Bigl[\int_t^T\ell(s,X_s,\alpha_s)\,ds+g(X_T)\Bigr]
$$
を最小にする問題である。$W$ は Brown 運動で、$\sigma$ が雑音の強さを表す。在庫や資産の配分、機械の位置決め、衛星の軌道の修正などが、この形に書ける。
決定論的な連続時間の問題では、1 階の Hamilton–Jacobi–Bellman 方程式(HJB 方程式)の $C^1$ 級の解は費用の下界を与え、各時刻で最小を与える制御があれば最小の費用 $V(t,x)$ に一致する(動的計画法と最適制御 の命題「Hamilton–Jacobi–Bellman 方程式の検証」)。雑音があると、伊藤の公式 の 2 階の項が加わり、HJB 方程式は 2 階の偏微分方程式
$$
\partial_tV+\min_{a\in A}\Bigl\{b\cdot\nabla V+\tfrac12\operatorname{tr}\bigl(\sigma\sigma^{\mathsf T}\nabla^2V\bigr)+\ell\Bigr\}=0,\qquad V(T,\cdot)=g
$$
になる。この記事の中心は 検証定理 である。HJB 方程式の滑らかな解 $w$ が見つかれば、適切な可積分性のもとで $w$ が最小の費用に等しく、各時刻で最小を与える $a$ を状態の関数として使う制御が最適になる。この記事では検証定理と、線形の系と 2 次の費用(LQ 問題)の解を証明し、資産配分の Merton の問題などの例を数値まで計算する。
$(\Omega,\mathcal F,P)$ の上に $d$ 次元の Brown 運動 $W$ と、通常の条件を満たすフィルトレーション $(\mathcal F_s)$ があり、$W$ はそれに関する Brown 運動とする。$O\subset\mathbb{R}^n$ を開集合(状態のとりうる範囲)、$A\subset\mathbb{R}^m$ を制御の値の集合とし、Borel 可測な関数
$$
b\colon[0,T]\times O\times A\to\mathbb{R}^n,\quad\sigma\colon[0,T]\times O\times A\to\mathbb{R}^{n\times d},\quad\ell\colon[0,T]\times O\times A\to\mathbb{R},\quad g\colon O\to\mathbb{R}
$$
を与える。$\sigma=0$ も許す。
$(t,x)\in[0,T)\times O$ とする。$A$ に値をとる発展的可測な過程 $\alpha=(\alpha_s)_{t\le s\le T}$ が次を満たすとき 許容制御 といい、その全体を $\mathcal A(t,x)$ と書く。
$|\sigma|^2$ は行列の成分の 2 乗和である。制御は将来の雑音を見られない(発展的可測性)。利得 $U$ を最大にする問題は、費用 $-U$ を最小にする問題として扱う。
$a\in A$ と、$C^{1,2}$ 級の関数 $\varphi(s,y)$ について
$$
\mathcal L^a\varphi(s,y):=b(s,y,a)\cdot\nabla\varphi(s,y)+\frac12\operatorname{tr}\bigl(\sigma\sigma^{\mathsf T}(s,y,a)\,\nabla^2\varphi(s,y)\bigr)
$$
とおく($\nabla,\nabla^2$ は $y$ についての勾配と Hesse 行列)。方程式
$$
\partial_tw(s,y)+\inf_{a\in A}\bigl\{\mathcal L^aw(s,y)+\ell(s,y,a)\bigr\}=0\quad(s< T,\ y\in O),\qquad w(T,y)=g(y)
$$
を Hamilton–Jacobi–Bellman 方程式(HJB 方程式)という。
$\mathcal L^a$ は、制御を $a$ に固定したときの拡散過程の生成作用素である。$\varphi\in C^{1,2}$ なら、伊藤の公式 により $d\varphi(s,X_s)=(\partial_t\varphi+\mathcal L^{\alpha_s}\varphi)(s,X_s)\,ds+\nabla\varphi^{\mathsf T}\sigma\,dW_s$ となる。HJB 方程式は「$\varphi=V$ のとき、どの制御でも $V(s,X_s)+\int_t^s\ell\,dr$ の $ds$ の項は $0$ 以上で、最適な制御でちょうど $0$ になる」ことを表す。
検証定理を使うには、次の条件を確かめる。
| 設定 | 公式 | 使える条件 | 根拠 |
|---|---|---|---|
| 一般 | $\partial_tV+\inf_a\{\mathcal L^aV+\ell\}=0$、$V(T)=g$ | 条件 1〜5 を満たす解 $w$ があれば $w=V$ | thm-soc-verification |
| 一般 | 最適な制御は $\hat\alpha_s=\hat a(s,X_s)$(状態のフィードバック) | 条件 4・5 | thm-soc-verification |
| LQ 問題 | $V(t,x)=x^{\mathsf T}P(t)x+\int_t^T\operatorname{tr}(D^{\mathsf T}PD)\,ds$ | $Q,G\ge0$、$R>0$、$\mathbb{E}\int\lvert \alpha\rvert ^2< \infty$ の制御 | thm-soc-lq |
| LQ 問題 | $\dot P+F^{\mathsf T}P+PF-PBR^{-1}B^{\mathsf T}P+Q=0$、$P(T)=G$、$\hat\alpha=-R^{-1}B^{\mathsf T}PX$ | 同上 | thm-soc-lq |
| Merton の問題 | $V=e^{\rho(T-t)}x^p$、$\hat\pi=\dfrac{\mu-r}{\sigma^2(1-p)}$、$\rho=rp+\dfrac{(\mu-r)^2p}{2\sigma^2(1-p)}$ | 効用 $x^p$($0< p< 1$)を最大化、有界な投資比率 | ex-soc-merton、Pha05 §2.2.2(p. 513) |
| 有界な制御と線形の費用 | $\inf_{\lvert a\rvert \le1}a\,q=-\lvert q\rvert $、最適な制御は $-\operatorname{sgn}q$ | $A=[-1,1]$、$b=a$ | ex-soc-bang |
LQ 問題の価値関数の第 2 項は、雑音が加える費用である。最適なフィードバックの係数 $-R^{-1}B^{\mathsf T}P$ は雑音の大きさ $D$ によらない。
$w\in C^{1,2}([0,T)\times O)$ は $[0,T]\times O$ の上で連続で $w(T,\cdot)=g$ を満たし、すべての $s< T$、$y\in O$、$a\in A$ で
$$
\partial_tw(s,y)+\mathcal L^aw(s,y)+\ell(s,y,a)\ge0\qquad\text{(1)}
$$
とする。$(t,x)\in[0,T)\times O$ を固定する。
1:$\alpha$ と $X=X^{t,x,\alpha}$ をとる。$R>0$ を $T-1/R>t$ となるほど大きくとり、
$$
K_R:=\{y\in O:|y|\le R,\ \operatorname{dist}(y,\mathbb{R}^n\setminus O)\ge1/R\}
$$
とおく($O=\mathbb{R}^n$ なら $\operatorname{dist}=\infty$ と読む)。$K_R$ はコンパクトである。停止時刻
$$
\tau_R:=\inf\Bigl\{s\ge t:X_s\notin K_R\ \text{または}\ \int_t^s|\sigma(r,X_r,\alpha_r)|^2dr\ge R\Bigr\}\wedge(T-1/R)
$$
を考える($x\in K_R$ となる $R$ だけを使う)。$[t,\tau_R]$ では $s\le T-1/R< T$ なので $w$ は $C^{1,2}$ 級であり、多次元の伊藤の公式(半マルチンゲール の注意「所在と連続な場合の分解」、Mey76 IV.21。この記事では証明しない)により
$$
w(\tau_R,X_{\tau_R})=w(t,x)+\int_t^{\tau_R}(\partial_tw+\mathcal L^{\alpha_s}w)(s,X_s)\,ds+\int_t^{\tau_R}\nabla w(s,X_s)^{\mathsf T}\sigma(s,X_s,\alpha_s)\,dW_s
$$
である。$\nabla w$ はコンパクト集合 $[t,T-1/R]\times K_R$ の上で有界なので(上界を $C_R$ とする)、最後の積分の被積分過程 $H_s:=\mathbf 1_{\{s\le\tau_R\}}\nabla w^{\mathsf T}\sigma$ は $\mathbb{E}\int_t^T|H_s|^2ds\le C_R^2R< \infty$ を満たす。Cauchy–Schwarz の不等式からこの確率積分の 2 次変分 $\int_t^T\lvert H_s\rvert^2ds$ の平方根の期待値も有限なので、Burkholder–Davis–Gundyの不等式 の系「平方関数による真のマルチンゲールの判定」によりこの確率積分はマルチンゲールで、期待値は $0$ である。(1) から $-(\partial_tw+\mathcal L^{\alpha_s}w)\le\ell(s,X_s,\alpha_s)$ なので、期待値をとると
$$
w(t,x)\le\mathbb{E}\bigl[w(\tau_R,X_{\tau_R})\bigr]+\mathbb{E}\int_t^{\tau_R}\ell(s,X_s,\alpha_s)\,ds\qquad\text{(2)}
$$
である。右辺の期待値は、$|w(\tau_R,X_{\tau_R})|\le\sup_s|w(s,X_s)|$ と許容制御の条件 2 により有限である。
$R\to\infty$ とする。道 $s\mapsto X_s$ は $[t,T]$ で連続で $O$ に値をとるので、その像はコンパクトで、十分大きな $R$ について $K_R$ に含まれる。また $\int_t^T|\sigma|^2dr< \infty$ なので、十分大きな $R$ では $\tau_R=T-1/R$ となり、確率 $1$ で $\tau_R\to T$ である。$w$ は $[0,T]\times O$ で連続なので $w(\tau_R,X_{\tau_R})\to w(T,X_T)=g(X_T)$ で、これは可積分な $\sup_s|w(s,X_s)|$ で押さえられる。$\int_t^{\tau_R}\ell\,ds\to\int_t^T\ell\,ds$ は可積分な $\int_t^T|\ell|\,ds$ で押さえられる。優収束定理により (2) の右辺は $J(t,x;\alpha)$ に収束し、$w(t,x)\le J(t,x;\alpha)$ を得る。
2:$\hat\alpha$ について同じ計算をすると、$\partial_tw+\mathcal L^{\hat\alpha_s}w+\ell(s,\hat X_s,\hat\alpha_s)=0$ なので (2) が等号になり、極限でも等号 $w(t,x)=J(t,x;\hat\alpha)$ を得る。
最後の主張:1 から $w(t,x)\le\inf_\alpha J=V(t,x)$、2 から $V(t,x)\le J(t,x;\hat\alpha)=w(t,x)$ である。$\square$
証明の要は 2 点である。(1) により、どの制御でも $w(s,X_s)+\int_t^s\ell\,dr$ は「平均すると増える」過程になり、最初の値 $w(t,x)$ は最後の値の期待値(費用)以下になる。最小を達成する制御では平均の増加が $0$ になり、等号になる。止める時刻 $\tau_R$ は、確率積分の期待値が $0$ になることを保証するためのもので、極限に移るときに条件 3 の可積分性が要る。この条件を外すと結論は成り立たない(節「使える条件と反例」)。
検証定理は十分条件である。価値関数が $C^{1,2}$ 級でない問題は多く、そのときは HJB 方程式を粘性解の意味で考える(節「補足」)。
$O=\mathbb{R}^n$、$A=\mathbb{R}^m$ とし、定数の行列 $F\in\mathbb{R}^{n\times n}$、$B\in\mathbb{R}^{n\times m}$、$D\in\mathbb{R}^{n\times d}$ と、対称な $Q,G\in\mathbb{R}^{n\times n}$(半正定値)、$R\in\mathbb{R}^{m\times m}$(正定値)をとる。系と費用を
$$
dX_s=(FX_s+B\alpha_s)\,ds+D\,dW_s,\qquad J=\mathbb{E}\Bigl[\int_t^T\bigl(X_s^{\mathsf T}QX_s+\alpha_s^{\mathsf T}R\alpha_s\bigr)ds+X_T^{\mathsf T}GX_T\Bigr]
$$
とする。この節では、発展的可測で $\mathbb{E}\int_t^T|\alpha_s|^2ds< \infty$ を満たす $\alpha$ の全体を比べる。このとき方程式の解は定数変化の公式
$$
X_s=e^{F(s-t)}x+\int_t^se^{F(s-r)}B\alpha_r\,dr+\int_t^se^{F(s-r)}D\,dW_r
$$
で与えられ(2 つの解の差は確率 $1$ で $\dot\delta=F\delta$、$\delta(t)=0$ を満たすので $0$)、$\mathbb{E}\sup_s|X_s|^2< \infty$ である(最後の項は $e^{Fs}\int_t^se^{-Fr}D\,dW_r$ と書き、Doobの不等式 を使う)。とくに $\alpha$ は def-soc-admissible の意味で許容制御である。
Riccati 方程式
$$
\dot P(s)+F^{\mathsf T}P(s)+P(s)F-P(s)BR^{-1}B^{\mathsf T}P(s)+Q=0,\qquad P(T)=G
$$
は $[0,T]$ の上にただ 1 つの解をもち、$P(s)$ は対称で半正定値である。上の問題の価値関数は
$$
V(t,x)=x^{\mathsf T}P(t)x+\int_t^T\operatorname{tr}\bigl(D^{\mathsf T}P(s)D\bigr)\,ds
$$
で、最適制御はフィードバック $\hat\alpha_s=-R^{-1}B^{\mathsf T}P(s)X_s$ である。
局所解:右辺は $P$ の多項式なので局所 Lipschitz で、Picard–Lindelöfの定理 により $T$ の近くに解があり、解は一意である。$P$ が解なら $P^{\mathsf T}$ も解なので($Q,G,BR^{-1}B^{\mathsf T}$ が対称)、一意性から $P$ は対称である。解が存在する $T$ を含む最大の区間を $(t_0,T]$ とする($t_0< T$)。
検証:$t\in(t_0,T]$ を固定し、$[t,T]$ の上で $w(s,y):=y^{\mathsf T}P(s)y+c(s)$、$c(s):=\int_s^T\operatorname{tr}(D^{\mathsf T}PD)\,dr$ とおく。$\nabla w=2Py$、$\nabla^2w=2P$ なので
$$
\partial_tw+\mathcal L^aw+\ell=y^{\mathsf T}\dot Py-\operatorname{tr}(D^{\mathsf T}PD)+2y^{\mathsf T}P(Fy+Ba)+\operatorname{tr}(DD^{\mathsf T}P)+y^{\mathsf T}Qy+a^{\mathsf T}Ra
$$
である。$\operatorname{tr}(DD^{\mathsf T}P)=\operatorname{tr}(D^{\mathsf T}PD)$、$2y^{\mathsf T}PFy=y^{\mathsf T}(PF+F^{\mathsf T}P)y$ で、$a$ を含む項は平方完成により
$$
a^{\mathsf T}Ra+2a^{\mathsf T}B^{\mathsf T}Py=(a-\hat a)^{\mathsf T}R(a-\hat a)-y^{\mathsf T}PBR^{-1}B^{\mathsf T}Py,\qquad\hat a:=-R^{-1}B^{\mathsf T}Py
$$
である。Riccati 方程式を使うと、残りは $(a-\hat a)^{\mathsf T}R(a-\hat a)\ge0$ だけになり、(1) が成り立ち、$a=\hat a$ で等号になる。$w$ は 2 次の増大で、比べる制御では $\mathbb{E}\sup|X_s|^2< \infty$ なので、thm-soc-verification の条件 3 が成り立つ。閉じた系 $dX=(F-BR^{-1}B^{\mathsf T}P(s))X\,ds+D\,dW$ は係数が連続な線形の方程式で、上と同じく解をもち、$\hat\alpha=-R^{-1}B^{\mathsf T}P\hat X$ は $\mathbb{E}\int|\hat\alpha|^2< \infty$ を満たす。thm-soc-verification により $V(t,x)=w(t,x)$ で、$\hat\alpha$ は最適である。
大域解:$D=0$ の問題に上の検証を使う(Riccati 方程式は $D$ を含まない)。費用は $0$ 以上なので $x^{\mathsf T}P(t)x=V(t,x)\ge0$ であり、$\alpha=0$ と比べると
$$
x^{\mathsf T}P(t)x\le x^{\mathsf T}\Bigl(e^{F^{\mathsf T}(T-t)}Ge^{F(T-t)}+\int_t^Te^{F^{\mathsf T}(s-t)}Qe^{F(s-t)}ds\Bigr)x\le M|x|^2
$$
である。$M$ は括弧の中の行列のノルムの $t\in[0,T]$ についての最大値で、$t_0$ によらない。よって $(t_0,T]$ の上で $0\le P(s)\le MI$ であり、$\|P(s)\|\le M$ である。$t_0\ge0$ と仮定する。$\{\|P\|\le M+1\}$ の上で右辺の Lipschitz 定数と大きさは一様にとれるので、Picard–Lindelöfの定理 の定理「Picard–Lindelöf の定理」が保証する存在の時間 $\delta>0$ は、$\|P\|\le M$ の任意の初期値について共通である。時刻 $t_0+\delta/2$ の値から出発すれば解は $t_0-\delta/2$ まで延び、最大性に反する。よって解は $[0,T]$ の上にある。$\square$
雑音は価値関数に定数の項 $\int_t^T\operatorname{tr}(D^{\mathsf T}PD)\,ds$ を加えるだけで、最適なフィードバックは雑音のない問題と同じである。雑音を $0$ と置いて決定論的な問題を解けばよいので、これを 確実性等価 という。この性質は thm-soc-lq の加法的な雑音によるもので、雑音の大きさが制御に依存する問題では一般には成り立たない(ex-soc-merton では、最適な比率が $\sigma$ に依存する)。離散時間の LQ 問題は 動的計画法と最適制御 の定理「離散時間の LQ 制御と Riccati 漸化式」にある。
| Hamilton 関数の形 | 最小を与える $a$ | 結果の形 |
|---|---|---|
| $a^{\mathsf T}Ra+2a^{\mathsf T}q$($R>0$、$A=\mathbb{R}^m$) | $-R^{-1}q$ | 最小値 $-q^{\mathsf T}R^{-1}q$。$w$ は 2 次形式 |
| $aq$($A=[-1,1]$) | $-\operatorname{sgn}q$ | 最小値 $-\lvert q\rvert $。制御は端の値だけ(bang-bang) |
| $\frac12\sigma^2a^2M+aq$($M>0$) | $-q/(\sigma^2M)$ | 制御が雑音の大きさに入る問題。$M\le0$ だと最小がない |
| $aq$($A=\mathbb{R}$) | $q=0$ でなければ最小がない | 問題が特異になる。HJB 方程式を変分不等式に書き換える(Pha05 Remark 2.2、pp. 511–512) |
$dX_s=\alpha_s\,ds+dW_s$、$X_0=x$、費用 $\mathbb{E}\bigl[\int_0^1(X_s^2+\alpha_s^2)\,ds\bigr]$($G=0$)を最小にする。
使う公式:thm-soc-lq($n=m=d=1$、$F=0$、$B=D=Q=R=1$、$T=1$)。
答え:$P(s)=\tanh(1-s)$、最適制御 $\hat\alpha_s=-\tanh(1-s)\,X_s$、
$$
\boxed{V(0,x)=\tanh(1)\,x^2+\log\cosh1}
$$
で、$x=1$ では $V(0,1)\approx1.195375$。何もしない制御 $\alpha=0$ の費用は $x^2+\frac12$($x=1$ で $1.5$)である。
Riccati 方程式は $\dot P-P^2+1=0$、$P(1)=0$ である。$P=\tanh(1-s)$ とおくと $\dot P=-(1-\tanh^2(1-s))=P^2-1$ で、$P(1)=0$ である。定数の項は $\int_0^1\tanh(1-s)\,ds=\bigl[-\log\cosh(1-s)\bigr]_0^1=\log\cosh1\approx0.433781$、$\tanh1\approx0.761594$ である。$\alpha=0$ では $X_s=x+W_s$ なので $\mathbb{E}\int_0^1X_s^2\,ds=\int_0^1(x^2+s)\,ds=x^2+\frac12$ である。
図: 左は例題「スカラーの LQ 問題」の Riccati 方程式の解 tanh(1−s) を時刻 s に対して描いたもので、s=0 の約 0.76 から s=1 の 0 まで減る。右は同じ Brown 運動の標本で、x=1 から出発し、最適なフィードバックを使った状態は、何もしない状態より 0 に近い側を動き、2 つの差は時間とともに広がる。
金利 $r$ の預金と、期待収益率 $\mu$・変動率 $\sigma>0$ の株式に、富 $X$ のうち比率 $\pi_s$ を株式に投じる。富は $dX_s=X_s\bigl(r+(\mu-r)\pi_s\bigr)ds+\sigma\pi_sX_s\,dW_s$ に従い、$\mathbb{E}[X_T^p]$($0< p< 1$)を有界な発展的可測な $\pi$ の中で最大にする。$\mu=0.06$、$r=0.02$、$\sigma=0.4$、$p=\frac12$、$T-t=1$、$x=1$ とする。
使う公式:thm-soc-verification(費用 $-X_T^p$ の最小化、$O=(0,\infty)$)、解の形 $w=\phi(s)x^p$。
答え:$\hat\pi=\dfrac{\mu-r}{\sigma^2(1-p)}=0.5$、$\rho=rp+\dfrac{(\mu-r)^2p}{2\sigma^2(1-p)}=0.015$、
$$
\boxed{V(t,x)=e^{\rho(T-t)}x^p}
$$
で、$V(t,1)=e^{0.015}\approx1.015113$。この $V$ は最大の期待効用で、費用 $-X_T^p$ の最小値は $-V$ である。確実な富に直すと $V^{1/p}=e^{0.03}\approx1.030455$ で、預金だけの $e^{0.02}\approx1.020201$ を上回る。
$w=\phi(s)x^p$ とおくと $w_x=pw/x$、$w_{xx}=p(p-1)w/x^2$ なので、$\partial_tw+\mathcal L^aw=w\bigl(\dot\phi/\phi+pr+p(\mu-r)a-\frac12\sigma^2p(1-p)a^2\bigr)$ である。$a$ について最大は $a=\hat\pi$ で、最大値は $w(\dot\phi/\phi+\rho)$ である。$\phi=e^{\rho(T-s)}$ ならこれは $0$ で、終端の値は $x^p$ である。費用 $-w$ について (1) が成り立つ。最適な比率の側:$\hat\pi$ は定数なので富は幾何 Brown 運動で、$\mathbb{E}\sup_sX_s^p< \infty$ であり、thm-soc-verification の 2 が使える。ほかの有界な $\pi$ の側:$w\ge0$ なので、証明の (2) から極限に移るとき、優収束定理の代わりに Fatou の補題 $\mathbb{E}[X_T^p]\le\liminf_R\mathbb{E}[w(\tau_R,X_{\tau_R})]\le w(t,x)$ が使えるので、可積分性の条件 3 は要らない。数値:$\hat\pi=0.04/(0.16\cdot0.5)=0.5$、$\rho=0.01+0.0016\cdot0.5/(2\cdot0.16\cdot0.5)=0.015$。
Pha05 §2.2.2(p. 513)は同じ公式を効用 $x^p$($p< 1$)について述べている。最適な比率は一定で、富の大きさにも残りの時間にもよらない。
$dX_s=\alpha_s\,ds+dW_s$、$|\alpha_s|\le1$、費用 $\mathbb{E}[e^{X_T}]$ を最小にする。$x=0$、$T-t=1$ とする。
使う公式:thm-soc-verification、計算の手順の表の 2 行目($\inf_{|a|\le1}aq=-|q|$)。
答え:$\hat\alpha=-1$(つねに下へ押す)、
$$
\boxed{V(t,x)=\exp\bigl(x-\tfrac12(T-t)\bigr)}
$$
で、$V(t,0)=e^{-1/2}\approx0.606531$。
HJB 方程式は $\partial_tw+\frac12w_{xx}-|w_x|=0$、$w(T,x)=e^x$ である。$w=\exp(x-\frac12(T-s))$ なら $\partial_tw=\frac12w$、$\frac12w_{xx}=\frac12w$、$|w_x|=w$ で和は $0$ である。$w_x>0$ なので最小を与えるのは $a=-1$ である。制御が有界なので $X_s\le|x|+(T-t)+\sup_s|W_s-W_t|$ で、$\mathbb{E}\exp(\sup_s|W_s-W_t|)< \infty$(Doobの不等式 を劣マルチンゲール $e^{|W_s-W_t|}$ に使う)から条件 3 が成り立つ。$\hat\alpha=-1$ では $X_T=x-(T-t)+N$、$N\sim N(0,T-t)$ なので $\mathbb{E}e^{X_T}=e^{x-(T-t)+(T-t)/2}$ で、公式と一致する。
thm-soc-verification の条件を 1 つずつ外した例である。いずれも $n=d=1$ で、$\ell=0$ とする。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 4(最小の達成) | $dX=\alpha\,dW$、$A=(0,1]$、$g(x)=x^2$。$w=x^2$ は HJB 方程式を満たす | 定理の 1 と定数の制御 $\alpha\equiv\varepsilon$($\varepsilon\to0$)により $w=V$ だが、どの許容制御でも $J=x^2+\mathbb{E}\int\alpha^2ds>x^2$ で、最適制御が存在しない |
| 3(可積分性) | $dX=\alpha\,dW$、$A=\mathbb{R}$、$g(x)=x$。$w=x$ は HJB 方程式を満たし多項式の増大をもつ。比べる制御を $\int_t^T\alpha^2ds< \infty$(確率 1)だけで許す | 倍賭けの制御で $X_T=x-1$(確率 1)となり、$J=x-1< w(t,x)$。定理の 1 の不等式 $w\le J$ が成り立たない |
| 1(滑らかさ) | $\sigma=0$、$dX=\alpha\,ds$、$A=[-1,1]$、$g(x)=\lvert x\rvert $ | 価値関数 $V=\max(\lvert x\rvert -(T-t),0)$ は $\lvert x\rvert =T-t$ で微分できず、$C^{1,2}$ 級の解として求められない |
1 行目:$\partial_tw+\inf_{0< a\le1}\frac12a^2w_{xx}=\inf_{0< a\le1}a^2=0$ で、下限は達成されない。有界な許容制御($A=(0,1]$ なので自動的に有界)について伊藤の等長性から $J=x^2+\mathbb{E}\int_t^T\alpha_s^2ds>x^2$ である。定数 $\alpha=\varepsilon$ では $J=x^2+\varepsilon^2(T-t)\to x^2$ なので $V=x^2$ である。
2 行目:$s< T$ で $Y_s:=\int_t^s(T-r)^{-1}dW_r$ とおく。$\theta(s):=\int_t^s(T-r)^{-2}dr=\frac1{T-s}-\frac1{T-t}$ は $[t,T)$ から $[0,\infty)$ への増加な全単射である。確定的な関数の伊藤積分は Gauss 分布をもち(伊藤積分 の例「確定的な関数の積分」)、交わらない区間の増分は独立なので、$\beta_u:=Y_{\theta^{-1}(u)}$ は道が連続で、独立な増分が $N(0,u'-u)$ に従う過程、すなわち Brown 運動である。$\liminf_{u\to\infty}\beta_u=-\infty$(MP10 Proposition 1.23、p. 19)なので、$\tau:=\inf\{s:Y_s=-1\}< T$ が確率 $1$ で成り立つ。$\alpha_s:=(T-s)^{-1}\mathbf 1_{\{s\le\tau\}}$ は発展的可測で $\int_t^T\alpha_s^2ds=\theta(\tau)< \infty$、$X_T=x+Y_\tau=x-1$ である。一方、$\mathbb{E}\int\alpha^2ds< \infty$ の制御では $X$ はマルチンゲールで $J=x$ なので、その範囲では $V=x=w$ である。倍賭けの制御では $\mathbb{E}\sup_s|X_s|=\infty$ で、条件 3 が満たされていない(有限なら証明の (2) から $w\le J$ が出る)。
3 行目:$|x|\le T-t$ なら $\alpha=-\operatorname{sgn}x$ で時刻 $t+|x|$ に $0$ に達し、以後 $\alpha=0$ とすれば費用 $0$ である。$|x|>T-t$ なら $|X_T|\ge|x|-(T-t)$ で、$\alpha=-\operatorname{sgn}x$ で等号になる。$x\mapsto\max(|x|-(T-t),0)$ は $|x|=T-t$ で左右の微分係数が $0$ と $1$(または $-1$)で異なる。
| 誤り | 正しくは | なぜ |
|---|---|---|
| HJB 方程式の 2 階の項を落とす、または $\sigma^2w_{xx}$ と書く | $\frac12\operatorname{tr}(\sigma\sigma^{\mathsf T}\nabla^2w)$ | 伊藤の公式 の 2 次変分の項に $\frac12$ が付く |
| HJB 方程式の解を見つけただけで最適と結論する | 可積分性と閉じた系の解を確かめる | 表の 2 行目(倍賭け)で $w\ne V$ |
| 最大化の問題で $\inf$ のまま解く | 費用 $-U$ の最小化に直すか、$\sup$ に置き換え不等号を逆にする | ex-soc-merton |
| LQ 問題の価値関数から雑音の項を落とす | $\int_t^T\operatorname{tr}(D^{\mathsf T}PD)\,ds$ を足す | thm-soc-lq |
| 最適制御の存在を当然とする | 最小が達成されない問題がある | 表の 1 行目 |
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する