Giải phương trình Hamilton-Jacobi-Bellman; Cần và đủ cho sự tối ưu?

Xét phương trình vi phân sau trong đó là trạng thái và là biến điều khiển. Giải pháp được đưa ra bởi trong đó là trạng thái ban đầu đã cho.

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$

Bây giờ hãy xem xét chương trình sau trong đó biểu thị tùy chọn thời gian, là giá trị và một hàm mục tiêu. Một ứng dụng kinh tế cổ điển là mô hình tăng trưởng tối ưu Ramsey-Cass-Koopmans. Phương trình Hamilton-Jacobi-Bellman được đưa ra bởi

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

Nói rằng tôi đã giải quyết được HJB cho $V$ . Điều khiển tối ưu sau đó được đưa ra bởi

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ Tôi sẽ nhận được quỹ đạo tối ưu cho trạng thái và kiểm soát

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ .

Các wiki bài viết nói

... nhưng khi được giải quyết trên toàn bộ không gian trạng thái, phương trình HJB là điều kiện cần và đủ để tối ưu.

Trong Bertsekas (2005) Lập trình động và điều khiển tối ưu , Tập 1, tái bản lần 3, trong Dự luật 3.2.1, ông nói rằng giải quyết cho $V$ là chức năng chi phí tối ưu và liên quan $u^*$ là tối ưu. Tuy nhiên, ông tuyên bố rõ ràng nó là một định lý đầy đủ.

Trên thực tế, tôi chỉ muốn chắc chắn rằng, nếu tôi đã giải quyết HJB và khôi phục trạng thái liên quan và quỹ đạo kiểm soát, tôi không phải lo lắng về bất kỳ điều kiện tối ưu bổ sung nào.

Giải pháp

Toi thu

Tôi nghĩ rằng tôi đã có thể rút ra các điều kiện cần thiết từ nguyên tắc tối đa bằng chính phương trình HJB.

Xác định hamiltonian started

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

thì ta có

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

đó là

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

Xác định hàm tùy ý với . Bây giờ hãy sửa $q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

trong đó là một tham số. Cắm thuật ngữ vào hamiltonian tối đa hóa cho $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

Tại chúng tôi có giải pháp tối ưu. Do đó, hãy phân biệt để có điều kiện đặt hàng đầu tiên $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

Bây giờ hãy xác định biến adjoint với

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

Phân biệt theo thời gian

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

và lưu ý rằng

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

Cắm mọi thứ vào foc wich sẽ cho

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

Đó là khá nhiều. Vì vậy, giải quyết HJB là thực sự cần thiết và đủ (bỏ qua ở đây) cho sự tối ưu. Ai đó nên thêm nó vào wiki. Có thể tiết kiệm thời gian cho mọi người nghĩ về những vấn đề như vậy (tôi sẽ không nghĩ nhiều).

Tuy nhiên, điều kiện chuyển đổi bị thiếu.

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II Cố gắng

Xác định chức năng hoàn trả

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

Lưu ý rằng theo định nghĩa của . Thêm Thuật ngữ trung lập vào danh sách hoàn trả

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

Tích hợp bởi các phần của thuật ngữ đúng, mang lại lợi nhuận

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

Đặt lại thuật ngữ đó started

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

Xác định

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

cung cấp cho

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

FOC cho tối đa $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

Vì và không bị giới hạn, chúng tôi phải có $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— không biết gì
nguồn

Bạn đã xác định các điều kiện cần và đủ chưa?

— Jamzy

Trong bối cảnh kinh tế nào điều này đi lên?

— Stan Shunpike

Ví dụ mô hình Ramsey cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— không biết gì vào

Tôi nghĩ rằng chủ đề này phù hợp hơn với math.stackexchange.com vì nó không thực sự liên kết với econ. Một mod có thể chuyển nó.

— không biết gì vào

Tôi không chắc chắn những gì được hỏi ở đây: nếu mỗi lần giải quyết HJB của Bertsekas là đủ , thì bạn không phải "lo lắng về các điều kiện tối ưu bổ sung". "Chỉ đủ" chống lại "cần và đủ" sẽ phát sinh trong trường hợp HJB không được giải quyết - trong trường hợp đó người ta sẽ nói "điều này không có nghĩa là không có giải pháp". Nhân tiện, Nỗ lực I và II của bạn là nội dung có giá trị ở đây - lần đầu tiên hiển thị một liên kết giữa HJB và Điều khiển tối ưu, lần thứ hai cho thấy cách FOCs điều khiển tối ưu có thể được bắt nguồn.

— Alecos Papadopoulos

(Điều này có lẽ nên được coi là một nhận xét.)

Nếu bạn đã giải phương trình HJB, nó là đủ để có được giải pháp tối ưu. Vì vậy, bạn không "phải quan tâm đến bất kỳ điều kiện tối ưu nào khác", mà tôi tin rằng dường như để trả lời câu hỏi của bạn.

Dường như bạn quan tâm đến thành phần "cần thiết" của định lý. Mặt cần thiết của câu lệnh như sau: nếu có một giải pháp tối ưu, thì phải tồn tại một giải pháp cho phương trình HJB.

Tôi đã không làm việc với vấn đề cụ thể này, nhưng câu trả lời nói chung là chúng tôi không mong đợi có một hàm khác biệt V. Do đó chúng tôi không có giải pháp cho phương trình như đã nêu. Thay vào đó, chúng ta cần xem xét các đạo hàm tổng quát và chuyển đổi phương trình HJB thành bất đẳng thức. Trong trường hợp đó, bạn có thể nhận được "giải pháp độ nhớt". Nếu chúng ta mở rộng để sử dụng các dẫn xuất tổng quát, có thể chứng minh rằng một giải pháp như vậy luôn tồn tại. Liếc nhìn bằng chứng của bạn, họ sẽ không giúp đỡ về các điều kiện cần thiết, vì bạn đang giả định sự khác biệt.

— Brian Romanchuk
nguồn