Hiểu chi phí của phương pháp kết hợp để tối ưu hóa ràng buộc pde

Tôi đang cố gắng hiểu phương thức tối ưu hóa dựa trên điều chỉnh hoạt động như thế nào đối với tối ưu hóa bị ràng buộc PDE. Đặc biệt, tôi đang cố gắng hiểu tại sao phương thức kết hợp hiệu quả hơn cho các vấn đề trong đó số lượng biến thiết kế lớn, nhưng "số phương trình nhỏ".

Những gì tôi hiểu:

Hãy xem xét vấn đề tối ưu hóa bị ràng buộc PDE sau đây:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

Trong đó $I$ là hàm mục tiêu (đủ liên tục) của biến thiết kế vectơ $\beta$ và vectơ của biến trường không xác định $u(\beta)$ phụ thuộc vào các biến thiết kế và $R(u)$ là dạng dư của PDE.

Rõ ràng, chúng ta có thể biến thể đầu tiên của I và R là

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Giới thiệu một vectơ của số nhân lagrange $\lambda$ , biến thể của hàm mục tiêu có thể được viết là

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Sắp xếp lại các điều khoản, chúng ta có thể viết:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Do đó, nếu chúng tôi có thể giải quyết cho sao cho $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Sau đó, độ dốc được đánh giá chỉ xét về các biến thiết kế . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Do đó, một thuật toán tối ưu hóa dựa trên kết hợp sẽ lặp qua các bước sau:

Đưa ra các biến thiết kế hiện tại $\beta$
Giải các biến trường (từ PDE) $u$
Giải các bội số trễ (từ phương trình liên kết) $\lambda$
Tính toán độ dốc $\frac{\partial I}{\partial \beta}$
Cập nhật biến thiết kế $\beta$

Câu hỏi của tôi

Làm thế nào để điều chỉnh 'mẹo' này cải thiện chi phí tối ưu hóa cho mỗi lần lặp trong trường hợp số lượng biến thiết kế lớn? Tôi đã nghe nói rằng chi phí đánh giá độ dốc cho phương thức kết hợp là 'độc lập' với số lượng biến thiết kế. Nhưng chính xác thì điều này đúng như thế nào?

Tôi chắc chắn có một cái gì đó rất rõ ràng mà bằng cách nào đó tôi đang nhìn.

optimization pde

— Paul
nguồn

Nhân tiện, hệ số nhân Lagrange thường được thêm vào hàm mục tiêu, không phải là biến thể; do đó . Đặt đạo hàm tương ứng với thành 0 sẽ tạo ra phương trình liên kết và chèn phương trình này (và giải pháp của phương trình trạng thái ) vào đạo hàm tương ứng với tạo ra độ dốc. Nếu bạn bắt đầu với công thức yếu của PDE, mọi thứ thậm chí còn đơn giản hơn: Chỉ cần chèn hệ số nhân Lagrange thay cho chức năng kiểm tra. Không cần hình thức mạnh mẽ hoặc tích hợp một phần bất cứ nơi nào.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason

Phần đắt nhất của bất kỳ mô phỏng nào là giai đoạn giải quyết. Bằng cách sử dụng phép bổ trợ, bạn có được độ dốc trong hai lần giải, rẻ hơn nhiều so với sự khác biệt hữu hạn trong đó bạn ít nhất cần n + 1 giải, n là số lượng tham số miễn phí trong mô hình của bạn.

— stali

Câu trả lời:

Làm thế nào để điều chỉnh 'mẹo' này cải thiện chi phí tối ưu hóa cho mỗi lần lặp trong trường hợp số lượng biến thiết kế lớn?

Tôi nghĩ về chi phí từ quan điểm đại số tuyến tính. (Xem những ghi chú của Stephen G. Johnson , mà tôi thấy trực quan hơn so với phương pháp nhân số Lagrange). Cách tiếp cận phía trước có thể giải quyết vấn đề nhạy cảm trực tiếp:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

liên quan đến việc giải quyết một hệ thống tuyến tính cho từng tham số trong vectơ , sau đó đánh giá $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

trong đó biểu thị một đạo hàm tổng và biểu thị một đạo hàm riêng. $\mathrm{d}$ $\partial$

Phương pháp tiếp cận ghi chú rằng

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

do đó, biến số liên kết (số nhân Lagrange) có thể được xác định bởi $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

tương ứng với phương trình liên kết

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Việc sắp xếp lại các thuật ngữ này chỉ yêu cầu một giải pháp tuyến tính, thay vì giải quyết tuyến tính cho từng tham số, điều này làm cho việc đánh giá điều chỉnh trở nên rẻ đối với nhiều trường hợp tham số.

Tôi đã nghe nói rằng chi phí đánh giá độ dốc cho phương thức kết hợp là 'độc lập' với số lượng biến thiết kế. Nhưng chính xác thì điều này đúng như thế nào?

Nó không hoàn toàn độc lập; có lẽ chi phí đánh giá và sẽ tăng theo số lượng tham số. Tuy nhiên, các giải tuyến tính vẫn sẽ có cùng kích thước, miễn là kích thước của không thay đổi. Giả định là các giải pháp đắt hơn nhiều so với các đánh giá chức năng. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
nguồn

Tóm lại, lợi thế đến từ việc tính toán các dẫn xuất của mục tiêu giảm , bạn không thực sự cần biết đạo hàm của đối với là một đối tượng riêng biệt, nhưng chỉ một phần của nó dẫn đến các biến thể trong . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Hãy để tôi chuyển sang một ký hiệu Tôi thấy thoải mái hơn một chút với: ( là biến thiết kế, là biến trạng thái và là mục tiêu). Giả sử đủ tốt để áp dụng định lý hàm ẩn, vì vậy phương trình có một nghiệm duy nhất liên tục khác biệt với và đạo hàm được cho bởi giải pháp của ( và là đạo hàm riêng) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Điều này có nghĩa là bạn có thể xác định mục tiêu giảm , cũng có thể phân biệt (nếu là). Một cách để mô tả độ dốc là thông qua các đạo hàm định hướng (ví dụ: tính tất cả các đạo hàm riêng đối với cơ sở của không gian thiết kế). Ở đây, đạo hàm theo hướng được quy định bởi chuỗi quy tắc là Nếu đẹp, điều khó khăn duy nhất để tính toán là cho . Điều này có thể được thực hiện bằng cách nhân với $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ từ bên phải và giải cho (mà định lý hàm ẩn cho phép), tức là tính toán và cắm biểu thức này vào . Trong tối ưu hóa PDE-hạn chế, số tiền này để giải quyết một PDE linearized cho mỗi cơ sở vector của không gian thiết kế.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Tuy nhiên, nếu chúng ta tìm thấy một toán tử sao cho thì đây phải là độ dốc mong muốn. Nhìn vào , chúng ta có thể viết (với là toán tử điều chỉnh), vì vậy tất cả những gì chúng ta cần tính là . Sử dụng , điều này có thể được thực hiện bằng cách sử dụng , tức là tính toán và cài đặt Trong tối ưu hóa bị ràng buộc PDE, $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ thường là một số phần dư và tính toán liên quan đến việc giải quyết một PDE duy nhất (tuyến tính), độc lập với kích thước của không gian thiết kế. (Trong thực tế, điều này thậm chí hoạt động cho các tham số phân tán, nghĩa là, nếu là một hàm trong một không gian Banach vô hạn, trong đó cách tiếp cận đầu tiên là không khả thi.)

λ

$\lambda$

u

$u$

— Christian Clason
nguồn