Động lực trực quan để cập nhật BFGS

Tôi đang dạy một lớp khảo sát phân tích số và đang tìm kiếm động lực cho phương pháp BFGS cho sinh viên với nền tảng / trực giác hạn chế trong tối ưu hóa!

J k ( → x k - → x k - 1 ) = f ( → x k ) - f ( → x k - 1$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

Nguồn gốc của các bản cập nhật BFGS dường như liên quan nhiều hơn và âm u hơn! Đặc biệt, tôi muốn không để thừa nhận một tiên nghiệm rằng bản cập nhật nên rank-2 hoặc tham gia một hình thức cụ thể. Có một động lực tìm kiếm đa dạng ngắn cho bản cập nhật BFGS Hessian giống như động lực cho Broyden?

Đạo hàm của BFGS trực quan hơn khi người ta xem xét (nghiêm túc) các hàm chi phí lồi:

Tuy nhiên, một số thông tin cơ bản là cần thiết: Giả sử, người ta muốn giảm thiểu hàm lồi

$$f(x) \to \min_{x\in \mathbb R^n}.$$ Nói rằng có một giải pháp gần đúng $x_k$ . Sau đó, một giá trị xấp xỉ tối thiểu của $f$ bằng mức tối thiểu của phần mở rộng Taylor bị cắt cụt $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ Nghĩa là, người ta tìm $p$ sao cho $(*)$ là tối thiểu và đặt $x_{k+1} := x_k + p$ . Việc tính toán độ dốc của $(*)$ - "tương ứng với $p$ " - và đặt nó thành 0 sẽ tạo ra mối quan hệ $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ trong đó $H$ là 'Jacobian của gradient' hoặc ma trận Hessian.

Vì tính toán và đảo ngược của Hessian là đắt đỏ ...

---

... một câu trả lời ngắn

(xem bản cập nhật của Broyden) có thể là bản cập nhật BFGS $H_{k+1}^{-1}$ giảm thiểu

$$\|H_k^{-1} - H^{-1}\|_W$$ trong một tiêu chuẩn Frobenius có trọng số được lựa chọn thông minh, tùy thuộc vào

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - đây là những gì người ta dành cho - và
2. $H^T = H$ , vì Hessian đối xứng.

---

Sau đó, lựa chọn trọng số trong là nghịch đảo của Hessian trung bình , cf ở đây cho câu lệnh nhưng không có bằng chứng, đưa ra công thức cập nhật BFGS (với ).‖ H ‖ W : = ‖ W 1 / 2 H W 1 / 2 ‖ F G : = ∫ 1 0 H ( x k + τ p ) d τ alpha k = $W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

Những điểm chính là:

• Người ta cố gắng tính gần đúng giải pháp cho chi phí thực tế bằng giải pháp cho xấp xỉ bậc hai
• Tính toán của Hessian, và nghịch đảo của nó, là đắt tiền. Một người thích cập nhật đơn giản.
• Bản cập nhật được chọn tối ưu cho nghịch đảo thay vì Hessian thực tế.
• Đó là bản cập nhật hạng 2 là kết quả của sự lựa chọn đặc biệt về các trọng số trong định mức Frobenius.

Một câu trả lời còn , nên bao gồm làm thế nào để chọn các trọng, làm thế nào để làm cho công việc này cho các vấn đề nonconvex (nơi một độ cong điều kiện xuất hiện đòi hỏi phải có một tỉ lệ của sự chỉ đạo tìm kiếm ), và làm thế nào để lấy được thực tế công thức cho bản cập nhật. Một tài liệu tham khảo ở đây (bằng tiếng Đức).$p$