Độ nhạy của BFGS với các xấp xỉ Hessian ban đầu

Tôi đang cố gắng thực hiện phương pháp Broyden-Fletcher-Goldfarb-Shanno để tìm mức tối thiểu của hàm. Tôi cần hai lần đoán ban đầu & và xấp xỉ Ma trận Hessian ban đầu . Các yêu cầu duy nhất tôi tìm thấy cho là nếu Hessian xác định dương đối xứng, thì cũng vậy . Nhìn vào wikipedia, tôi thấy rằng một xấp xỉ ban đầu điển hình là (ma trận danh tính). Đây có phải luôn là một ban đầu tốt không? Có bất kỳ lý do tại sao tôi có thể muốn chọn bất cứ điều gì khác ngoài ? Các lựa chọn khác của B, thỏa mãn các thuộc tính ma trận giống nhau, sẽ ảnh hưởng lớn đến sự hội tụ của phương thức? $x_{-1}$ $x_0$ $B_0$ $B_0$ $B_0$ $B_0=I$ $B_0$ $I$

optimization algorithms

— Paul
nguồn

Nếu bạn có một xấp xỉ Hessian hợp lý, tốt hơn là sử dụng nó thay vì tùy ý . $B_0=I$

Chỉnh sửa: Lý do là nếu bạn bắt đầu gần với giải pháp , tốc độ hội tụ ban đầu là (với bất kỳ ) bước tuyến tính với hệ số hội tụ bước củanếu đây là đối với một số hiệu chỉnh xếp hạng của ma trận danh tính. Vì vậy, cố gắng để làm cho nhỏ này là rất có giá trị. (Điều này tương đương với điều kiện tiên quyết của hệ thống.) Yếu tố hội tụ cải thiện theo thời gian và cuối cùng tiến đến 0 (hội tụ siêu tuyến), nhưng trong nhiều vấn đề thực sự (đặc biệt là các chiều cao), người ta không bao giờ thực hiện đủ các bước lặp để đạt đến chế độ siêu tuyến. Do đó tốc độ ban đầu khá quan trọng. $x^*$ $r>0$ $r+1$ $r+1$ $q=\|B_0^{-1}f''(x^*)-G\|$ $<1$ $r$ $G$

Một trường hợp quan trọng là khi giải các bài toán bình phương nhỏ nhất phi tuyến (thu nhỏ ), trong đó phép tính xấp xỉ Gauss-Newton của Hessian ban đầu có thể là tính toán mà không cần dẫn xuất thứ hai. Sử dụng nó làm cho phương thức BFGS trở thành bất biến, tức là bất biến dưới các phép biến đổi tuyến tính của giống như phương pháp của Newton, thường rất có lợi. $\|F(x)\|_2^2$ $B_0=F'(x_0)^TF'(x_0)$ $x$

Một trường hợp quan trọng khác là khi bạn giải quyết một chuỗi các vấn đề liên quan. Thông thường, khởi động lại bộ giải với phép tính gần đúng Hessian cuối cùng của bài toán trước làm giảm đáng kể số lần lặp cần thiết.

— Arnold Neumaier
nguồn

Nếu hessian được dự kiến là xác định dương đối xứng, bất kỳ ma trận xác định dương đối xứng vẫn sẽ dẫn đến hội tụ, nhưng tốc độ hội tụ dựa trên mức độ giống với Hessian?

B_{0}

$B_0$

B_{0}

$B_0$

— Paul

Cuối cùng, BFGS quên mất ma trận bắt đầu, do đó, hội tụ là luôn có cùng thứ tự. Nhưng điều đó tất nhiên không thú vị bởi vì bạn không bao giờ thực hiện vô số bước.

k \to \infty

$k\rightarrow \infty$

— Wolfgang Bangerth

@Paul: Xem chỉnh sửa của tôi.

— Arnold Neumaier