Trợ giúp quyết định giữa nội suy bậc hai và bậc hai trong tìm kiếm dòng

Tôi đang thực hiện tìm kiếm dòng như là một phần của thuật toán BFGS gần như Newton. Trong một bước tìm kiếm dòng tôi sử dụng phép nội suy bậc ba để tiến gần hơn đến trình thu nhỏ cục bộ.

Hãy là chức năng quan tâm. Tôi muốn tìm một x * mà f ' ( x * ) ≈ 0 .$f : R \rightarrow R, f \in C^1$$x^*$$f'(x^*) \approx 0$

Hãy để , f ' ( x k ) , f ( x k + 1 ) và f ' ( x k + 1 ) được biết đến. Đồng thời giả sử 0 ≤ x k < x ∗ < x k + 1 . Tôi phù hợp với một đa thức bậc ba Q ( x ) = a x 3 + b x 2$f(x_k)$$f'(x_k)$$f(x_{k+1})$$f'(x_{k+1})$$0\le x_k<x^*<x_{k+1}$ sao cho Q ( 0 ) = f ( x k ) , Q ' ( 0 ) = f ' ( x k ) , Q ( x k + 1 - x k ) = f ( x k + 1 ) và Q ′ ( X k + 1 - x k ) $Q(x)=ax^3+bx^2+cx+d$$Q(0)=f(x_k)$$Q'(0)=f'(x_k)$$Q(x_{k+1}-x_{k})=f(x_{k+1})$ .$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

Tôi giải phương trình bậc hai: cho tìm kiếm của tôi x * sử dụng giải pháp hình thức đóng cửa.$(1): Q'(x^*-x_k) = 0$$x^*$

Ở trên hoạt động tốt trong hầu hết các trường hợp, ngoại trừ khi là giải pháp dạng đóng cho ( 1 ) chia cho a trở nên rất gần hoặc chính xác 0 .$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

Giải pháp của tôi là xem xét và nếu nó "quá nhỏ" chỉ cần lấy giải pháp dạng đóng cho bộ giảm thiểu của đa thức bậc hai Q 2 ( x ) = b x 2 + c x + d mà tôi đã có các hệ số b , c , d từ phù hợp trước đó đến Q ( x ) .$a$$Q_2(x)=bx^2+cx+d$$b,c,d$$Q(x)$

Câu hỏi của tôi là: Làm thế nào để tôi đưa ra một bài kiểm tra tốt khi nào thực hiện phép nội suy bậc hai trên khối? Cách tiếp cận ngây thơ để thử nghiệm cho là xấu vì lý do số vì vậy tôi nhìn vào | một | < Ε τ nơi ε là máy chính xác, nhưng tôi không thể quyết định một tốt τ đó là quy mô bất biến của f .$a \equiv 0$$|a| < \epsilon\tau$$\epsilon$$\tau$$f$

Câu hỏi về phần thưởng: Có bất kỳ vấn đề số nào khi sử dụng các hệ số, , từ khối phù hợp không thành công hay tôi nên thực hiện một phép tính bậc hai mới với cách tính hệ số phù hợp?$b,c,d$

Chỉnh sửa để làm rõ: Trong câu hỏi của tôi là thực sự những gì thường được gọi là φ ( α ) = f ( ˉ x k + α ¯ p k ) trong văn học. Tôi chỉ đơn giản hóa việc xây dựng câu hỏi. Vấn đề tối ưu hóa tôi đang giải quyết là phi tuyến tính trong 6 chiều. Và tôi cũng nhận thức được rằng điều kiện Wolfe là đủ cho dòng BFGS tìm kiếm do đó nói rằng tôi đang quan tâm đến f ' ( x * ) ≈ $f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$; Tôi đang tìm kiếm thứ gì đó sẽ thỏa mãn điều kiện Wolfe mạnh mẽ và thực hiện tối thiểu hóa xấp xỉ khối là một bước tốt trên đường đi.

Câu hỏi không phải là về BFGS, mà là làm thế nào để xác định khi nào hệ số khối đủ nhỏ để một phép tính gần đúng bậc hai là phù hợp hơn.

Chỉnh sửa 2: Cập nhật ký hiệu, phương trình không thay đổi.

Hmm ... phép nội suy bậc ba không phải là chưa từng thấy đối với tìm kiếm dòng, nhưng thường là quá mức cần thiết.

$x$

Có một số thuật toán tìm kiếm dòng cho BFGS. Đối với các ứng dụng của riêng tôi, sử dụng bộ nhớ BFGS (L-BFGS) giới hạn bộ nhớ, công cụ tìm kiếm này hoạt động rất tốt. Hãy nhớ rằng bạn chỉ cần thỏa mãn các điều kiện của Wolfe và có khả năng bạn sẽ không đạt được nhiều bằng cách tìm ra công cụ thu nhỏ chính xác.

Dù sao, để thực sự trả lời câu hỏi của bạn: Tôi sẽ xem xét đơn giản là chuyển sang đa thức bậc hai nếu giải được khối một mang lại các giá trị "xấu" như NaN hoặc Inf (như được thực hiện ở đây ).

$b,c,d$

$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

Hi vọng điêu nay co ich.

Có một bài viết của Moré, được thực hiện bởi Nocedal, về điều đó:

Jorge J. Moré và David J. Thuente. 1994. Các thuật toán tìm kiếm dòng với mức giảm đủ đảm bảo. ACM Trans. Môn Toán. Mềm mại. 20, 3 (tháng 9 năm 1994), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( in sẵn ).