Hiểu tỷ lệ hội tụ của người dùng cho các phương pháp lặp

Theo Wikipedia , tốc độ hội tụ được biểu thị bằng tỷ lệ cụ thể của các chỉ tiêu vectơ. Tôi đang cố gắng tìm hiểu sự khác biệt giữa tốc độ "tuyến tính" và "bậc hai", tại các thời điểm khác nhau (về cơ bản, "ở đầu" của lần lặp và "ở cuối"). Có thể nói rằng:

• với sự hội tụ tuyến tính, chỉ tiêu của lỗi $e_{k+1}$ của lần lặp được giới hạn bởi ‖ e k$x_{k+1}$$\|e_k\|$

• với sự hội tụ bậc hai, định mức của lỗi $e_{k+1}$ của lần lặp $x_{k+1}$ được giới hạn bởi $\|e_k\|^2$

Giải thích như vậy có nghĩa là, với một vài (số lượng nhỏ) các thuật toán hội tụ tuyến tính A1 (giả định khởi tạo ngẫu nhiên), sẽ xảy ra lỗi nhỏ hơn với một vài lần lặp của thuật toán hội tụ tứ giác A2. Tuy nhiên, do lỗi giảm dần và do bình phương, nên các lần lặp sau có nghĩa là lỗi nhỏ hơn với A2.

Giải thích trên có hợp lệ không? Lưu ý rằng nó bỏ qua hệ số tỷ lệ $\lambda$ .

Trong thực tế, có. Mặc dù vẫn còn lớn, hệ số tỷ lệ sẽ chi phối lỗi thay vì tỷ lệ q. (Lưu ý rằng đây là các tỷ lệ tiệm cận , do đó, các câu lệnh bạn liên kết chỉ giữ giới hạn là .)$e_k$k → $\lambda$$k\to\infty$

Ví dụ, đối với các phương thức đặt hàng đầu tiên trong tối ưu hóa, bạn thường quan sát thấy lỗi giảm nhanh ban đầu, sau đó giảm dần. Mặt khác, đối với phương pháp của Newton, có thể mất một thời gian trước khi hội tụ siêu tuyến (hoặc bậc hai) bắt đầu (rốt cuộc nó chỉ hội tụ siêu tuyến cục bộ). Vì lý do đó, thông thường bắt đầu bằng một vài bước gradient để bắt đầu trước khi chuyển sang phương pháp Newton hoặc sử dụng phương pháp homotopy hoặc quasi-Newton hoạt động như phương thức thứ nhất ban đầu và biến thành phương pháp Newton khi bạn tiếp cận Mục tiêu.

Ngoài câu trả lời của Christian, nó cũng đáng chú ý là cho hội tụ tuyến tính bạn có , nơi bạn có λ 1 < 1 nếu hội tụ phương pháp. Mặt khác, đối với hội tụ bậc hai bạn có e k + 1 ≤ bước sóng 2 $e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$ và thực tế là một phương pháp hội tụ không nhất thiết có nghĩa làλ2phải nhỏ hơn một. Thay vào đó, điều kiện để hội tụ làλ2e1<$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- tức là, dự đoán bắt đầu của bạn đã đủ gần. Đây là hành vi thường được quan sát: các thuật toán hội tụ bậc hai cần được bắt đầu "đủ gần" từ giải pháp để hội tụ trong khi các thuật toán hội tụ tuyến tính thường mạnh hơn. Đây là một lý do khác tại sao người ta thường bắt đầu với một vài bước của thuật toán hội tụ tuyến tính (ví dụ: phương pháp gốc dốc nhất) trước khi chuyển sang phương pháp hiệu quả hơn (ví dụ: phương pháp của Newton).

Giải thích là đúng về chất.

Lưu ý rằng sự hội tụ tuyến tính và bậc hai liên quan đến trường hợp xấu nhất, tình huống trong một thuật toán cụ thể có thể tốt hơn những gì bạn nhận được từ phân tích trường hợp xấu nhất do Wolfgang Bangerth đưa ra, mặc dù tình huống định tính thường tương ứng với phân tích này.

Trong các thuật toán cụ thể (ví dụ, trong tối ưu hóa) thường có ý nghĩa lặp lại đầu tiên với phương pháp hội tụ tuyến tính rẻ tiền nhưng chỉ cho đến khi tiến trình bị chậm, và sau đó kết thúc bằng phương pháp hội tụ bậc hai (hoặc ít nhất là siêu tuyến). Trong thực tế, hội tụ siêu tuyến có xu hướng tốt như hội tụ bậc hai chỉ vì phần hội tụ ban đầu, từ từ có xu hướng chi phối toàn bộ công việc.