Có bất kỳ phương pháp phỏng đoán nào để tối ưu hóa phương pháp thư giãn quá mức (SOR) liên tiếp không?


10

Theo tôi hiểu, việc thư giãn liên tiếp hoạt động bằng cách chọn tham số và sử dụng kết hợp tuyến tính của phép lặp Gauss-Seidel (gần đúng) và giá trị ở dấu thời gian trước đó ... đó là 0ω2

uk+1=(ω)ugsk+1+(1ω)uk

Tôi nêu 'quasi' vì bao gồm thông tin mới nhất được cập nhật theo quy tắc này, tại bất kỳ dấu thời gian nào. (lưu ý rằng tại , đây chính xác là gauss-seidel). ω=1ugsk+1ω=1

Trong mọi trường hợp, tôi đã đọc rằng lựa chọn tối ưu cho (sao cho phép lặp hội tụ nhanh hơn bất kỳ cách nào khác) tiếp cận 2 cho vấn đề poisson khi độ phân giải không gian tiến đến 0. Có một xu hướng tương tự tồn tại cho các vấn đề đối xứng, đường chéo đối xứng khác? Đó là, có cách nào để chọn omega một cách tối ưu mà không nhúng nó vào sơ đồ tối ưu hóa thích ứng không? Có các heuristic khác cho các loại vấn đề khác? Những loại vấn đề nào dưới mức thư giãn ( ) là tối ưu?ω < 1ωω<1


Không hoàn toàn là câu hỏi của bạn, nhưng hãy xem Salakhutdinov và Roweis, Phương pháp tối ưu hóa giới hạn thích ứng quá mức thích ứng 2003, 8p. ( Tăng tốc thích ứng có tiếng nổ lớn mỗi lần, nhưng không thể phân tích được, vì vậy không có chủ đề ở đây.)
denis

Câu trả lời:


12

Jacobi ẩm ướt

Giả sử ma trận có đường chéo . Nếu phổ của nằm trong khoảng của trục thực dương, thì ma trận lặp của Jacobi với hệ số giảm xóc có phổ trong phạm vi , do đó giảm thiểu bán kính phổ với cho hệ số hội tụ của Nếu , thì hệ số hội tụ này rất kém, như mong đợi. Lưu ý rằng việc ước tính là tương đối dễ dàngADD1A[a,b]ω

BJacobi=IωD1A
[1ωb,1ωa]
ωopt=2a+b
ρopt=12aa+b=baa+b.
abbsử dụng phương pháp Krylov, nhưng khá tốn kém để ước tính .a

Thư giãn quá mức (SOR)

Young (1950) đã chứng minh một kết quả tối ưu cho SOR áp dụng cho ma trận với cái gọi là tài sản Một , đặt hàng phù hợp , và giá trị riêng thực dương của . Đưa ra một giá trị riêng tối đa của ma trận lặp Jacobi không bị suy giảm ( được đảm bảo bởi các giả định trong trường hợp này), hệ số giảm xóc tối ưu cho SOR là dẫn đến tốc độ hội tụ của Lưu ý rằng tiếp cận 2 khi .D1AμmaxID1Aμmax<1

ωopt=1+(μmax1+1μmax2)2
ρopt=ωopt1.
ωoptμmax1

Bình luận

Nó không còn là năm 1950 nữa và thực sự không có ý nghĩa gì khi sử dụng các phương pháp lặp cố định làm người giải quyết. Thay vào đó, chúng tôi sử dụng chúng như là chất làm mịn cho multigrid. Trong bối cảnh này, chúng tôi chỉ quan tâm đến mục tiêu phía trên của phổ. Tối ưu hóa hệ số thư giãn trong SOR khiến SOR tạo ra rất ít giảm tần số cao (để đổi lấy sự hội tụ tốt hơn ở tần số thấp hơn), do đó, tốt hơn là sử dụng Gauss-Seidel tiêu chuẩn, tương ứng với trong SOR. Đối với các vấn đề không đối xứng và các vấn đề có hệ số biến đổi cao, SOR không thoải mái ( ) có thể có các đặc tính giảm xóc tốt hơn.ω=1ω<1

Ước tính cả hai giá trị riêng của là đắt, nhưng giá trị riêng lớn nhất có thể được ước tính nhanh chóng bằng cách sử dụng một vài lần lặp Krylov. Chất làm mịn đa thức (tiền điều kiện với Jacobi) có hiệu quả hơn so với nhiều lần lặp của Jacobi bị ẩm và dễ cấu hình hơn, vì vậy chúng nên được ưu tiên. Xem câu trả lời này để biết thêm về làm mịn đa thức.D1A

Đôi khi người ta cho rằng SOR không nên được sử dụng như một điều kiện tiên quyết cho các phương pháp Krylov như GMRES. Điều này xuất phát từ việc quan sát rằng tham số thư giãn tối ưu sẽ đặt tất cả các giá trị riêng của ma trận lặp trên một vòng tròn tập trung tại nguồn gốc. Phổ của toán tử tiền điều kiện(1

BSOR=1(1ωD+L)1A
(1ωD+L)1Acó các giá trị riêng trên một vòng tròn có cùng bán kính, nhưng tập trung vào 1. Đối với các toán tử có điều kiện kém, bán kính của vòng tròn khá gần với 1, vì vậy GMRES thấy các giá trị riêng gần với gốc ở một góc, thường không tốt để hội tụ. Trong thực tế, GMRES có thể hội tụ hợp lý khi tiền điều kiện với SOR, đặc biệt đối với các vấn đề đã được điều hòa khá tốt, nhưng các điều kiện tiên quyết khác thường hiệu quả hơn.

4
Tôi đồng ý rằng nó không còn là năm 1950 nữa: o), tuy nhiên, tôi không đồng ý rằng việc sử dụng các bộ giải lặp văn phòng phẩm không còn ý nghĩa nữa. Chúng ta có thể đạt được hiệu quả của sách giáo khoa multigrid bằng cách sử dụng bộ giải lặp cố định cho bộ giải ứng dụng kỹ thuật dựa trên các bộ giải bề mặt tự do phi tuyến bậc cao (cả phương trình dòng chảy và phương trình euler). Hiệu quả chỉ bằng một phương pháp không gian con GMRES krylov tiền điều kiện với độ chính xác có thể đạt được (quán rượu gần đây của chúng tôi được tìm thấy ở đây onlinel Library.wiley.com/doi/10.1002/fld.2675/abab dùng làm bằng chứng khái niệm).
Allan P. Engsig-Karup

1
Bạn đang sử dụng Gauss-Seidel mượt mà hơn cho multigrid (đó là nơi các phương thức như SOR thuộc về). Nếu multigrid hoạt động tốt, một phương pháp Krylov bên ngoài cũng không cần thiết (mặc dù bài báo của bạn không hiển thị những so sánh đó). Ngay khi multigrid bắt đầu mất hiệu quả (ví dụ: hơn 5 lần lặp để đạt được lỗi phân tách), việc bọc một phương pháp Krylov xung quanh chu trình multigrid là rất đáng giá.
Jed Brown

Toàn bộ phương thức là một p-multigrid với làm mịn kiểu GS, tuy nhiên, phương thức hoàn chỉnh có thể được viết dưới dạng phương pháp lặp cố định vì tất cả các toán tử là hằng số. Bạn có thể xem nó như một phương pháp Richardson tiền điều kiện với M một điều kiện tiên quyết được xây dựng từ phương pháp multigrid. Phân tích đã được thực hiện nhưng chưa được công bố. Trên thực tế, công việc này đã đi theo một hướng khác mà bạn đề xuất. Phương pháp krylov trong công việc này (GMRES) đã bị loại bỏ và sau đó nó được chuyển thành phương pháp đa biến bậc cao vì chúng tôi thấy rằng nó cũng hiệu quả (và với yêu cầu bộ nhớ giảm).
Allan P. Engsig-Karup

Việc sử dụng - và -multigrid tất nhiên không phụ thuộc vào việc phương pháp Krylov có được sử dụng ở bên ngoài hay không. Tất nhiên, chi phí tương đối của các hoạt động khác nhau là khác nhau đối với GPU so với CPU và có sự thay đổi giữa các lần triển khai. Điều kiện tiên quyết Richardson chỉ là một phương pháp sửa lỗi. Các phương pháp phi tuyến của Newton và Picard (nếu được viết như vậy) cũng vậy. Các phương pháp phi tuyến khác (NGMRES, BFGS, v.v.) cũng sử dụng lịch sử và có thể tốt hơn tùy thuộc vào cường độ tương đối của độ phi tuyến. h pphp
Jed Brown

Lưu ý rằng trong các bộ làm mịn đa lớp, đôi khi tốt hơn (cho phép kiến ​​trúc), để tạo phép nhân khớp nối bậc cao / bậc thấp. Điều này cũng mở rộng công thức "tiền điều kiện". (Tôi đã có một cuộc thảo luận tại một cuộc hội thảo vào tuần trước với một anh chàng muốn xem về cơ bản tất cả các phương pháp như điều kiện tiên quyết của Richardson với phép lặp lồng nhau, mà tôi không nghĩ là lợi ích đặc biệt so với các tuyên bố khác về thành phần người giải. Tôi không biết nếu đó là có liên quan đến bạn, nhưng quan điểm của bạn khiến tôi nhớ lại cuộc thảo luận.)
Jed Brown
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.