Nỗ lực tính toán của thuật toán

Hãy xem xét vấn đề tối ưu hóa lồi không bị ràng buộc nghiêm ngặtĐặt x_ \ text {opt} biểu thị cực tiểu duy nhất của nó và x_0 là một xấp xỉ ban đầu nhất định cho x_ \ text {opt}. Chúng ta sẽ gọi một vectơ x một giải pháp \ epsilon- đóng của \ mathcal {O} nếu \ started {phương trình} \ frac {|| x - x _ {\ text {opt}} || _2} {| văn bản {opt} || _2} \ leq \ epsilon. \ end {phương trình}x opt x 0 x opt . x ϵ - O | | x - x chọn | | $\mathcal{O} := \min_{x \in \mathbb{R}^n} f(x).$$x_\text{opt}$$x_0$$x_\text{opt}.$$x$$\epsilon-$$\mathcal{O}$

Giả sử tồn tại hai thuật toán lặp $\mathcal{A}_1$ và $\mathcal{A}_2$ để tìm một giải pháp $\epsilon-$ đóng của $\mathcal{O}$ với các thuộc tính sau:

1. Đối với bất kỳ $\epsilon > 0,$ tổng nỗ lực tính toán, tức là nỗ lực cần thiết cho mỗi lần lặp $\times$ tổng số lần lặp, để tìm một giải pháp $\epsilon-$ đóng là giống nhau cho cả hai thuật toán.
2. Nỗ lực lặp lại cho $\mathcal{A}_1$ là $O(n),$ , trong khi đó của $\mathcal{A}_2$ là $O(n^2).$

Có những tình huống, trong đó người ta thích một thuật toán hơn cái kia? Tại sao?

Thông thường rất khó nếu không thể thực hiện một phiên bản song song của thuật toán lặp mà làm tê liệt các lần lặp. Việc hoàn thành một lần lặp là một điểm trình tự tự nhiên. Nếu một thuật toán yêu cầu số lần lặp ít hơn nhưng mỗi lần lặp lại nhiều công việc hơn, thì nhiều khả năng thuật toán này có thể được thực hiện song song một cách hiệu quả.

Một ví dụ về điều này là lập trình tuyến tính, trong đó phương pháp rào cản kép (điểm bên trong) thường chỉ sử dụng vài chục lần lặp ngay cả đối với các vấn đề rất lớn, nhưng công việc trên mỗi lần lặp lại khá rộng. Trong so sánh các phiên bản khác nhau của phương pháp đơn giản thường yêu cầu nhiều lần lặp hơn, nhưng công việc trên mỗi lần lặp lại ít hơn. Trong thực tế, việc triển khai song song các phương pháp điểm bên trong đã cho thấy hiệu quả song song tốt hơn nhiều so với việc thực hiện song song phương pháp đơn giản.

Tôi có thể nghĩ về một số khả năng:

Nếu cả hai thuật toán đều giảm lỗi một cách đơn điệu với mỗi lần lặp, thì một số thuật toán có thể có nhiều lần lặp lại rẻ hơn vì nó mang lại cho bạn nhiều sự lựa chọn hơn khi nào nên dừng lặp lại.

Nếu là công việc và thời gian nhưng bộ nhớ , bạn có thể thích nếu lớn. thậm chí có thể đủ lớn để khiến bạn chọn vì việc sử dụng bộ nhớ có nhiều khả năng hạn chế bạn ở đây. O(n)O( n k ) A 2 kk=2 A$\mathcal{A}_1$$O(n)$$O(n^k)$$\mathcal{A}_2$$k$$k=2$$\mathcal{A}_2$

Điều này có thể áp dụng cho dù chúng ta đang nói về tối ưu hóa hay bất kỳ loại vấn đề lặp nào khác.