Sự khác biệt giữa độ phức tạp lý thuyết và hiệu quả thực tế

Nếu tôi có mã giả này:

for i=0 to n/2 do
   for j=0 to n/2 do 
       ... do anything ....

Số lần lặp là .$n^2/4$

Sự phức tạp của chương trình này là gì? Có phải là không?$O(n^2)$

Trực giác chính thức / không chính thức cho sự phức tạp đó là gì?

Tiếp theo, nếu tôi có mã giả khác này:

for i=0 to n do
   for j=0 to n do 
       ... do anything ....

Sự phức tạp là một lần nữa $O(n^2)$ -- đúng không?

Có sự khác biệt nào giữa hiệu quả trong thực tiễn và độ phức tạp lý thuyết trong trường hợp này không? Là một trong những nhanh hơn so với cái khác?

Big O chính thức

$O(f(n)) = \{g(n) | \exists c > 0, \exists n_0 > 0, \forall n > n_0 : 0 \leq g(n) \leq c*f(n)\}$

Big O không chính thức

$O(f(n))$ là tập hợp các hàm phát triển chậm hơn (hoặc nhanh tương đương) so với $f(n)$. Điều này có nghĩa là bất cứ chức năng nào bạn chọn từ$O(f(n))$, hãy đặt tên cho cô ấy $g(n)$và bạn chọn một số tiền đủ lớn $n$, $f(n)$ sẽ lớn hơn$g(n)$. Hay nói cách khác$f(n)$ cuối cùng sẽ vượt qua bất kỳ chức năng nào trong $O(f(n))$ khi nào $n$ phát triển lớn hơn. $n$ là kích thước đầu vào của thuật toán của bạn.

Làm ví dụ Hãy chọn$f(n) = n^2$.

Chúng ta có thể nói về điều đó $f(n) \in O(n^3)$. Lưu ý rằng, theo thời gian, chúng tôi cho phép lạm dụng ký hiệu nên hầu như mọi người đều viết$f(n) = O(n^3)$ hiện nay.

Thông thường khi chúng tôi đánh giá các thuật toán, chúng tôi xem xét thứ tự của chúng. Bằng cách này, chúng ta có thể dự đoán như thế nào thời gian chạy của thuật toán sẽ tăng lên khi kích thước đầu vào ($n$) tăng.

Trong ví dụ của bạn, cả hai thuật toán đều có thứ tự $O(n^2)$. Vì vậy, thời gian chạy của chúng sẽ tăng theo cùng một cách (bậc hai) như$n$tăng. Thuật toán thứ hai của bạn sẽ chậm hơn bốn lần so với thuật toán đầu tiên, nhưng đó là điều chúng tôi thường không quan tâm đến ** về mặt lý thuyết *. Các thuật toán có cùng thứ tự có thể có các yếu tố khác nhau ($c$trong định nghĩa chính thức) hoặc các thuật ngữ bậc thấp khác nhau trong hàm đánh giá số bước. Nhưng thường thì đó là vì chi tiết triển khai và chúng tôi không quan tâm đến điều đó.

Nếu bạn có một thuật toán chạy trong $O(log(n))$ thời gian chúng ta có thể nói rằng nó sẽ nhanh hơn $O(n)$ [1] bởi vì $log(n) = O(n)$. Dù tệ đến đâu$O(log(n))$ thuật toán được triển khai, cho dù bạn đặt thuật toán bao nhiêu tiền, nó sẽ luôn nhanh hơn [1] $O(n)$thuật toán. Ngay cả khi số lượng các bước trong thuật toán là$9999*log(n) = O(log(n))$ và $0.0001*n = O(n)$, các $O(log(n))$ thuật toán cuối cùng sẽ nhanh hơn [1].

Nhưng, có lẽ, trong ứng dụng của bạn, $n$ luôn luôn thấp và sẽ không bao giờ đủ lớn để $O(log(n))$thuật toán sẽ nhanh hơn trong thực tế . Vì vậy, sử dụng$O(n)$ thuật toán sẽ dẫn đến thời gian chạy nhanh hơn, mặc dù $n = O(log(n))$

[1] nếu $n$ là đủ lớn.

Auberon cung cấp một lời giải thích rất tốt của Big O . Tôi sẽ cố gắng giải thích điều đó có nghĩa gì với bạn.

Đầu tiên bạn nói đúng. Ví dụ mã đầu tiên có$\frac{n^2}{4}$lặp đi lặp lại, nhưng vẫn còn trong lớp phức tạp O(n^2).

Tại sao?

Vấn đề của các lớp phức tạp là, chúng tôi cho rằng làm việc gì đó nhiều lần không phải là điều tồi tệ đối với thời gian chạy.

Tưởng tượng một Thuật toán có độ phức tạp O(2^n)chạy trong n=3và mất 1 giây.

Chúng tôi có thể chạy nó 10 lần và vẫn mong đợi câu trả lời sau khoảng 10 giây.

Bây giờ Hãy tưởng tượng tăng nthêm 10. Chương trình sẽ mất 2^10=1024vài giây.

Vì vậy, các nhà khoa học máy tính về cơ bản đã nói: " Con người, những nhân tố hàng đầu thật khó chịu. Chúng ta hãy giả sử n phát triển đến vô cùng và so sánh các chức năng ở đó "

Mà dẫn đến Big O .

Trong thực tế

Trong thực tế, rất có thể một giải pháp với độ phức tạp tồi tệ hơn sẽ chạy nhanh hơn nhiều (đối với các đầu vào "nhỏ"). Thật dễ dàng để tưởng tượng một Chương trình chạy trong O(n)nhưng cần 10^10*nlặp lại.

Nó là O (n) nhưng thậm chí là mộtO(2^n) giải pháp có thể nhanh hơn cho n nhỏ.

Tóm tắt:

Các Big O là một công cụ hữu ích. Nhưng bạn vẫn phải suy nghĩ về tốc độ của thuật toán trong thực tế, vì nó chỉ mô tả thời gian cần thiết hơn bao nhiêu nếu đầu vào phát triển.

Nếu tôi có mã giả này:

for i=0 to n/2 do
   for j=0 to n/2 do 
       ... do anything ....

Số lần lặp là $n^2/4$.

Thật ra, nó $(1+n/2)^2 = n^2/4 + n + 1$.

Sự phức tạp của chương trình này là gì? Đúng$O(n^2)$?

Điều đó phụ thuộc hoàn toàn vào "làm bất cứ điều gì". Ví dụ: nếu "làm bất cứ điều gì" được thay thế bằng dòng

for k=0 to 2^n do {}

sau đó thời gian chạy là $\Theta(n^22^n)$.