Làm thế nào để biết ký hiệu phân tích độ phức tạp thời gian sẽ sử dụng?

Trong hầu hết các lớp giải thuật giới thiệu, ký hiệu như (Big O) và $O$$\Theta$ được giới thiệu, và một sinh viên thường sẽ học cách sử dụng một trong những để tìm sự phức tạp thời gian.

Tuy nhiên, có ký hiệu khác, chẳng hạn như , Ω và ω . Có kịch bản cụ thể nào mà một ký hiệu sẽ thích hợp hơn một ký hiệu khác không?$o$$\Omega$$\omega$

Bạn đang đề cập đến ký hiệu Landau . Chúng không phải là biểu tượng khác nhau cho cùng một thứ nhưng có ý nghĩa hoàn toàn khác nhau. Cái nào là "thích hợp" phụ thuộc hoàn toàn vào câu lệnh mong muốn.

có nghĩa là f phát triển nhanh nhất là g , không có triệu chứng và lên đến một yếu tố không đổi; nghĩ về nó như một ≤ . f ∈ o ( g ) là dạng chặt chẽ hơn, tức là < .$f \in \cal{O}(g)$$f$$g$$\leq$$f \in o(g)$$<$

có ý nghĩa đối xứng: f tăng trưởng ít nhất càng nhanh càng g . ω là anh em họ khắt khe hơn của nó. Bạn có thể thấy rằng f ∈ Ohm ( g ) tương đương với g ∈ O ( f ) .$f \in \Omega(g)$$f$$g$$\omega$$f \in \Omega(g)$$g \in \cal{O}(f)$

có nghĩa là f phát triển về càng nhanh càng g ; chính thức f ∈ O ( g ) ∩ Ohm ( g ) . f ∼ g (đẳng thức tiệm cận) là dạng mạnh hơn của nó. Chúng ta thường có nghĩa là Θ khi chúng tôi sử dụng$f \in \Theta(g)$$f$$g$$f \in \cal{O}(g) \cap \Omega(g)$$f \sim g$$\Theta$$\cal{O}$ .

Lưu ý cách và anh chị em của nó là các lớp chức năng$\cal{O}(g)$ . Điều quan trọng là phải rất ý thức về điều này và các định nghĩa chính xác của họ - có thể khác nhau tùy thuộc vào người đang nói chuyện - khi thực hiện "arithologists" với họ.

Khi chứng minh mọi thứ, hãy cẩn thận để làm việc với định nghĩa chính xác của bạn. Có nhiều định nghĩa cho các biểu tượng Landau xung quanh (tất cả đều có cùng trực giác cơ bản), một số định nghĩa tương đương trên một số bộ trên các chức năng nhưng không phải trên các bộ khác.

Cách đọc được đề nghị:

• Các quy tắc cho dấu bằng với big-O và little-o là gì?
• Sắp xếp các chức năng theo sự tăng trưởng tiệm cận
• Làm thế nào để O và Ω liên quan đến trường hợp xấu nhất và tốt nhất?
• Ký hiệu O lớn lồng nhau
• Định nghĩa của cho các chức năng tiêu cực$\Theta$
• Ý nghĩa của gì? $O(m+n)$
  O (mn) được coi là tăng trưởng "tuyến tính" hay "bậc hai"?
• Tổng số các điều khoản của Landau được xem xét lại
• O lớn có nghĩa là một thuật ngữ của tỷ lệ gần đúng?
• Bất kỳ câu hỏi khác về tiệm cận và ký hiệu Landau như tập thể dục.

Nếu bạn quan tâm đến việc sử dụng ký hiệu Landau một cách nghiêm ngặt và hợp lý, bạn có thể quan tâm đến công việc gần đây của Rutanen et al. [1]. Chúng xây dựng các tiêu chí cần và đủ cho ký hiệu tiệm cận khi chúng ta sử dụng chúng trong thuật toán, cho thấy định nghĩa chung không đáp ứng chúng và cung cấp một định nghĩa khả thi (trên thực tế).

1. Một định nghĩa chung về ký hiệu O để phân tích thuật toán của K. Rutanen et al. (2015)

Big O: giới hạn trên

Cung điện lớn O O ( $O$ ) đến nay là một phổ biến nhất. Khi bạn phân tích độ phức tạp của một thuật toán, hầu hết thời gian, điều quan trọng là có một số giới hạn trên về thời gian chạy nhanh như thế nào khi kích thước của đầu vào tăng lên. Về cơ bản, chúng tôi muốn biết rằng việc chạy thuật toán sẽ không mất nhiều thời gian. Chúng ta không thể biểu thị điều này theo đơn vị thời gian thực tế (giây), bởi vì điều đó phụ thuộc vào việc triển khai chính xác (cách viết chương trình, trình biên dịch tốt như thế nào, tốc độ của bộ xử lý của máy, tốc độ). Vì vậy, chúng tôi đánh giá những gì không phụ thuộc vào các chi tiết như vậy, đó là mất bao lâu để chạy thuật toán khi chúng tôi cung cấp cho đầu vào lớn hơn. Và chúng tôi chủ yếu quan tâm khi chúng tôi có thể chắc chắn rằng chương trình đã được thực hiện, vì vậy chúng tôi thường muốn biết rằng nó sẽ mất nhiều thời gian như vậy hoặc ít hơn.

Để nói rằng một thuật toán có thời gian chạy là cho kích thước đầu vào n có nghĩa là tồn tại một số K không đổi để thuật toán hoàn thành tối đa $O(f(n))$$n$$K$ các bước, tức là thời gian chạy của thuật toán tăng nhanh nhất là f (lên đến một hệ số tỷ lệ). Ghi nhận T ( n ) thời gian chạy của thuật toán cho kích thước đầu vào n , O ( n ) chính thức có nghĩa là T ( n ) ≤ f ( n ) lên đến một số yếu tố rộng.$K \, f(n)$$f$$T(n)$$n$$O(n)$$T(n) \le f(n)$

Chặn dưới

Đôi khi, thật hữu ích khi có nhiều thông tin hơn giới hạn trên. là converse của O : nó biểu thị rằng một hàm phát triển ít nhất nhanh như hàm khác. T ( n ) = Ω ( g ( n ) ) có nghĩa là T ( N ) ≥ K ' g ( n ) đối với một số không đổi K ' , hoặc đặt nó không chính thức, T ( n ) ≥ g ( n ) lên đến một số nhân rộng hệ số.$\Omega$$O$$T(n) = \Omega(g(n))$$T(N) \ge K' g(n)$$K'$$T(n) \ge g(n)$

Khi thời gian chạy của thuật toán có thể được xác định chính xác, kết hợp O và Ω : nó biểu thị rằng tốc độ tăng trưởng của một hàm đã biết, cho đến một hệ số tỷ lệ. T ( n ) = Θ ( h ( n ) ) có nghĩa là K h ( n ) ≥ T ( n ) ≥ K ' h ( n ) đối với một số hằng số K và K ' . Nói một cách không chính thức, T $\Theta$$O$$\Omega$$T(n) = \Theta(h(n))$$K h(n) \ge T(n) \ge K' h(n)$$K$$K'$ lên đến một số yếu tố rộng.$T(n) \approx h(n)$

Cân nhắc thêm

Các “nhỏ” và ω được sử dụng ít thường trong phân tích phức tạp. Ít o mạnh hơn O lớn ; Trong đó O chỉ ra sự tăng trưởng không nhanh hơn, o chỉ ra rằng sự tăng trưởng đó hoàn toàn chậm hơn. Ngược lại, ω cho thấy tốc độ tăng trưởng nhanh hơn đúng.$o$$\omega$$o$$O$$O$$o$$\omega$

Tôi đã hơi không chính thức trong các cuộc thảo luận ở trên. Wikipedia có định nghĩa formall và một cách tiếp cận toán học hơn.

Hãy nhớ rằng việc sử dụng dấu bằng trong và tương tự là một cách viết sai. Nói đúng ra, O ( f ( n ) ) là một tập hợp các hàm của biến n và chúng ta nên viết T ∈ O ( f ) .$T(n) = O(f(n))$$O(f(n))$$n$$T \in O(f)$

Ví dụ: một số thuật toán sắp xếp

Vì điều này khá khô khan, hãy để tôi đưa ra một ví dụ. Hầu hết các thuật toán sắp xếp có thời gian chạy trường hợp xấu nhất bậc hai, tức là đối với đầu vào có kích thước , thời gian chạy của thuật toán là O ( n 2 ) . Ví dụ, sắp xếp lựa chọn có thời gian chạy O ( n 2 ) , vì việc chọn phần tử thứ k yêu cầu so sánh n - k , với tổng số so sánh n ( n - 1 ) / 2 . Trong thực tế, số lượng so sánh luôn luôn chính xác n ( n $n$$O(n^2)$$O(n^2)$$k$$n-k$$n(n-1)/2$ , phát triển thành n 2 . Vì vậy, chúng ta có thể chính xác hơn về độ phức tạp thời gian của sắp xếp lựa chọn: đó là Θ ( n 2 ) .$n(n-1)/2$$n^2$$\Theta(n^2)$

Bây giờ hãy sắp xếp hợp nhất . Hợp nhất sắp xếp cũng là bậc hai ( ). Điều này đúng, nhưng không chính xác lắm. Hợp nhất sắp xếp trong thực tế có thời gian chạy O ( $O(n^2)$ trong trường hợp xấu nhất. Giống như sắp xếp lựa chọn, luồng công việc của sắp xếp hợp nhất về cơ bản không phụ thuộc vào hình dạng của đầu vào và thời gian chạy của nó luôn là$O(n \: \mathrm{lg}(n))$ lên đến một yếu tố chất nhân không đổi, tức là nó là Θ ( $n \: \mathrm{lg}(n)$ .$\Theta(n \: \mathrm{lg}(n))$

Tiếp theo, hãy xem xét quicksort . Quicksort phức tạp hơn. Nó chắc chắn là . Hơn nữa, trường hợp xấu nhất của quicksort là bậc hai: các trường hợp xấu nhất là Θ ( n 2 ) . Tuy nhiên, trường hợp tốt nhất của quicksort (khi đầu vào đã được sắp xếp) là tuyến tính: tốt nhất chúng ta có thể nói cho một ràng buộc thấp hơn để quicksort nói chung là Ω ( n ) . Tôi sẽ không lặp lại chứng tại đây, nhưng trung bình độ phức tạp của quicksort (tỷ lệ trung bình thực hiện trên tất cả các hoán vị có thể của đầu vào) là Θ ( $O(n^2)$$\Theta(n^2)$$\Omega(n)$ .$\Theta(n \: \mathrm{lg}(n))$

Có kết quả chung về sự phức tạp của các thuật toán sắp xếp trong các cài đặt chung. Giả sử rằng một thuật toán sắp xếp chỉ có thể so sánh hai yếu tố tại một thời điểm, với kết quả có hoặc không ( hoặc x > y ). Sau đó, rõ ràng là thời gian chạy của thuật toán sắp xếp luôn luôn là Ω ( n ) (trong đó n là số phần tử cần sắp xếp), bởi vì thuật toán phải so sánh mọi phần tử ít nhất một lần để biết nó sẽ phù hợp ở đâu. Giới hạn dưới này có thể được đáp ứng, ví dụ, nếu đầu vào đã được sắp xếp và thuật toán chỉ so sánh từng phần tử với phần tử tiếp theo và giữ chúng theo thứ tự (đó là n - $x \le y$$x > y$$\Omega(n)$$n$$n-1$so sánh). Điều ít rõ ràng hơn là thời gian chạy tối đa nhất thiết phải là . Có thể thuật toán đôi khi sẽ tạo ra các phép so sánh ít hơn, nhưng phải có một số K không đổisao cho với bất kỳ kích thước đầu vào n nào , có ít nhất một đầu vào mà thuật toán tạo ra nhiều hơn so sánh so với K n l g ( n ) . Ý tưởng của bằng chứng là xây dựng cây quyết định của thuật toán, tức là tuân theo các quyết định mà thuật toán lấy từ kết quả của mỗi so sánh. Vì mỗi so sánh trả về kết quả có hoặc không, cây quyết định là cây nhị phân. Có n $\Omega(n \: \mathrm{lg}(n))$$K$$n$$K n \mathrm{lg}(n)$$n!$hoán vị có thể có của đầu vào và thuật toán cần phân biệt giữa tất cả chúng, vì vậy kích thước của cây quyết định là . Kể từ khi cây là một cây nhị phân, phải mất độ sâu Θ ( l g ( n ! ) ) = Θ ( $n!$ để phù hợp với tất cả các nút. Độ sâu là số lượng tối đa các quyết định rằng các thuật toán mất, vì vậy chạy các thuật toán liên quan đến ít nhất này nhiều so sánh: thời gian chạy tối đa là Ω ( $\Theta(\mathrm{lg}(n!)) = \Theta(n\:\mathrm{lg}(n))$ .$\Omega(n \: \mathrm{lg}(n))$

¹ _{Hoặc tiêu thụ tài nguyên khác như không gian bộ nhớ. Trong câu trả lời này, tôi chỉ xem xét thời gian chạy.}

Điển hình là được sử dụng để nêu trên bên vọt (ước tính từ trên cao), trong khi Ω được sử dụng để ghi-cận dưới (ước tính từ bên dưới), và Θ được sử dụng khi chúng phù hợp, trong trường hợp này bạn có thể sử dụng Θ ở vị trí của họ (thường) để nêu kết quả.$O$$\Omega$$\Theta$$\Theta$