Các thuật toán trong thế giới thực có vượt trội hơn rất nhiều trong lớp bên dưới không? [đóng cửa]

Đêm qua tôi đã thảo luận với một lập trình viên khác rằng mặc dù có thể là O (1), một hoạt động là O (n) có thể vượt trội hơn nếu có một hằng số lớn trong thuật toán O (1). Anh ấy không đồng ý, vì vậy tôi đã mang nó đến đây.

Có ví dụ nào về các thuật toán vượt trội hơn nhiều so với các thuật toán trong lớp bên dưới nó không? Ví dụ: O (n) nhanh hơn O (1) hoặc O (n ² ) nhanh hơn O (n).

Về mặt toán học, điều này có thể được chứng minh cho một hàm có giới hạn trên không có triệu chứng, khi bạn bỏ qua các yếu tố không đổi, nhưng các thuật toán như vậy có tồn tại trong tự nhiên không? Và tôi sẽ tìm thấy những ví dụ về chúng ở đâu? Những loại tình huống họ được sử dụng cho?

Tra cứu trong các bảng dữ liệu cố định rất nhỏ. Bảng băm được tối ưu hóa có thể là O (1) và chậm hơn so với tìm kiếm nhị phân hoặc thậm chí là tìm kiếm tuyến tính do chi phí tính toán băm.

Phép nhân ma trận. Thuật toán O (n ^ 3) ngây thơ thường được sử dụng trong thực tế nhanh hơn so với Strassen's O (n ^ 2.8) cho các ma trận nhỏ; và Strassen's được sử dụng thay cho thuật toán O (n ^ 2.3) của Coppersmith đối với các ma trận lớn hơn.

Một ví dụ đơn giản là sự khác biệt giữa các thuật toán sắp xếp khác nhau. Hợp nhất, Heapsort và một số khác là O (n log n) . Quicksort là trường hợp xấu nhất O (n ^ 2) . Nhưng thường Quicksort nhanh hơn và trên thực tế, nó hoạt động trung bình như O (n log n) . Thêm thông tin .

Một ví dụ khác là việc tạo ra một số Fibonacci duy nhất. Thuật toán lặp là O (n) , trong khi thuật toán dựa trên ma trận là O (log n) . Tuy nhiên, đối với vài nghìn số Fibonacci đầu tiên, thuật toán lặp có thể nhanh hơn. Điều này cũng phụ thuộc vào việc thực hiện khóa học!

Các thuật toán có hiệu suất tiệm cận tốt hơn có thể chứa các hoạt động tốn kém không cần thiết với thuật toán có hiệu suất kém hơn nhưng hoạt động đơn giản hơn. Cuối cùng, chú thích O chỉ cho chúng ta biết điều gì đó về hiệu suất khi đối số mà nó hoạt động tăng lên đáng kể (tiếp cận vô hạn).

Lưu ý: Vui lòng đọc các bình luận của @ back2dos bên dưới và các bậc thầy khác, vì thực tế chúng hữu ích hơn những gì tôi đã viết - Cảm ơn tất cả những người đóng góp.

Tôi nghĩ từ biểu đồ bên dưới (lấy từ: Ký hiệu Big O , tìm kiếm "Bản chất bi quan của thuật toán:"), bạn có thể thấy rằng O (log n) không phải lúc nào cũng tốt hơn nói, O (n). Vì vậy, tôi đoán lập luận của bạn là hợp lệ.

Đối với các giá trị thực tế của n, có. Điều này xuất hiện rất nhiều trong lý thuyết CS. Thường có một thuật toán phức tạp có hiệu suất lớn hơn về mặt kỹ thuật, nhưng các yếu tố không đổi quá lớn để làm cho nó không thực tế.

Tôi đã từng có giáo sư hình học tính toán của mình mô tả một thuật toán để tam giác một đa giác trong thời gian tuyến tính, nhưng ông đã hoàn thành với "rất phức tạp. Tôi không nghĩ có ai thực sự thực hiện nó" (!!).

Ngoài ra, đống heap của Wikipedia có các đặc điểm tốt hơn so với đống thông thường, nhưng không phổ biến lắm vì chúng không hoạt động tốt trong thực tế như các đống thông thường. Điều này có thể xếp tầng cho các thuật toán khác sử dụng heaps - ví dụ, các đường đi ngắn nhất của Dijkstra nhanh hơn về mặt toán học với một heap của Wikipedia, nhưng thường không có trong thực tế.

So sánh chèn vào danh sách liên kết và chèn vào một mảng có thể thay đổi kích thước.

Lượng dữ liệu phải khá lớn để chèn danh sách O (1) được liên kết có giá trị.

Một danh sách liên kết có thêm chi phí cho con trỏ và hội nghị tiếp theo. Một mảng có thể thay đổi kích thước phải sao chép dữ liệu xung quanh. Sao chép đó là O (n), nhưng trong thực tế rất nhanh.

Ký hiệu Big-Oh được sử dụng để mô tả tốc độ tăng trưởng của hàm, do đó, có thể thuật toán O (1) sẽ nhanh hơn, nhưng chỉ đến một điểm nhất định (hệ số không đổi).

Các ký hiệu phổ biến:

O (1) - Số lần lặp (đôi khi bạn có thể gọi đây là thời gian người dùng dành cho chức năng) không phụ thuộc vào kích thước của đầu vào và trên thực tế là không đổi.

O (n) - Số lần lặp tăng theo tỷ lệ tuyến tính với kích thước của đầu vào. Ý nghĩa - nếu thuật toán lặp qua bất kỳ lần nhập N, 2 * N nào, thì nó vẫn được coi là O (n).

O (n ^ 2) (bậc hai) - Số lần lặp là kích thước đầu vào bình phương.

Các thư viện Regex thường được triển khai để thực hiện quay lui trong trường hợp xấu nhất theo thời gian theo cấp số nhân thay vì tạo ra DFA có độ phức tạp O(nm).

Quay lui ngây thơ có thể là một hoạt động tốt hơn khi đầu vào vẫn ở trên đường nhanh hoặc thất bại mà không cần phải quay lại quá mức.

(Mặc dù quyết định này không chỉ dựa trên hiệu suất, mà còn cho phép tham chiếu lại.)

Một O(1)thuật toán:

def constant_time_algorithm
  one_million = 1000 * 1000
  sleep(one_million) # seconds
end

Một O(n)thuật toán:

def linear_time_algorithm(n)
  sleep(n) # seconds
end

Rõ ràng, đối với bất kỳ giá trị của nnơi n < one_million, các O(n)thuật toán được đưa ra trong ví dụ sẽ nhanh hơn so với O(1)thuật toán.

Mặc dù ví dụ này hơi phức tạp, nhưng nó tương đương với tinh thần của ví dụ sau:

def constant_time_algorithm
  do_a_truckload_of_work_that_takes_forever_and_a_day
end

def linear_time_algorithm(n)
  i = 0
  while i < n
    i += 1
    do_a_minute_amount_of_work_that_takes_nanoseconds
  end
end

Bạn phải biết các hằng số và hệ số trong Obiểu thức của mình và bạn phải biết phạm vi dự kiến n, để xác định tiên nghiệm thuật toán nào sẽ kết thúc nhanh hơn.

Mặt khác, bạn phải điểm chuẩn hai thuật toán với các giá trị ntrong phạm vi dự kiến ​​để xác định một posteriori mà thuật toán kết thúc nhanh hơn.

Sắp xếp

Sắp xếp chèn là O (n ^ 2) nhưng vượt trội hơn các thuật toán sắp xếp O (n * log (n)) khác cho số lượng nhỏ các phần tử.

Đây là lý do tại sao hầu hết các triển khai sắp xếp sử dụng kết hợp hai thuật toán. Ví dụ: sử dụng sắp xếp hợp nhất để phá vỡ các mảng lớn cho đến khi chúng đạt đến một mảng có kích thước nhất định, sau đó sử dụng sắp xếp chèn để sắp xếp các đơn vị nhỏ hơn và hợp nhất lại với sắp xếp hợp nhất.

Xem Timsort triển khai mặc định hiện tại của Python và Java 7 sắp xếp sử dụng kỹ thuật này.

Các thống nhất thuật toán sử dụng trong thực tế là mũ trong trường hợp xấu nhất, đối với một số nguyên liệu đầu vào bệnh lý.

Có một thuật toán thống nhất đa thức , nhưng nó quá chậm trong thực tế.

Bubbledort trong bộ nhớ có thể vượt trội so với quicksort khi chương trình được hoán đổi sang đĩa hoặc cần đọc mọi mục từ đĩa khi so sánh.

Đây phải là một ví dụ anh ta có thể liên quan đến.

Thông thường các thuật toán tiên tiến hơn giả định một số lượng thiết lập (đắt tiền) nhất định. Nếu bạn chỉ cần chạy nó một lần, bạn có thể tốt hơn với phương pháp brute-force.

Ví dụ: tìm kiếm nhị phân và tra cứu bảng băm đều nhanh hơn nhiều cho mỗi lần tra cứu sau đó là tìm kiếm tuyến tính, nhưng chúng yêu cầu bạn sắp xếp danh sách hoặc xây dựng bảng băm tương ứng.

Việc sắp xếp sẽ khiến bạn mất N log (N) và bảng băm sẽ có giá ít nhất là N. Bây giờ nếu bạn đang thực hiện hàng trăm hoặc hàng nghìn lượt tra cứu, đó vẫn là một khoản tiết kiệm được khấu hao. Nhưng nếu bạn chỉ cần thực hiện một hoặc hai lần tra cứu, có thể chỉ cần thực hiện tìm kiếm tuyến tính và tiết kiệm chi phí khởi động.

Giải mã thường là 0 (1). Ví dụ, không gian khóa cho DES là 2 ^ 56, vì vậy việc giải mã bất kỳ tin nhắn nào là hoạt động theo thời gian không đổi. Chỉ là bạn có hệ số 2 ^ 56 trong đó nên hằng số thực sự lớn.

Thực hiện khác nhau của bộ mùa xuân đến tâm trí của tôi. Một trong những ngây thơ nhất đang triển khai nó trên một vector, mà phương tiện removecũng như containsvà do đó cũng addtất cả mất O (N).
Một cách khác là triển khai nó trên một số hàm băm mục đích chung, ánh xạ băm đầu vào thành các giá trị đầu vào. Việc thực hiện bộ Thực hiện như vậy với O (1) cho add, containsvà remove.

Nếu chúng ta giả sử N là khoảng 10 hoặc hơn, thì việc thực hiện đầu tiên có thể nhanh hơn. Tất cả những gì phải làm để tìm một phần tử là so sánh 10 giá trị với một giá trị.
Việc thực hiện khác sẽ phải bắt đầu tất cả các loại biến đổi thông minh, có thể tốn kém hơn rất nhiều, so với việc thực hiện 10 so sánh. Với tất cả chi phí hoạt động, bạn thậm chí có thể bị mất bộ nhớ cache và về lý thuyết giải pháp của bạn nhanh đến mức nào.

Điều này không có nghĩa là việc triển khai tồi tệ nhất mà bạn có thể nghĩ sẽ vượt trội hơn so với việc thực hiện tốt, nếu N đủ nhỏ. Nó đơn giản có nghĩa là đối với N đủ nhỏ, rằng một triển khai ngây thơ, với dấu chân và chi phí thấp thực sự có thể yêu cầu ít hướng dẫn hơn và gây ra lỗi nhớ cache ít hơn so với triển khai đặt khả năng mở rộng trước, và do đó sẽ nhanh hơn.

Bạn thực sự không thể biết mọi thứ diễn ra nhanh như thế nào trong một kịch bản trong thế giới thực, cho đến khi bạn đặt nó thành một và chỉ cần đo nó. Thường thì kết quả rất đáng ngạc nhiên (ít nhất là với tôi).

Có, đối với nhỏ thích hợp N. Sẽ luôn có N, ở trên đó bạn sẽ luôn có thứ tự O (1) <O (lg N) <O (N) <O (N log N) <O (N ^ c ) <O (c ^ N) (trong đó O (1) <O (lg N) có nghĩa là tại thuật toán O (1) sẽ thực hiện ít thao tác hơn khi N lớn phù hợp và c là hằng số cố định lớn hơn 1 ).

Nói một thuật toán O (1) cụ thể thực hiện chính xác các hoạt động f (N) = 10 ^ 100 (một googol) và thuật toán O (N) thực hiện chính xác các hoạt động g (N) = 2 N + 5. Thuật toán O (N) sẽ cho hiệu năng cao hơn cho đến khi bạn N gần như là một googol (thực tế là khi N> (10 ^ 100 - 5) / 2), vì vậy nếu bạn chỉ mong N sẽ ở trong phạm vi 1000 đến một tỷ bạn sẽ phải chịu một hình phạt lớn khi sử dụng thuật toán O (1).

Hoặc để so sánh thực tế, giả sử bạn đang nhân các số có n chữ số với nhau. Các thuật toán Karatsuba là tối đa 3 n ^ (lg 3) hoạt động (có nghĩa là khoảng O (n ^ 1,585)) trong khi thuật toán Schönhage-Strassen là O (N log N log log N) mà là một trật tự nhanh hơn , nhưng để trích dẫn wikipedia:

Trong thực tế, thuật toán Schönhage bụi Strassen bắt đầu vượt trội so với các phương pháp cũ hơn như phép nhân Karatsuba và ToomTHER Cook cho các số vượt quá 2 ^ 2 ^ 15 đến 2 ^ 2 ^ 17 (10.000 đến 40.000 chữ số thập phân). [4] [5] [6] ]

Vì vậy, nếu bạn nhân các số có 500 chữ số với nhau, sẽ không có nghĩa khi sử dụng thuật toán "nhanh hơn" bằng các đối số O lớn.

EDIT: Bạn có thể tìm thấy xác định f (N) so với g (N), bằng cách lấy giới hạn N-> vô cùng của f (N) / g (N). Nếu giới hạn là 0 thì f (N) <g (N), nếu giới hạn là vô cùng thì f (N)> g (N) và nếu giới hạn là một hằng số khác thì f (N) ~ g (N) về mặt ký hiệu O lớn.

Phương pháp đơn giản cho lập trình tuyến tính có thể theo cấp số nhân trong trường hợp xấu nhất, trong khi các thuật toán điểm bên trong tương đối mới có thể là đa thức.

Tuy nhiên, trong thực tế, trường hợp xấu nhất theo cấp số nhân của phương pháp đơn giản không xuất hiện - phương pháp đơn giản là nhanh và đáng tin cậy, trong khi các thuật toán điểm nội thất ban đầu quá chậm để có thể cạnh tranh. (Hiện nay có các thuật toán điểm nội thất hiện đại hơn có khả năng cạnh tranh - nhưng phương pháp đơn giản là ...)

Thuật toán của Ukkonen để xây dựng hậu tố thử là O (n log n). Nó có lợi thế là "trực tuyến" - nghĩa là, bạn có thể tăng thêm văn bản.

Gần đây, các thuật toán phức tạp khác đã tuyên bố là nhanh hơn trong thực tế, phần lớn là do truy cập bộ nhớ của chúng có tính cục bộ cao hơn, do đó cải thiện việc sử dụng bộ đệm của bộ xử lý và tránh các quầy hàng của CPU. Xem, ví dụ, khảo sát này , tuyên bố rằng 70-80% thời gian xử lý được dành để chờ bộ nhớ và bài viết này mô tả thuật toán "wotd".

Suffix cố gắng rất quan trọng trong di truyền học (để phù hợp với trình tự gen) và, phần nào ít quan trọng hơn trong việc thực hiện từ điển Scrabble.

Luôn có thuật toán nhanh nhất và nhanh nhất cho mọi vấn đề được xác định rõ . Về mặt lý thuyết, đây chỉ là thuật toán nhanh nhất (không có triệu chứng).

Với bất kỳ mô tả của một vấn đề P và một ví dụ cho rằng vấn đề tôi , nó liệt kê tất cả các thuật toán có thể Một và chứng minh Pr , kiểm tra cho mỗi cặp như vậy cho dù Pr là một bằng chứng hợp lệ mà A là thuật toán tiệm cận nhanh nhất cho P . Nếu nó tìm thấy một bằng chứng như vậy, nó sau đó thực hiện một trên tôi .

Tìm kiếm cặp chứng minh vấn đề này có độ phức tạp O (1) (đối với một vấn đề cố định P ), vì vậy bạn luôn sử dụng thuật toán nhanh nhất không có triệu chứng cho vấn đề. Tuy nhiên, vì hằng số này rất lớn trong hầu hết các trường hợp, nên phương pháp này hoàn toàn vô dụng trong thực tế.

Nhiều ngôn ngữ / khung sử dụng khớp mẫu ngây thơ để khớp chuỗi thay vì KMP . Chúng tôi tìm kiếm chuỗi như Tom, New York chứ không phải ababaabababababababababababab.