Làm thế nào chúng ta có thể giả định rằng các hoạt động cơ bản trên số mất thời gian không đổi?

Thông thường trong các thuật toán, chúng tôi không quan tâm đến việc so sánh, cộng hoặc trừ các số - chúng tôi giả sử chúng chạy trong thời gian . Ví dụ: chúng tôi giả sử điều này khi chúng tôi nói rằng sắp xếp dựa trên so sánh là , nhưng khi số lượng quá lớn để khớp với các thanh ghi, chúng tôi thường biểu diễn chúng dưới dạng các mảng để các thao tác cơ bản yêu cầu tính toán thêm cho mỗi phần tử.O ( n log n $O(1)$$O(n\log n)$

Có bằng chứng nào cho thấy việc so sánh hai số (hoặc các hàm số học nguyên thủy khác) có thể được thực hiện trong không? Nếu không tại sao chúng ta lại nói rằng sắp xếp dựa trên so sánh là ?O ( n log n $O(1)$$O(n\log n)$

Tôi gặp phải vấn đề này khi tôi đã trả lời một câu hỏi SO và tôi nhận ra rằng thuật toán của tôi không phải là vì sớm hay muộn tôi phải đối phó với tuổi lớn int, cũng có thể nó không phải là giả đa thức thuật toán thời gian, nó là .$O(n)$$P$

Đối với những người như tôi nghiên cứu các thuật toán để kiếm sống, mô hình tính toán tiêu chuẩn của thế kỷ 21 là RAM nguyên . Mô hình nhằm phản ánh hành vi của máy tính thực chính xác hơn mô hình máy Turing. Máy tính trong thế giới thực xử lý số nguyên nhiều bit trong thời gian không đổi bằng phần cứng song song; không phải là số nguyên tùy ý , nhưng (vì kích thước từ tăng dần theo thời gian) cũng không phải là số nguyên kích thước cố định .

Mô hình phụ thuộc vào một tham số duy nhất , được gọi là kích thước từ . Mỗi địa chỉ bộ nhớ chứa một số nguyên -bit hoặc từ . Trong mô hình này, kích thước đầu vào là số lượng từ trong đầu vào và thời gian chạy của thuật toán là số lượng thao tác trên các từ . Các phép toán số học tiêu chuẩn (cộng, trừ, nhân, chia số nguyên, phần dư, so sánh) và các phép toán boolean (bitwise và, hoặc, xor, shift, xoay) trên các từ đòi hỏi thời gian theo định nghĩa .w n O ( 1 $w$$w$$n$$O(1)$

Chính thức, kích thước từ KHÔNG phải là hằng số$w$ cho mục đích phân tích thuật toán trong mô hình này. Để làm cho mô hình phù hợp với trực giác, chúng tôi yêu cầu , vì nếu không, chúng tôi thậm chí không thể lưu trữ số nguyên trong một từ. Tuy nhiên, đối với hầu hết các thuật toán phi số, thời gian chạy thực sự độc lập , bởi vì các thuật toán đó không quan tâm đến biểu diễn nhị phân cơ bản của đầu vào của chúng. Sáp nhập và heapsort đều chạy trong thời gian ; median-of-3-quicksort chạy trong thời gian trong trường hợp xấu nhất. Một ngoại lệ đáng chú ý là sắp xếp cơ số nhị phân, chạy trong thời gian .$w \ge \log_2 n$$n$$w$$O(n\log n)$$O(n^2)$$O(nw)$

Cài đặt cho chúng ta mô hình RAM chi phí logarit truyền thống. Nhưng một số thuật toán RAM nguyên được thiết kế cho kích thước từ lớn hơn, như thuật toán sắp xếp số nguyên theo thời gian tuyến tính của Andersson et al. , yêu cầu .$w = \Theta(\log n)$$w = \Omega(\log^{2+\varepsilon} n)$

Đối với nhiều thuật toán phát sinh trong thực tế, kích thước từ đơn giản không phải là vấn đề và chúng ta có thể (và làm) rơi vào mô hình RAM chi phí thống nhất đơn giản hơn nhiều. Các chỉ gặp khó khăn nghiêm trọng xuất phát từ nhân lồng nhau, có thể được sử dụng để xây dựng rất nguyên lớn rất nhanh chóng. Nếu chúng tôi có thể thực hiện số học trên các số nguyên tùy ý trong thời gian không đổi, chúng tôi có thể giải quyết bất kỳ vấn đề nào trong PSPACE trong thời gian đa thức .$w$

Cập nhật: Tôi cũng nên đề cập rằng có các ngoại lệ đối với "mô hình chuẩn", như thuật toán nhân số nguyên của Fürer , sử dụng máy Turing đa nhiệm (hoặc tương đương, "RAM bit") và hầu hết các thuật toán hình học, được phân tích theo lý thuyết mô hình "RAM thực" lý tưởng nhưng sạch sẽ .

Vâng, đây là một con giun.

Nó chỉ phụ thuộc vào bối cảnh. Khi xử lý độ phức tạp của cấp độ bit của thuật toán, chúng tôi không nói rằng việc thêm hai số bit là , chúng tôi nói đó là . Tương tự cho phép nhân, v.v.O ( 1 ) O ( n $n$$O(1)$$O(n)$

Để trả lời câu hỏi như đã nêu: các nhà thuật toán chỉ cần làm điều đó, khá thường xuyên, bằng cách sử dụng mô hình RAM. Để sắp xếp, trong nhiều trường hợp, mọi người thậm chí phân tích mô hình so sánh đơn giản hơn , mà tôi thảo luận thêm một chút trong câu trả lời được liên kết.

Để trả lời câu hỏi ngầm về lý do tại sao họ làm điều đó: Tôi sẽ nói rằng mô hình này có khả năng dự đoán khá tốt đối với một số loại thuật toán tổ hợp nhất định, trong đó các số đều là "nhỏ" và, trên các máy thật, phù hợp với các thanh ghi.

Để trả lời theo dõi ngầm về các thuật toán số: Không, mô hình RAM cũ đơn giản không phải là tiêu chuẩn ở đây. Ngay cả việc loại bỏ Gaussian có thể yêu cầu một số chăm sóc. Thông thường, đối với các tính toán xếp hạng, Bổ đề Schwartz sẽ nhập (ví dụ: Phần 5 ở đây ). Một ví dụ kinh điển khác là phân tích Thuật toán Ellipsoid, đòi hỏi một số sự quan tâm để phân tích.

Và cuối cùng: Mọi người đã nghĩ về việc sắp xếp chuỗi trước đó , thậm chí gần đây.

Cập nhật: Vấn đề với câu hỏi này là "chúng tôi" và "giả định" không được chỉ định chính xác. Tôi muốn nói rằng những người làm việc trong mô hình RAM không thực hiện các thuật toán số hoặc lý thuyết phức tạp (trong đó việc xác định độ phức tạp của phép chia là kết quả nổi tiếng ).

Tôi không thể tìm thấy bất kỳ nghiên cứu nào về điều này, nhưng Kozen nói trong phần giới thiệu về "Thiết kế và phân tích thuật toán" rằng mô hình "phản ánh quan sát thử nghiệm chính xác hơn [so với mô hình chi phí log] cho dữ liệu vừa phải kích thước (vì phép nhân thực sự mất một đơn vị thời gian). " Ông cũng đưa ra một tài liệu tham khảo cho bài viết này như một ví dụ về cách mô hình có thể bị lạm dụng.$O(1)$$O(1)$

Đây là hoàn toàn không phải là một đánh giá legit (không kém phần quan vì nó Python), nhưng đây là một số con số chạy python -mtimeit "$a * $b"cho $atrong và . (Tôi đã dừng ở 66 vì đó là khi cú pháp Python ngừng chấp nhận số nguyên và tôi phải chuyển một chút mã đánh giá của mình, vì vậy tôi đã không làm: p)$10^{\{1,2,...,66\}}$$b = 2*$a

Mỗi số là giá trị trung bình của 10.000.000 vòng lặp, trong đó phải mất thời gian tốt nhất là 3 lần chạy trong mỗi vòng lặp. Tôi đã làm các thanh lỗi hoặc một cái gì đó nhưng sẽ nỗ lực hơn. : p Trong mọi trường hợp, nó trông khá ổn định đối với tôi, thậm chí là tới - hơi ngạc nhiên, vì là 43, điều này củng cố sự nghi ngờ của tôi rằng có thể đánh giá này là đặc biệt không có thật và tôi nên làm điều đó trong C. log 10 ( s y s . M a x i n t$10^{50}$$\log_{10}(\tt{sys.maxint})$

Bạn nói đúng, nói chung chúng ta không thể cho rằng chúng là .$O(1)$

Nói một cách chính xác, nếu chúng ta muốn sắp xếp một mảng với N số bằng cách sử dụng so sánh và số lớn nhất là M, thì trong trường hợp xấu nhất, mỗi so sánh có thể liên quan đến so sánh ở cấp độ bit. Và nếu thuật toán của chúng ta so sánh , thì tổng độ phức tạp của nó sẽ là .O ( N log N ) O ( N log N log M $O(\log M)$$O (N \log N)$$O (N \log N \log M)$

Tuy nhiên, bạn sẽ chỉ nhận thấy sự khác biệt đối với các giá trị rất lớn , không thể được lưu trữ trong một thanh ghi duy nhất, như bạn có thể thấy từ thí nghiệm của Dougal.$M$

Tôi sẽ nói rằng chúng ta thường giả sử các phép toán số học O (1) bởi vì chúng ta thường làm mọi thứ trong bối cảnh số nguyên 32 bit hoặc số nguyên 64 bit hoặc số dấu phẩy động IEEE 754. O (1) có lẽ là một xấp xỉ khá tốt cho loại số học đó.

Nhưng nói chung, điều đó không đúng. Nói chung, bạn cần một thuật toán để thực hiện phép cộng, phép trừ, phép nhân và phép chia. Khả năng tính toán và logic của Boolos, Burgess và Jefferies là một cách để hiểu các bằng chứng về điều đó, về mặt một vài hệ thống chính thức khác nhau, Hàm đệ quy và Máy bàn tính, ít nhất là trong bản sao Phiên bản thứ 4 của tôi.

Bạn có thể xem các thuật ngữ lambda-tính để trừ và chia với Số nhà thờ để có một lời giải thích dễ hiểu về lý do tại sao hai thao tác đó không phải là O (1). Khó hơn một chút để xem phép cộng và nhân và lũy thừa, nhưng nó ở đó nếu bạn xem xét hình thức của Chữ số Giáo hội.