Đối với thuật toán nào có một khoảng cách lớn giữa phân tích lý thuyết và thực tế?

Hai cách để phân tích hiệu quả của một thuật toán là

1. để đặt một giới hạn trên tiệm cận trong thời gian chạy của nó và
2. để chạy nó và thu thập dữ liệu thử nghiệm.

Tôi tự hỏi nếu có những trường hợp được biết có một khoảng cách đáng kể giữa (1) và (2). Điều này có nghĩa là (a) dữ liệu thực nghiệm cho thấy một tiệm cận chặt chẽ hơn hoặc (b) có thuật toán X và Y sao cho phân tích lý thuyết cho thấy X tốt hơn Y và dữ liệu thực nghiệm cho thấy Y tốt hơn nhiều so với Y X.

Vì các thí nghiệm thường tiết lộ hành vi trường hợp trung bình, tôi mong đợi các câu trả lời thú vị nhất đề cập đến giới hạn trường hợp trung bình. Tuy nhiên, tôi không muốn loại trừ những câu trả lời thú vị có thể nói về các giới hạn khác nhau, chẳng hạn như câu trả lời của Noam về Simplex.

Bao gồm các cấu trúc dữ liệu. Vui lòng đặt một thuật toán / DS cho mỗi câu trả lời.

Tất nhiên, ví dụ rõ ràng nhất là phương pháp Simplex chạy nhanh trong thực tế, cho thấy tính đa thời gian, nhưng mất thời gian theo cấp số nhân trong lý thuyết. Dan Spielman vừa nhận được giải thưởng Nevanlinna ở một mức độ lớn để giải thích bí ẩn này.

Tổng quát hơn, nhiều trường hợp lập trình Integer có thể được giải quyết khá tốt bằng cách sử dụng các bộ giải IP tiêu chuẩn, ví dụ: đấu giá kết hợp cho hầu hết các bản phân phối đã thử trên các đầu vào có kích thước đáng kể có thể được giải quyết - http://www.cis.upenn.edu/~mkearns /teaching/cgt/combinatorial-auctions-survey.pdf

Căn cứ Groebner . Thời gian chạy trường hợp xấu nhất là theo cấp số nhân (theo số lượng biến). Tuy nhiên, trong thực tế, đặc biệt đối với các vấn đề có cấu trúc tốt, thuật toán F4 và F5 có hiệu quả (tức là chấm dứt khá nhanh). Đây vẫn là một lĩnh vực nghiên cứu tích cực để tìm ra những phỏng đoán phù hợp thậm chí nên liên quan đến thời gian chạy trung bình hoặc dự kiến. Người ta phỏng đoán rằng nó có liên quan, bằng cách nào đó, với khối lượng đa giác Newton của lý tưởng cơ bản.

$O(2^{(\sqrt{(n log n)})})$

Tôi không biết liệu có một kết quả chính thức về mức độ phức tạp trung bình / đã được giải quyết của vấn đề hay không, nhưng tôi nhớ đã đọc rằng có một kết quả tồn tại - có lẽ ai đó có thể kêu gọi kết quả chính thức. Chắc chắn, có rất nhiều bằng chứng thực nghiệm và rất nhiều người giải quyết nhanh. Tôi cũng tò mò nếu tài sản này mở rộng cho các thành viên khác trong gia đình GI hoàn chỉnh.

Từ David Johnson, sự khác biệt về tỷ lệ xấp xỉ lý thuyết và gần đúng thực nghiệm: Vấn đề nhân viên bán hàng du lịch: Một nghiên cứu tình huống về tối ưu hóa địa phương, DS Johnson và LA McGeoch . Trong bài báo này, họ đưa ra bằng chứng thực nghiệm về tiệm cận (vì các thí nghiệm có kích thước N = 10.000.000!) Đã thách thức thuật ngữ tiệm cận lý thuyết: Thuật toán "Tham lam" hoặc "Đa mảnh" của Jon Bentley (tỷ lệ xấp xỉ trường hợp xấu nhất ít nhất là logN / loglogN) đánh bại Chèn gần nhất và Double MST, cả hai đều có tỷ lệ xấp xỉ trường hợp xấu nhất là 2.

Một ví dụ khác chưa được hiểu rõ cho đến gần đây là thời gian hoạt động của thuật toán k-mean của Lloyd , mà (từ quan điểm thực tế) là thuật toán phân cụm được lựa chọn trong hơn 50 năm. Chỉ gần đây, vào năm 2009, người ta đã chứng minh (bởi Vattani ) rằng trong trường hợp xấu nhất, thuật toán của Lloyd yêu cầu một số lần lặp theo cấp số nhân về số lượng điểm đầu vào. Mặt khác, đồng thời, một phân tích được làm mịn (bởi Arthur, Manthey và Röglin ) đã chứng minh rằng số lần lặp được làm mịn chỉ là đa thức, điều này giải thích hiệu suất thực nghiệm.

Các hệ quả truyền tải, deque và split của phỏng đoán tối ưu động cho các cây splay là ví dụ về những khoảng trống như vậy. Các thí nghiệm sao lưu yêu cầu cho thời gian tuyến tính, nhưng không có bằng chứng được biết đến.

Có một vấn đề nhỏ với câu hỏi. Thực tế, có nhiều hơn hai cách để phân tích một thuật toán và một trong những cách lý thuyết đã bị bỏ qua là thời gian chạy dự kiến, thay vì thời gian chạy trường hợp xấu nhất. Đây thực sự là hành vi trường hợp trung bình có liên quan đến việc làm thí nghiệm. Đây là một ví dụ rất đơn giản: Hãy tưởng tượng rằng bạn có một thuật toán cho đầu vào có kích thước n, sẽ mất thời gian n cho mỗi đầu vào có thể có kích thước n ngoại trừ một đầu vào cụ thể của mỗi độ dài cần có thời gian 2 ^ n. Nghe thời gian chạy trường hợp xấu nhất là theo cấp số nhân, nhưng trường hợp trung bình là [(2 ^ n -1) n + (2 ^ n) 1] / (2 ^ n) = n - (n-1) / 2 ^ n mà giới hạn cho n. Rõ ràng hai loại phân tích đưa ra câu trả lời rất khác nhau, nhưng điều này được mong đợi vì chúng tôi đang tính toán số lượng khác nhau.

Bằng cách chạy thử nghiệm rất nhiều lần, ngay cả khi chúng tôi mất thời gian chạy lâu nhất cho mẫu, chúng tôi vẫn chỉ lấy mẫu một phần nhỏ không gian của các đầu vào có thể, và vì vậy, nếu các trường hợp khó xảy ra thì rất có thể chúng tôi sẽ bỏ lỡ chúng .

Việc xây dựng một vấn đề như vậy tương đối dễ dàng: Nếu n / 2 bit đầu tiên đều bằng 0, hơn là giải quyết trường hợp 3SAT được mã hóa với n / 2 bit cuối cùng. Nếu không thì từ chối. Khi n trở nên lớn, vấn đề có cùng thời gian chạy trong trường hợp xấu nhất là thuật toán hiệu quả nhất cho 3SAT, trong đó thời gian chạy trung bình được đảm bảo là rất thấp.

Suy luận kiểu Damas-Milner được chứng minh là hoàn chỉnh theo thời gian theo cấp số nhân, và có những trường hợp được xây dựng dễ dàng với kết quả theo cấp số nhân trong kích thước của kết quả. Tuy nhiên, trên hầu hết các đầu vào trong thế giới thực, nó hoạt động theo kiểu tuyến tính hiệu quả.

Cây PTAS cho Steiner trong đồ thị phẳng có sự phụ thuộc vô lý vào epsilon. Tuy nhiên, có một triển khai cho thấy một hiệu suất tốt đáng ngạc nhiên trong thực tế.

Ghép các đống, từ [1] - chúng thực hiện các đống, trong đó chèn và hợp nhất có độ phức tạp khấu hao O (log n), nhưng được phỏng đoán là O (1). Trong thực tế, chúng cực kỳ hiệu quả, đặc biệt đối với người dùng hợp nhất.

Tôi mới phát hiện ra chúng ngay hôm nay khi đọc Sec. 5.5 trong cuốn sách "Các cấu trúc dữ liệu chức năng thuần túy" của C. Okasaki, vì vậy tôi nghĩ rằng tôi nên chia sẻ thông tin về chúng.

[1] Fredman, ML, Sedgewick, R., Sleator, DD và Tarjan, RE 1986. Heap ghép nối: một hình thức mới của heap tự điều chỉnh. Thuật toán 1, 1 (tháng 1 năm 1986), 111-129. DOI = http://dx.doi.org/10.1007/BF01840439

Liên quan đến nhận xét của ilyaraz về chi nhánh và ràng buộc, Pataki et al. cho thấy giảm chi nhánh và ràng buộc cộng với mạng cơ sở có thể giải quyết gần như tất cả các IP ngẫu nhiên trong đa thời gian.

Heuristic Lin-Kernighan cho TSP ("Một heuristic hiệu quả cho vấn đề nhân viên bán hàng du lịch", Research Research 21: 489 Ném516, 1973) rất thành công trong thực tế, nhưng vẫn thiếu một phân tích trung bình hoặc trơn tru để giải thích hiệu suất của nó . Ngược lại, có một phân tích trơn tru về heuristic 2-opt cho TSP của Matthias Englert, Heiko Röglin và Berthold Vöcking (Al Thuậtmica, sẽ xuất hiện).

Có rất nhiều rất nhanh và hiệu quả trong thực tế chi nhánh và ràng buộc các thuật toán cho các vấn đề NP-cứng khác nhau mà chúng ta không thể chặt chẽ phân tích: TSP, cây Steiner, đóng gói bin và vân vân.

$\Omega(nm)$