Sắp xếp các thuật toán hoạt động trên lượng dữ liệu lớn

Tôi đang tìm kiếm các thuật toán sắp xếp có thể hoạt động trên một lượng lớn dữ liệu, tức là có thể hoạt động ngay cả khi toàn bộ tập dữ liệu không thể được giữ trong bộ nhớ chính cùng một lúc.

Ứng cử viên duy nhất mà tôi tìm thấy cho đến nay là sắp xếp hợp nhất: bạn có thể triển khai thuật toán theo cách nó quét tập dữ liệu của bạn tại mỗi hợp nhất mà không cần giữ tất cả dữ liệu trong bộ nhớ chính cùng một lúc. Sự thay đổi của loại hợp nhất tôi có trong tâm trí được mô tả trong bài viết này trong phần Sử dụng với các ổ đĩa băng .

Tôi nghĩ rằng đây là một giải pháp tốt (với độ phức tạp O (nx log (n)) nhưng tôi tò mò muốn biết liệu có các thuật toán sắp xếp khác (có thể nhanh hơn) có thể hoạt động trên các tập dữ liệu lớn không phù hợp với bộ nhớ chính hay không.

BIÊN TẬP

Dưới đây là một số chi tiết, theo yêu cầu của câu trả lời:

• Dữ liệu cần được sắp xếp theo định kỳ, ví dụ một lần trong một tháng. Tôi không cần phải chèn một vài bản ghi và sắp xếp dữ liệu tăng dần.
• Tệp văn bản ví dụ của tôi là khoảng 1 GB văn bản UTF-8, nhưng tôi muốn giải quyết vấn đề nói chung, ngay cả khi tệp đó là 20 GB.
• Nó không có trong cơ sở dữ liệu và do các ràng buộc khác, nó không thể.
• Dữ liệu được người khác đổ vào dưới dạng tệp văn bản, tôi có mã riêng để đọc tệp văn bản này.
• Định dạng của dữ liệu là một tệp văn bản: các ký tự dòng mới là dấu phân cách bản ghi.

Một cải tiến có thể có trong đầu tôi là chia tệp thành các tệp đủ nhỏ để sắp xếp trong bộ nhớ và cuối cùng hợp nhất tất cả các tệp này bằng thuật toán tôi đã mô tả ở trên.

Tài liệu tham khảo chính tắc về sắp xếp và tìm kiếm là Knuth, Vol. 3 . Bắt đầu từ đó

Cuốn sách ban đầu được viết lại khi máy tính nhỏ hơn và chậm hơn rất nhiều so với hiện tại, điều này khiến cho các kỹ thuật sắp xếp ngoài bộ nhớ trở nên quan trọng hơn so với chúng ngày nay.

Hợp nhất R-Way bên ngoài như trong sortlệnh UNIX là một lựa chọn tốt. Từ công thức của bạn, tôi không chắc đó có phải là thuật toán mà bạn muốn nói với "hợp nhất sắp xếp" hay không và nếu bạn không biết, hãy xem.

Không có chi tiết cụ thể hơn "Sắp xếp hợp nhất" có lẽ là câu trả lời tốt nhất bạn sẽ nhận được, tuy nhiên bạn có thể thực hiện một cái gì đó thông minh hơn nhiều tùy thuộc vào yêu cầu của bạn.

Chẳng hạn, bạn có thể chỉ cần tạo một chỉ mục trong bộ nhớ của tệp sau đó sao chép tất cả các giá trị cùng một lúc, lưu vào vị trí của các giá trị khóa khác nhau không? Liệu 1/2 có phù hợp với bộ nhớ cùng một lúc hay 1/1000000 không? Nếu đó là cái thứ hai thì bạn có thể không vừa với một chỉ mục trong bộ nhớ, nếu là cái thứ nhất thì bạn có thể sắp xếp cả hai nửa hiệu quả hơn sau đó hợp nhất chúng lại với nhau trong bước cuối cùng.

Chết tiệt, vì bạn đã không chỉ định nên có thể dữ liệu của bạn là tất cả trong cơ sở dữ liệu, nếu vậy bạn chỉ cần tạo một bảng chỉ mục và gọi nó là tốt (tôi đoán đây không phải là trường hợp, nhưng chỉ ra rằng tình huống của bạn là rất quan trọng để giải quyết một vấn đề phức tạp như thế này).

Nếu bạn muốn thực hiện nó chỉ một lần và đang tìm kiếm một bản hack rất nhanh, có vẻ như loại hợp nhất bên ngoài đó sẽ là một khởi đầu tốt nếu bạn đang chạy unix (vì rõ ràng nó được tích hợp sẵn)

Nếu bạn phải giữ nó theo thứ tự và luôn luôn thêm một bản ghi thì một loại chèn sẽ là cần thiết (Thêm một bản ghi vào dữ liệu được sắp xếp luôn luôn là một loại chèn).

Bạn có thể kiểm soát mã "Đọc" dữ liệu không? Nếu vậy thì nhiều hình thức lập chỉ mục (thay vì sắp xếp bằng cách di chuyển dữ liệu trên đĩa) sẽ giúp rất nhiều (thực sự sẽ là một yêu cầu tuyệt đối).

Vì thế:

• Tại chỗ hoặc nhiều tập tin?
• Một lần, định kỳ hoặc giữ nó sắp xếp mọi lúc?
• Lớn hơn bao nhiêu bộ nhớ (Có bao nhiêu bộ nhớ để tải qua toàn bộ tập dữ liệu)?
• Có phải trong một cơ sở dữ liệu? Có thể được không?
• Bạn có kiểm soát mã đọc dữ liệu hoặc người khác sẽ trực tiếp bán tệp không?
• Định dạng tập tin? (Văn bản? Bản ghi cố định?)
• Có trường hợp đặc biệt nào khác mà tôi không hỏi về không?

Nếu bạn thực sự muốn một giải pháp có thể mở rộng, bạn nên xem TeraSort, cách thực hiện sắp xếp tiêu chuẩn với map-less; biết thêm chi tiết về StackOverflow .

Bạn có thể quan tâm đến một loại xô . Hiệu suất trường hợp trung bình là thời gian tuyến tính.

= O (n + d) n: số phần tử và d = chiều dài của số lớn nhất nếu bạn có trực giác về dữ liệu của mình tức là. Nếu bạn biết bao nhiêu chữ số là số lớn nhất của bạn. Vì vậy, nếu bạn có 2 triệu số có 6 chữ số => 0 (n) thì tuyến tính.

Sử dụng thuật toán sắp xếp hợp nhất bên ngoài (nếu dữ liệu của bạn là continuos) hoặc sắp xếp nhóm với sắp xếp đếm như là một triển khai sắp xếp cho các nhóm (nếu dữ liệu của bạn rời rạc và phân bố đồng đều).

Có lẽ cách tiếp cận tốt nhất là xây dựng tệp chỉ mục / ánh xạ của riêng bạn nếu mức tăng nhỏ.

1. Bằng cách nào đó đặt hàng "cơ sở dữ liệu" của bạn
2. Gán một số nguyên cho mọi mục nhập (1, 2, 3, 4, ..., n) (tốt hơn: sử dụng một số chỉ mục thưa thớt)
3. Khi thêm một số gia, chỉ cần tìm một khoảng trống trong đó số bên trái nhỏ hơn hoặc bằng và số bên phải lớn hơn hoặc bằng (không nên khó khăn với một số phiên bản sửa đổi của tìm kiếm nhị phân)
4. Chèn, trong khi các khoảng trống rất lớn, nếu không: chỉ reindex (không bao giờ sắp xếp lại) :-)

Tôi vừa mới xây dựng một số cấu trúc trừu tượng gọi là hàng đợi lớn và mảng lớn để đơn giản hóa công việc tìm kiếm và sắp xếp dữ liệu lớn trên một máy có bộ nhớ hạn chế. Về cơ bản, thuật toán được sử dụng tương tự như thuật toán bạn đã đề cập ở trên - sắp xếp hợp nhất bên ngoài.

Tôi có thể sắp xếp dữ liệu 128GB (mỗi mục 100 byte) trong 9 giờ trên một máy và sau đó tìm kiếm nhị phân dữ liệu được sắp xếp mà hầu như không có thời gian.

Đây là một bài viết về cách tìm kiếm dữ liệu lớn bằng cách sử dụng hàng đợi lớn nguồn mở và các cấu trúc mảng lớn của tôi.