Bộ máy tính chênh lệch giữa hai bộ lớn

Tôi có hai bộ lớn của các số nguyên và . Mỗi bộ có khoảng một triệu mục nhập và mỗi mục là một số nguyên dương dài tối đa 10 chữ số. $A$$B$

Thuật toán tốt nhất để tính và gì? Nói cách khác, làm thế nào tôi có thể tính toán hiệu quả danh sách các mục của không có trong và ngược lại? Điều gì sẽ là cấu trúc dữ liệu tốt nhất để đại diện cho hai bộ này, để làm cho các hoạt động này hiệu quả?B ∖ Một Một $A\setminus B$$B\setminus A$$A$$B$

Cách tiếp cận tốt nhất tôi có thể đưa ra là lưu trữ hai bộ này dưới dạng danh sách được sắp xếp và so sánh mọi yếu tố của $A$ với mọi yếu tố của $B$ , theo kiểu tuyến tính. Chúng ta có thể làm tốt hơn không?

Nếu bạn sẵn sàng lưu trữ các tập hợp trong một cấu trúc dữ liệu chuyên biệt, thì bạn có thể có được một số phức tạp thú vị.

Đặt $I=\mathcal O\left(\min\left(|A|,|B|,|A\Delta B|\right)\right)$

Sau đó, bạn có thể thực hiện hoạt động thiết lập và A Δ B , mỗi trong O ( Tôi ⋅ đăng nhập | Một | + | B $A\cup B, A\cap B,A\setminus B$$A\Delta B$thời gian dự kiến. Vì vậy, về cơ bản, bạn có được kích thước tối thiểu của hai bộ, hoặc, kích thước của sự khác biệt đối xứng, tùy theo giá trị nào nhỏ hơn. Điều này là tốt hơn so với tuyến tính, nếu sự khác biệt đối xứng là nhỏ; I E. nếu họ có một ngã tư lớn. Trong thực tế, đối với hai thao tác chênh lệch tập hợp mà bạn muốn, đây thực tế là độ nhạy đầu ra, vì chúng cùng nhau tạo nên kích thước của sự khác biệt đối xứng.$\mathcal O\left(I\cdot\log\frac{|A|+|B|}{I}\right)$

Xem Tập hợp và Bản đồ liên tục của Olle Liljenzin (2013) để biết thêm thông tin.

Quét tuyến tính là cách tốt nhất mà tôi biết cách thực hiện, nếu các bộ được biểu diễn dưới dạng danh sách liên kết được sắp xếp. Thời gian chạy là .$O(|A| + |B|)$

Lưu ý rằng bạn không cần so sánh mọi yếu tố của với mọi yếu tố của B , theo cặp. Điều đó sẽ dẫn đến thời gian chạy của O ( | A | × | B | ) , tệ hơn nhiều. Thay vào đó, để tính toán sự khác biệt đối xứng của hai bộ này, bạn có thể sử dụng một kỹ thuật tương tự như thao tác "hợp nhất" trong sáp nhập, được sửa đổi phù hợp để bỏ qua các giá trị chung cho cả hai bộ.$A$$B$$O(|A| \times |B|)$

Chi tiết hơn, bạn có thể xây dựng một thuật toán đệ quy như sau để tính , giả sử A và B được biểu diễn dưới dạng danh sách được liên kết với các giá trị của chúng theo thứ tự sắp xếp:$A \setminus B$$A$$B$

difference(A, B):
    if len(B)=0:
        return A # return the leftover list
    if len(A)=0:
        return B # return the leftover list
    if A[0] < B[0]:
        return [A[0]] + difference(A[1:], B)
    elsif A[0] = B[0]:
        return difference(A[1:], B[1:])  # omit the common element
    else:
        return [B[0]] + difference(A, B[1:])

Tôi đã trình bày điều này bằng giả Python. Nếu bạn không đọc Python, A[0]là người đứng đầu danh sách được liên kết A, A[1:]là phần còn lại của danh sách và +đại diện cho việc ghép các danh sách. Vì lý do hiệu quả, nếu bạn đang làm việc với Python, có lẽ bạn sẽ không muốn triển khai chính xác như trên - ví dụ, có thể tốt hơn khi sử dụng trình tạo, để tránh xây dựng nhiều danh sách tạm thời - nhưng tôi muốn cho bạn thấy những ý tưởng ở dạng đơn giản nhất có thể. Mục đích của mã giả này chỉ là để minh họa thuật toán, không đề xuất một triển khai cụ thể.

$A$$B$$A$$B$

Nếu A và B có kích thước bằng nhau, tách rời và xen kẽ (ví dụ số lẻ trong A và số chẵn trong B), thì so sánh cặp vật phẩm trong thời gian tuyến tính có thể là tối ưu.

Nếu A và B chứa các khối vật phẩm nằm trong chính xác một trong A hoặc B hoặc trong cả hai vật phẩm đó, thì có thể tính toán độ lệch, liên kết và giao nhau trong thời gian tuyến tính phụ. Ví dụ, nếu A và B khác nhau ở một mục chính xác, thì sự khác biệt có thể được tính trong O (log n).

http://arxiv.org/abs/1301.3388

$n$$A-B$$a \wedge \overline b$$a,b$là các bitvector. hiệu quả tương đối của kỹ thuật này so với các kỹ thuật khác cũng phụ thuộc vào độ thưa thớt. đối với các tập hợp dày đặc hơn, nó có thể hiệu quả hơn các phương pháp khác. tất nhiên toàn bộ hoạt động là song song lúng túng để các hoạt động thiết lập có thể được thực hiện song song.