Loại bỏ trùng lặp hiệu quả và với chi phí bộ nhớ thấp

Tôi muốn lọc một cách hiệu quả một danh sách các số nguyên cho các bản sao theo cách mà chỉ tập hợp kết quả cần được lưu trữ.

Một cách này có thể được nhìn thấy:

chúng tôi có một loạt các số nguyên với lớn (nói ) $S = \{1, \dots{}, N\}$ $N$ $2^{40}$
chúng ta có một hàm với, được cho là có nhiều va chạm (hình ảnh được phân bố đồng đều trong ) $f : S \to S$ $S$
sau đó chúng ta cần lưu trữ , đó là $f[S]$ $\{f(x) | x \in S\}$

Tôi có một ước tính khá chính xác (xác suất) về những gì là, và do đó có thể phân bổ cấu trúc dữ liệu trước (nói ). $|f[S]|$ $|f[S]| \approx 2^{30}$

Tôi đã có một vài ý tưởng, nhưng tôi không chắc đâu là cách tiếp cận tốt nhất:

một bitet nằm ngoài câu hỏi vì bộ đầu vào không vừa với bộ nhớ.
một bảng băm, nhưng (1) nó yêu cầu một số chi phí bộ nhớ, giả sử 150% của và (2) bảng phải được khám phá khi được xây dựng đòi hỏi thêm thời gian vì chi phí bộ nhớ. $|f[S]|$
một loại "trên đường bay", tốt nhất là với độ phức tạp (loại không so sánh). Về điều đó, tôi không chắc sự khác biệt chính giữa loại xô và flashsort là gì . $O(N)$
một mảng đơn giản với cây tìm kiếm nhị phân, nhưng điều này đòi hỏi thời gian . $O(N \log |f[S]|)$
có thể sử dụng các bộ lọc Bloom hoặc cấu trúc dữ liệu tương tự có thể hữu ích trong việc thư giãn (với các kết quả dương tính giả) của vấn đề.

Một số câu hỏi về stackoverflow dường như giải quyết vấn đề này ( /programming/12240997/sorting-array-in-on-run-time , /programming/3951547/java -array-looking-trùng lặp ), nhưng dường như không có gì phù hợp với yêu cầu của tôi.

algorithms data-structures sorting

— tài liệu
nguồn

Bạn có cần liệt kê f [S] (bất kể đó là gì) hoặc để có thể nhanh chóng cho biết một số x có trong đó không?

— Gilles 'SO- ngừng trở nên xấu xa'

@Gilles: Tôi tin rằng, vì không có cấu trúc rõ ràng nào có thể được tìm thấy trong f [S], hai giải pháp là tương đương nhau.

— doc

N

$N$

(1 - 1 / e) N

$(1-1/e)N$

2^{56}

$2^{56}$

O (N \log | f [S] |)

$O(N \log |f[S]|)$

O (N \log N)

$O(N\log N)$

N \sim 2^{56}

$N \sim 2^{56}$

S

$S$

Tại sao không bin và chuỗi?

$n = k+m$ $A$ $2^k$ $A[y]$ $y \ge 0$ $[2^m y, 2^m(y+1)-1]$ $1 \le x \lt 2^n$ $x = 2^m y + z$ $y$ $k$ $z$ $m$ $z$ $x$ $y$

$A[y]=z$ $x$
$A[y]$ $z$ $A[y]$
$z$ $y$ $A[y]$ $z$

$f(S)$ $A$ $z$ $y$ $x = 2^m y + z$

$2^k$ $N$

$2^n$ $A$ $2^{2k}$ $m \le k$ $2^k$ $n$ $k$

$k$ $m=n-k$

$A$ $m$ $k$

— người bán hàng
nguồn

Tôi nghĩ rằng đoạn thứ hai đến cuối cùng là đoạn trung tâm ở đây, và có lẽ nên ở trên cùng (như ý tưởng). Tôi không biết thuật ngữ "bin và chuỗi" (mặc dù nó có ý nghĩa sau khi đọc bài viết). Ý tưởng này có thể được mở rộng để thử .

— Raphael

Θ (n^{2})

$\Theta(n^2)$

@einpoklum Câu trả lời này mô tả rõ ràng các điều kiện trong đó giải pháp có hiệu quả.

— whuber