Tính toán dân số gần đúng của bộ lọc nở

12

Cho một bộ lọc nở của các hàm N-bit và hàm băm có kích thước, trong đó các bit M (trong đó M <= N) của bộ lọc được đặt.

Có thể tính gần đúng số lượng phần tử được chèn vào bộ lọc nở không?

Ví dụ đơn giản

Tôi đã nghiên cứu kỹ về ví dụ sau, giả sử BF là 100 bit và 5 hàm băm trong đó 10 bit được đặt ...

Kịch bản trường hợp tốt nhất: Giả sử các hàm băm thực sự hoàn hảo và ánh xạ duy nhất một chút cho một số giá trị X, sau đó đã đưa ra 10 bit, chúng ta có thể nói rằng chỉ có 2 phần tử được chèn vào BF

Trường hợp xấu nhất: Giả sử các hàm băm là xấu và ánh xạ nhất quán đến cùng một bit (nhưng là duy nhất lẫn nhau), thì chúng ta có thể nói 10 phần tử đã được chèn vào BF

Phạm vi dường như là [2,10] trong đó độ trễ trong phạm vi này có thể được xác định bởi xác suất bộ lọc dương tính giả - tôi bị kẹt tại thời điểm này.

ds.data-structures pr.probability

— Tander Kulip
nguồn

4

Tại sao không giữ một bộ đếm số lượng phần tử được chèn? Nó chỉ mất thêm một bit , nếu bạn chèn phần tử.

O (\log n)

$O(\log n)$

n

$n$

— Joe

@Joe, trong khi đó là một ý tưởng tốt, nó làm hỏng một câu hỏi thực sự thú vị.

— dan_waterworth

Chỉ cần lưu ý rằng với các bản sao, phương pháp của Joe sẽ có một số lỗi nhỏ vì chúng ta không thể luôn chắc chắn khi thêm một phần tử cho dù nó đã có mặt (và do đó chúng ta có nên tăng số đếm hay không).

— usul

5

Đúng. Từ Wikipedia :

Nếu bạn đã chèn phần tử vào bộ lọc có kích thước bằng cách sử dụng hàm băm , xác suất một bit nhất định vẫn là 0 là $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

Bạn có thể đo xác suất này là tỷ lệ 0 bit trong bộ lọc của mình. Giải quyết cho mang đến cho $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

Tôi đã sử dụng điều này trong thực tế và miễn là bộ lọc của bạn không vượt quá khả năng của nó, lỗi thường nhỏ hơn 0,1% đối với các bộ lọc lên đến hàng triệu bit. Khi bộ lọc vượt quá khả năng của nó, lỗi tất nhiên sẽ tăng lên.

— Jay Hacker
nguồn

3

Nếu bạn giả sử rằng đối với mỗi hàm băm cho từng đối tượng, một bit được đặt thống nhất ngẫu nhiên và bạn có số đếm về số bit đã được đặt, bạn sẽ có thể ràng buộc xác suất số lượng đối tượng được chèn vào trong một phạm vi nhất định, có thể sử dụng một công thức bóng và thùng. Mỗi bit là một thùng và nó được đặt nếu nó có ít nhất 1 quả bóng trong đó, mỗi đối tượng được ném vào quả bóng , trong đó là số hàm băm và là số quả bóng được ném sau khi đối tượng được chèn. Cho rằng các thùng có ít nhất 1 quả bóng trong đó, xác suất để ít nhất quả bóng được ném là gì? Tôi nghĩ ở đây bạn có thể sử dụng thực tế rằng: $k$ $k$ $nk$ $n$ $b$ $t$

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$ Nhưng vấn đề với công thức đó là tôi không thấy một cách đơn giản để tính hoặc , nhưng việc tìm giá trị của để tối đa hóa xác suất đó không nên quá khó.

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— Joe
nguồn

2

Câu hỏi thú vị, hãy xem xét một số trường hợp cụ thể.

Để có khóa, bit trên, bit trong tổng số và phần tử được chèn. Trước tiên chúng ta sẽ cố gắng tìm một hàm là xác suất của trạng thái xảy ra. $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

Nếu , thì phải là , tức là không thể áp dụng được. $km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

Nếu , thì chúng ta đang tìm xác suất để băm rơi vào cùng một nhóm, cái đầu tiên có thể đánh dấu nơi những người khác nên đi. Vì vậy, chúng tôi muốn tìm xác suất để băm rơi vào một nhóm cụ thể. $n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

Đó là những trường hợp thực sự đơn giản hơn. Nếu thì chúng ta muốn tìm xác suất băm hạ cánh trong thùng khác nhau và ít nhất rơi trong mỗi thùng . Có cặp xô và xác suất mà băm đất trong bất kỳ cụ thể là $n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ vì vậy xác suất để các giá trị băm rơi vào tối đa nhóm là: $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

Chúng ta đã biết xác suất rằng chúng sẽ rơi vào thùng, vì vậy hãy trừ đi để đưa ra xác suất rằng chúng sẽ rơi vào đúng . $1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

Tôi nghĩ rằng chúng ta có thể khái quát điều này ngay bây giờ.

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

Tôi không chắc chắn làm thế nào để làm cho công thức này dễ dàng hơn để tính toán. Được thực hiện một cách chắc chắn, nó sẽ dẫn đến thời gian thực hiện theo cấp số nhân, mặc dù nó không quan trọng, thông qua việc ghi nhớ, để đạt được thời gian tuyến tính. Đó chỉ là một trường hợp tìm thấy nhiều khả năng . Bản năng của tôi nói rằng sẽ có một đỉnh duy nhất để có thể tìm thấy nó rất nhanh, nhưng ngây thơ, bạn chắc chắn có thể tìm thấy nhiều nhất có thể là m trong . $m$ $O(n^2)$

— dan_waterworth
nguồn

Tôi nghĩ rằng công thức của bạn hủy bỏ

(bỏ qua các yếu tố không đổi). Bạn có thể tính toán tối đa của phân tích này: mở rộng yếu tố đầu tiên của thuật ngữ thứ hai và loại bỏ các yếu tố không đổi để loại bỏ tất cả, và sau đó công thức của bạn trở nên rất đơn giản.

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— Jules

@Jules, tuyệt vời, tôi chắc chắn điều gì đó sẽ xảy ra, nhưng không có thời gian để tìm ra nó.

— dan_waterworth

Bạn cũng có thể đến công thức đó trực tiếp theo cách sau:

. Sau đó cắm vào

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

với

.

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— Jules

2

Giả sử rằng băm được phân phối đồng đều.

Đặt là số băm được chèn. Kể từ khi chúng tôi có băm vào thùng nếu chúng ta có băm vào thùng và băm tiếp theo đi vào một trong những ra khỏi thùng HOẶC nếu chúng ta có băm vào thùng và băm tiếp theo đi vào một trong các thùng , chúng ta có: $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

Viết lại:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

$P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$ cung cấp cho bạn ước tính khả năng tối đa.

$i$ $k$ $i/k$

$\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— Jules
nguồn

2

Ý tưởng chính là ước tính số lượng bit không.

$(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

Sau đó, kỳ vọng của số bit 0 sẽ là:

$N e^{-\frac{Kt}{N}}$ $N - M$

$t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Yanghong Zhong
nguồn

1

Xác suất mà một bit cụ thể là 1 sau n lần chèn là: P = 1 - (1 - 1 / m) ^ (kn)

Let X_i be a discrete random variable which is 1 if the bit at i'th position is 1 and 0 otherwise. Let X = X_1 + X_2 + .... + X_m. Then, E[X] = m * P.

If total number of set bits are S, then: E[X] = S which implies m * P = S. This could be solved for n.

— Nikhil
nguồn