Rabin-Karp có thực sự cần tôi quan tâm đến việc áp dụng thao tác mod Q trên băm lăn không?

Tôi đã đọc về thuật toán Rabin Karp và tôi cứ tự hỏi không biết vấn đề lớn với việc giữ các giá trị băm lăn của chúng ta giới hạn bởi một giá trị Q là gì?

Tôi đã nghĩ rằng đại diện số nguyên của chúng tôi trên máy tính thông thường là 2 bổ sung, nó thực sự tương đương chính xác như ràng buộc tất cả các hoạt động của chúng tôi trong các băm lăn bằng 2 ^ 31, do đó, nói cách khác, tôi chỉ đơn giản là không quan tâm. Thêm vào đó, chúng ta càng bị ràng buộc hoặc băm nhỏ, chúng ta càng có nhiều va chạm, do đó, một Q lớn hơn sẽ bằng với hiệu suất được cải thiện!

Tôi đã thử mã hóa một triển khai (Java) đơn giản:

public static int rabinKarp(String text, String pattern) {
    if (text.length() < pattern.length()) {
        return -1;
    } else {
        int patternHash = 0;
        int textHash = 0;
        int pow = 1;

        // preprocessing the pattern and the first characters of the text string
        for (int i = pattern.length()-1; i >= 0; --i) {
            patternHash += pattern.charAt(i) * pow;
            textHash += text.charAt(i) * pow;
            pow *= 10;
        }
        pow /= 10;

        // actual search
        if (patternHash == textHash && areEqual(text, 0, pattern)) {
            return 0;
        } else {
            for (int i = 1; i < text.length()-pattern.length()+1; ++i) {
                textHash -= text.charAt(i-1)*pow;
                textHash *= 10;
                textHash += text.charAt(i+pattern.length()-1);
                if (textHash == patternHash && areEqual(text, i, pattern)) {
                    return i;
                }
            }
            return -1;
        }
    }
}

Từ một số thử nghiệm sơ bộ, giả thuyết của tôi dường như chính xác về mặt thực nghiệm, nhưng tôi chưa thấy nó được viết ở bất cứ đâu, vì vậy tôi không khỏi thắc mắc ..

Tui bỏ lỡ điều gì vậy?

Vâng, trong thực tế, bạn có thể có được bằng cách chỉ để cho các tính toán tràn. Bạn đang làm việc hiệu quả modulo$2^{32}$. Nó cũng có lợi thế là không yêu cầu tính toán modulo (đắt tiền). Tuy nhiên, nó thiếu một số đảm bảo hiệu suất lý thuyết. Bạn cần phải rất cẩn thận với sự lựa chọn của cơ sở (trong trường hợp này:$10$) đối với mô đun.

Đặc biệt, sự lựa chọn của bạn về $10$rất là nghèo. Lưu ý rằng$10^{32}=2^{32}\cdot 5^{32}$, vì thế $10^{32} \textrm{ mod } 2^{32} = 0$. Điều này có nghĩa là chỉ cuối cùng$32$ các ký tự của chuỗi được đưa vào tài khoản trong hàm băm, do đó người ta có thể xây dựng một đầu vào mà thuật toán của bạn thực hiện rất kém.

Hãy để haystack là một chuỗi $m$ $1$nghĩa là $1111111\ldots$ và kim một chuỗi bao gồm $n$ $1$của, một $0$, và sau đó $32$ $1$'S. Bởi vì chuỗi kết thúc bằng$32$ $1$Mọi vị trí sẽ dẫn đến một cú đánh giả, và thuật toán sẽ cần lặp lại $n$ $1$Trước khi gặp số 0, nghĩa là bạn sẽ nhận được $\Omega(nm)$ thời gian chạy

Tôi đã thử nghiệm thuật toán của bạn trên một đầu vào trong đó $n=3000,m=n^2=9\cdot 10^6$. Nó đã$18$ giây để chạy trên đầu vào kết thúc bằng $32$ 1, nhưng chỉ $200ms$ cho một chuỗi kết thúc bằng $31$ $1$'S.

Vấn đề là ở đó $10$không tương đối nguyên tố với mô đun. Ví dụ, lấy$9$ vì cơ sở làm cho chương trình của bạn hoạt động tốt hơn nhiều, chỉ lấy $200ms$ cho trường hợp với $32$ $1$'S. Tất nhiên, lấy một mô đun nguyên tố sẽ giải quyết được một phần vấn đề này vì cơ sở sẽ tự động tương đối nguyên tố với nó. Tuy nhiên, đây không phải là lý do duy nhất để thích một mô đun nguyên tố.

Bây giờ, ngay cả khi mô-đun $n$ và cơ sở $b$là tương đối chính, những điều không mong muốn vẫn có thể xảy ra. Ví dụ, có một$k$ mà $b^k=1\textrm{ mod } n$. Đó là điều không mong muốn cho$k$ là nhỏ, vì hàm băm không thể phân biệt mọi $i^\textrm{th}$ nhân vật từ mọi $i+k^\textrm{th}$tính cách. Trong thuật ngữ toán học, bạn muốn thứ tự của$b$ mod $n$ càng lớn càng tốt.

Lệnh của $b$ mod $n$ luôn luôn có nhiều nhất là hàm Euler-Phi $\phi(n)$. Cho một nguyên tố$p$, $\phi(p)=p-1$ trong khi đối với các số nguyên tố $n$nó sẽ nhỏ hơn Vì vậy, lấy$n$ trở thành một nguyên tố sẽ cho phép nhiều giá trị của $b^k$là "hữu ích". Tốt nhất, người ta nên dùng$b$ là một modulo gốc nguyên thủy $n$, làm điều đó $b^k=1 \textrm{ mod } n$ không giữ bất kỳ giá trị nào của $0<k<\phi(n)$.

Lưu ý rằng bạn luôn có thể xây dựng các trường hợp mà hiệu suất kém và để bảo vệ chống lại "các cuộc tấn công" khỏi một đối thủ, bạn cần lấy cơ sở và mô đun làm giá trị ngẫu nhiên.