Tại sao rand () lặp lại số thường xuyên hơn trên Linux so với Mac?

Tôi đã triển khai một hashmap trong C như một phần của dự án tôi đang thực hiện và sử dụng các phần chèn ngẫu nhiên để kiểm tra nó khi tôi nhận thấy rằng rand()trên Linux dường như lặp lại các con số thường xuyên hơn nhiều so với trên Mac. RAND_MAXlà 2147483647 / 0x7FFFFFFF trên cả hai nền tảng. Tôi đã giảm nó xuống chương trình thử nghiệm này tạo ra một mảng byte RAND_MAX+1dài, tạo ra RAND_MAXcác số ngẫu nhiên, ghi chú nếu mỗi cái là một bản sao và kiểm tra nó ra khỏi danh sách như đã thấy.

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

int main() {
    size_t size = ((size_t)RAND_MAX) + 1;
    char *randoms = calloc(size, sizeof(char));
    int dups = 0;
    srand(time(0));
    for (int i = 0; i < RAND_MAX; i++) {
        int r = rand();
        if (randoms[r]) {
            // printf("duplicate at %d\n", r);
            dups++;
        }
        randoms[r] = 1;
    }
    printf("duplicates: %d\n", dups);
}

Linux liên tục tạo ra khoảng 790 triệu bản sao. Mac luôn chỉ tạo một, do đó, nó lặp qua mọi số ngẫu nhiên mà nó có thể tạo gần như không lặp lại. Bất cứ ai có thể xin vui lòng giải thích cho tôi làm thế nào điều này làm việc? Tôi không thể nói bất cứ điều gì khác với các trang dành cho nam giới, không thể biết RNG mỗi trang đang sử dụng và không thể tìm thấy bất cứ điều gì trực tuyến. Cảm ơn!

Mặc dù lúc đầu nghe có vẻ như macOS rand()tốt hơn vì không lặp lại bất kỳ số nào, nhưng bạn nên lưu ý rằng với số lượng được tạo ra này, dự kiến ​​sẽ có nhiều bản sao (thực tế là khoảng 790 triệu hoặc (2 ³¹ -1 -1 ) / e ). Tương tự lặp đi lặp lại qua các số theo thứ tự cũng sẽ không tạo ra sự trùng lặp, nhưng sẽ không được coi là rất ngẫu nhiên. Vì vậy, việc rand()triển khai Linux trong thử nghiệm này không thể phân biệt được với một nguồn ngẫu nhiên thực sự, trong khi macOS rand()thì không.

Một điều đáng ngạc nhiên khác thoạt nhìn là cách macOS rand() có thể quản lý để tránh trùng lặp rất tốt. Nhìn vào mã nguồn của nó , chúng tôi thấy việc thực hiện như sau:

/*
 * Compute x = (7^5 * x) mod (2^31 - 1)
 * without overflowing 31 bits:
 *      (2^31 - 1) = 127773 * (7^5) + 2836
 * From "Random number generators: good ones are hard to find",
 * Park and Miller, Communications of the ACM, vol. 31, no. 10,
 * October 1988, p. 1195.
 */
    long hi, lo, x;

    /* Can't be initialized with 0, so use another value. */
    if (*ctx == 0)
        *ctx = 123459876;
    hi = *ctx / 127773;
    lo = *ctx % 127773;
    x = 16807 * lo - 2836 * hi;
    if (x < 0)
        x += 0x7fffffff;
    return ((*ctx = x) % ((unsigned long) RAND_MAX + 1));

Điều này thực sự dẫn đến tất cả các số từ 1 đến RAND_MAX, bao gồm, chính xác một lần, trước khi chuỗi lặp lại. Vì trạng thái tiếp theo dựa trên phép nhân, trạng thái không bao giờ có thể bằng 0 (hoặc tất cả các trạng thái trong tương lai cũng sẽ bằng không). Do đó, số lặp lại mà bạn thấy là số đầu tiên và số 0 là số không bao giờ được trả về.

Apple đã thúc đẩy việc sử dụng các trình tạo số ngẫu nhiên tốt hơn trong tài liệu và ví dụ của họ ít nhất là miễn là macOS (hoặc OS X) đã tồn tại, do đó, chất lượng của rand() có lẽ không được coi là quan trọng và họ chỉ bị mắc kẹt với một trong những các trình tạo giả ngẫu nhiên đơn giản nhất hiện có. (Như bạn đã lưu ý, họ rand()thậm chí còn được nhận xét với một đề xuất sử dụng arc4random()thay thế.)

Trên một lưu ý liên quan, trình tạo số giả ngẫu nhiên đơn giản nhất mà tôi có thể tìm thấy tạo ra kết quả tốt trong thử nghiệm này (và nhiều thử nghiệm khác) cho tính ngẫu nhiên là xorshift * :

uint64_t x = *ctx;
x ^= x >> 12;
x ^= x << 25;
x ^= x >> 27;
*ctx = x;
return (x * 0x2545F4914F6CDD1DUL) >> 33;

Việc thực hiện này cho kết quả gần như chính xác là 790 triệu bản sao trong bài kiểm tra của bạn.

MacOS cung cấp hàm rand () không có giấy tờ trong stdlib. Nếu bạn không thấy nó, thì các giá trị đầu tiên mà nó đưa ra là 16807, 282475249, 1622650073, 984943658 và 1144108930. Một tìm kiếm nhanh sẽ cho thấy chuỗi này tương ứng với trình tạo số ngẫu nhiên LCG rất cơ bản lặp lại công thức sau:

x _{n +1} = 7 ⁵ · x _n (mod 2 ³¹ - 1)

Do trạng thái của RNG này được mô tả hoàn toàn bằng giá trị của một số nguyên 32 bit duy nhất, nên chu kỳ của nó không dài lắm. Nói chính xác, nó lặp lại cứ sau 2 ³¹ - 2 lần lặp, xuất ra mọi giá trị từ 1 đến 2 ³¹ - 2.

Tôi không nghĩ rằng có một triển khai rand () tiêu chuẩn cho tất cả các phiên bản Linux, nhưng có một glibc rand () thường được sử dụng. Thay vì một biến trạng thái 32 bit duy nhất, điều này sử dụng một nhóm hơn 1000 bit, mà tất cả các ý định và mục đích sẽ không bao giờ tạo ra một chuỗi lặp lại hoàn toàn. Một lần nữa, bạn có thể tìm ra phiên bản nào bạn có bằng cách in một vài kết quả đầu ra từ RNG này mà không cần gieo nó trước. (Hàm glibc rand () tạo ra các số 1804289383, 846930886, 1681692777, 1714636915 và 1957747793.)

Vì vậy, lý do bạn nhận được nhiều xung đột hơn trong Linux (và hầu như không có trong MacOS) là vì phiên bản Linux của rand () về cơ bản là ngẫu nhiên hơn.

rand()được xác định bởi tiêu chuẩn C và tiêu chuẩn C không chỉ định sử dụng thuật toán nào. Rõ ràng, Apple đang sử dụng thuật toán kém hơn so với triển khai GNU / Linux của bạn: Linux không thể phân biệt được với một nguồn ngẫu nhiên thực sự trong thử nghiệm của bạn, trong khi việc triển khai của Apple chỉ xáo trộn các con số xung quanh.

Nếu bạn muốn số ngẫu nhiên có chất lượng bất kỳ, hãy sử dụng PRNG tốt hơn mang lại ít nhất một số đảm bảo về chất lượng của số mà nó trả về hoặc chỉ cần đọc từ /dev/urandomhoặc tương tự. Càng về sau cung cấp cho bạn số chất lượng mật mã, nhưng chậm. Ngay cả khi nó quá chậm, /dev/urandomcó thể cung cấp một số hạt giống tuyệt vời cho một số PRNG khác, nhanh hơn.

Nói chung, cặp rand / srand đã bị coi là loại không dùng được trong một thời gian dài do các bit thứ tự thấp hiển thị ít ngẫu nhiên hơn các bit thứ tự cao trong kết quả. Điều này có thể có hoặc không liên quan gì đến kết quả của bạn, nhưng tôi nghĩ đây vẫn là một cơ hội tốt để nhớ rằng mặc dù một số triển khai rand / srand hiện đã được cập nhật hơn, các triển khai cũ vẫn tồn tại và tốt hơn là sử dụng ngẫu nhiên (3 ). Trên hộp Arch Linux của tôi, ghi chú sau vẫn còn trong trang man cho rand (3):

  The versions of rand() and srand() in the Linux C Library use the  same
   random number generator as random(3) and srandom(3), so the lower-order
   bits should be as random as the higher-order bits.  However,  on  older
   rand()  implementations,  and  on  current implementations on different
   systems, the lower-order bits are much less random than the  higher-or-
   der bits.  Do not use this function in applications intended to be por-
   table when good randomness is needed.  (Use random(3) instead.)

Ngay bên dưới đó, trang man thực sự đưa ra các ví dụ rất ngắn, rất đơn giản về rand và srand nói về các LC RNG đơn giản nhất bạn từng thấy và có RAND_MAX nhỏ. Tôi không nghĩ rằng họ phù hợp với những gì trong thư viện tiêu chuẩn C, nếu họ đã từng làm. Hoặc ít nhất tôi hy vọng là không.

Nói chung, nếu bạn sẽ sử dụng một cái gì đó từ thư viện tiêu chuẩn, hãy sử dụng ngẫu nhiên nếu bạn có thể (trang man liệt kê nó là tiêu chuẩn POSIX trở lại POSIX.1-2001, nhưng rand là cách tiêu chuẩn trở lại trước khi C thậm chí được chuẩn hóa) . Hoặc tốt hơn nữa, hãy mở công thức Numerical mở (hoặc tìm nó trực tuyến) hoặc Knuth và thực hiện nó. Chúng thực sự dễ dàng và bạn chỉ thực sự cần thực hiện một lần để có RNG cho mục đích chung với các thuộc tính bạn thường cần nhất và có chất lượng được biết đến.