Làm thế nào tôi có thể gieo một bộ tạo số giả ngẫu nhiên tuyến tính song song trong khoảng thời gian tối đa?

Thông thường khi tôi tạo một bộ tạo số ngẫu nhiên liên tiếp trong C, tôi sử dụng cuộc gọi

srand(time(NULL))

sau đó sử dụng

rand() mod N

để có được một số nguyên ngẫu nhiên trong khoảng từ 0 đến N-1. Tuy nhiên, khi tôi thực hiện việc này song song, các lệnh gọi thời gian (NULL) rất gần nhau và cuối cùng chúng có cùng một số.

Tôi đã thử sử dụng một trình tạo số ngẫu nhiên đồng quy tuyến tính:

$x_{n+1} := a x_n + c\;\;\; (\bmod m)$ cho một số số nguyên $a,c,$ và $m$ .

Tôi biết rằng việc chọn $m=2^k$ cho một số nguyên lớn $k$ tạo ra kết quả nhanh vì toán tử mô đun có thể được tính bằng cách cắt các chữ số. Tuy nhiên, tôi thấy khó khăn khi thiết lập các hạt tạo ra các chuỗi ngẫu nhiên với một khoảng thời gian lớn song song. Tôi biết rằng một khoảng thời gian là tối đa nếu

1. c và m là các số nguyên tố liên quan đến nhau
2. a - 1 chia hết cho tất cả các thừa số nguyên tố của m
3. nếu m là bội của 4 thì a - 1 cũng phải là bội của 4.

(nguồn: wikipedia )

Nhưng làm thế nào để tôi đảm bảo rằng tất cả các luồng số ngẫu nhiên có thuộc tính tối đa này? Về khía cạnh MPI, làm cách nào để kết hợp rankvà sizetạo ra các khoảng thời gian tối đa bằng cách sử dụng phương pháp cộng hưởng tuyến tính? Sẽ dễ dàng hơn khi sử dụng Fibros Lagled hoặc Mersenne Twister để tạo ra các luồng ngẫu nhiên song song dài hơn?

Mẹo nhỏ là xen kẽ luồng LCG của mỗi tiến trình: đối với các tiến trình , chúng tôi sửa đổi LCG$p$

được

trong đó và có hiệu quả bước tiếp các bước . Chúng tôi có thể nhanh chóng lấy được chúng bằng cách mở rộng bước LCG ban đầu:C p$A_p$$C_p$$p$

và mô hình là và là kết quả của, bắt đầu từ số , liên tiếp nhân với và thêm lần, sau đó nhân với , tất cả .C p 0 a 1 p c mod $A_p \equiv a^p \mod m,$$C_p$$0$$a$$1$ $p$$c$$\bmod m$

Bước cuối cùng là đảm bảo rằng LCG -stride của mỗi quá trình không trùng nhau: chỉ cần khởi tạo quy trình với thứ hạng với và LCG song song với các giai đoạn riêng lẻ đã sẵn sàng, trong đó là giai đoạn ban đầu và là giai đoạn ban đầu số lượng quá trình. Nếu LCG được sửa đổi của mỗi quá trình được sử dụng như nhau, toàn bộ thời gian được phục hồi song song.r x r N / p N $p$$r$$x_r$$N/p$$N$$p$

Tôi đã thực hiện điều này khoảng sáu tháng trước (có lẽ là ngây thơ), và bạn có thể tìm thấy mã ở đây .

Có một bài viết tổng quan rất hay của Katzgrabber, Số ngẫu nhiên trong tính toán khoa học: Giới thiệu , tôi chỉ cho mọi người muốn trở thành người sử dụng PRNG cho tính toán khoa học. Máy phát điện tuyến tính nhanh, nhưng đó là tất cả những gì họ có cho chúng; họ có thời gian ngắn, và họ có thể rất dễ đi sai; kết hợp tìm kiếm hoàn toàn hợp lý của a, c và m có thể kết thúc với đầu ra tương quan khủng khiếp, ngay cả khi bạn đáp ứng các yêu cầu thông thường giữa a, c và m.

Tồi tệ hơn, trong một trường hợp phổ biến trong đó m là lũy thừa của hai (vì vậy thao tác mod nhanh), các bit bậc thấp hơn có chu kỳ ngắn hơn nhiều so với toàn bộ chuỗi, vì vậy nếu bạn đang thực hiện rand ()% N, bạn có một khoảng thời gian thậm chí ngắn hơn bạn mong đợi.

Theo nguyên tắc chung, máy phát điện lagged-fftimeacci, MT và WELL có các đặc tính tốt hơn nhiều và chúng vẫn còn khá nhanh.

Về mặt gieo hạt song song, phương pháp của Jack Poulson rất hay vì nó đưa ra một chuỗi các số được xác định rõ ràng chia đều giữa các bộ xử lý. Nếu điều đó không quan trọng, bạn có thể làm bất cứ điều gì hợp lý để gieo các PRNG khác nhau; cùng một bài báo cho thấy một số thứ mà nhiều người đã nghĩ ra một cách độc lập, băm số nhiệm vụ của PID hoặc MPI cùng với thời gian. Công thức cụ thể được đề xuất là

long seedgen(void)  {
    long s, seed, pid;

    pid = getpid();
    s = time ( &seconds );

    seed = abs(((s*181)*((pid-83)*359))%104729); 
    return seed;
}

Tôi không có ý kiến ​​cụ thể về việc thực hiện cụ thể đó, nhưng cách tiếp cận chung chắc chắn là hợp lý.

Một ý tưởng đơn giản để truyền bá một RNG tuần tự điển hình trên một số lượng lớn các luồng là để một luồng duy nhất tiến hạt giống nhanh nhất có thể và chỉ gửi mỗi nghìn hạt giống vào bộ nhớ. Sau đó, mỗi luồng khác của bạn lấy một trong số các hạt tham chiếu cách nhau này và xử lý 1000 giá trị trong khối đó, tức là tái tạo lại 1000 hạt trong khối, tạo ra các bản vẽ psuedorandom của chúng, và sau đó thực hiện bất kỳ việc xử lý nào khác cho nhiệm vụ của bạn.

Điều này hoạt động vì đối với các RNG không tính toán được nhiều như vậy (LCG chắc chắn là một, nhưng nhiều người khác nên nằm trong danh mục này), nút cổ chai thực sự đang gửi các hạt giống ra bộ nhớ (và có thể xử lý tiếp theo). Nếu bạn chạy LCG mà không gửi bất cứ thứ gì vào bộ nhớ, toàn bộ điều phải ở trong các thanh ghi CPU và cực kỳ nhanh. Ngay cả đối với một RNG phức tạp hơn, bạn nên ở trong bộ đệm L1 và rất nhanh.

Tôi đã sử dụng phương pháp rất đơn giản này với LCG mà vì lý do di sản mà chúng tôi phải giữ. Về cơ bản, chúng tôi có được tăng tốc tuyến tính lên đến 4-8 luồng trong một máy trạm đa lõi điển hình. Nhưng bây giờ tôi sẽ thử phương pháp từ câu trả lời của Jack Poulson và hy vọng sẽ nhanh hơn nữa :).

OTOH, tôi tin rằng thủ thuật đơn giản này sẽ hiệu quả với các RNG tuần tự vốn có khác.

Câu trả lời này là muộn, nhưng bạn nên xem qua XUÂN . Nó được thiết kế đặc biệt cho khả năng mở rộng song song và hỗ trợ một số loại PRNG.