Câu hỏi được gắn thẻ «shared-memory»

Giả sử tôi có một mảng lớn trong bộ nhớ, tôi có một hàm funcnhận mảng khổng lồ này làm đầu vào (cùng với một số tham số khác). funcvới các thông số khác nhau có thể được chạy song song. Ví dụ: def func(arr, param): # do stuff to …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Tôi có một chút vấn đề với một trong những dự án của mình. Tôi đã cố gắng tìm một ví dụ được ghi chép rõ ràng về việc sử dụng bộ nhớ dùng chung với fork()nhưng không thành công. Về cơ bản, kịch bản là khi người dùng khởi …

117 c  linux  fork  shared-memory 

Tôi thường cần áp dụng một hàm cho các nhóm rất lớn DataFrame(gồm các kiểu dữ liệu hỗn hợp) và muốn tận dụng nhiều lõi. Tôi có thể tạo một trình lặp từ các nhóm và sử dụng mô-đun đa xử lý, nhưng nó không hiệu quả vì mọi nhóm …

89 python  pandas  multiprocessing  shared-memory 

Tôi có Mảng SciPy (Ma trận) 60GB, tôi phải chia sẻ giữa 5 multiprocessing Processđối tượng trở lên. Tôi đã xem numpy-sharedmem và đọc cuộc thảo luận này trên danh sách SciPy. Dường như có hai cách tiếp cận-- numpy-sharedmemvà sử dụng a multiprocessing.RawArray()và ánh xạ NumPy dtypes với ctypes. …

88 python  numpy  multiprocessing  shared-memory 

Tôi đã xây dựng một ứng dụng cũng có thể được chạy như một dịch vụ (sử dụng một -servicechuyển đổi). Điều này hoạt động hoàn hảo không có vấn đề gì khi tôi chạy dịch vụ từ dấu nhắc lệnh (Tôi có một cái gì đó được thiết lập …

8 c#  shared-memory  memory-mapped-files  memory-mapping