Lập trình multiprocessing

5

Sử dụng mảng numpy trong bộ nhớ dùng chung để xử lý đa

Tôi muốn sử dụng một mảng numpy trong bộ nhớ dùng chung để sử dụng với mô-đun đa xử lý. Khó khăn là sử dụng nó như một mảng numpy, và không chỉ như một mảng ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if …

111 python numpy multiprocessing shared

6

Chính xác thì Phương thức .join () của Mô-đun đa xử lý Python đang làm gì?

Tìm hiểu về Đa xử lý trong Python (từ một bài báo PMOTW ) và muốn được giải thích rõ ràng về chính xác join()phương pháp này đang làm gì. Trong một hướng dẫn cũ từ năm 2008, nó nói rằng nếu không có lệnh p.join()gọi trong đoạn mã bên …

110 python multiprocessing

4

multiprocessing vs multithreading vs asyncio trong Python 3

Tôi thấy rằng trong Python 3.4 có một vài thư viện khác nhau cho đa xử lý / luồng: đa xử lý so với luồng và asyncio . Nhưng tôi không biết cái nào để sử dụng hoặc là "một trong những khuyến nghị". Họ làm điều giống nhau hay …

108 python multithreading python-3.x multiprocessing python-asyncio

8

multiprocessing: chia sẻ một đối tượng chỉ đọc lớn giữa các tiến trình?

Các quy trình con có được tạo ra thông qua các đối tượng chia sẻ đa xử lý được tạo trước đó trong chương trình không? Tôi có thiết lập sau: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') …

107 python multiprocessing

8

Đa xử lý: sử dụng tqdm để hiển thị thanh tiến trình

Để làm cho mã của tôi "pythonic" hơn và nhanh hơn, tôi sử dụng "đa xử lý" và một hàm bản đồ để gửi nó a) hàm và b) phạm vi lặp lại. Giải pháp được cấy ghép (tức là gọi tqdm trực tiếp trên phạm vi tqdm.tqdm (phạm vi …

97 python multiprocessing progress-bar tqdm

7

Python Process Pool không phải là daemonic?

Có thể tạo một bể nuôi trăn không phải là daemonic không? Tôi muốn một hồ bơi có thể gọi một hàm có một hồ bơi khác bên trong. Tôi muốn điều này vì các quy trình ngừng hoạt động không thể tạo quy trình. Cụ thể, nó sẽ gây …

96 python multiprocessing pool

9

Hiển thị tiến trình của lệnh gọi imap_unordered pool đa xử lý trong Python?

Tôi có một tập lệnh đang thực hiện thành công một nhóm tác vụ Nhóm đa xử lý với imap_unordered()lệnh gọi: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Tuy nhiên, của tôi num_taskslà khoảng 250.000 và do đó, chuỗi join()khóa …

95 python multiprocessing

6

Làm thế nào để sử dụng hàng đợi đa xử lý trong Python?

Tôi đang gặp nhiều khó khăn khi cố gắng hiểu cách hàng đợi đa xử lý hoạt động trên python và cách triển khai nó. Giả sử tôi có hai mô-đun python truy cập dữ liệu từ một tệp được chia sẻ, hãy gọi hai mô-đun này là người viết …

94 python multithreading multiprocessing

2

Chia sẻ hàng đợi kết quả giữa một số quy trình

Tài liệu cho multiprocessingmô-đun chỉ ra cách chuyển hàng đợi đến một quy trình được bắt đầu bằng multiprocessing.Process. Nhưng làm cách nào để chia sẻ hàng đợi với các quy trình không đồng bộ của worker được bắt đầu apply_async? Tôi không cần tham gia động hoặc bất cứ …

92 python parallel-processing queue multiprocessing python-multiprocessing

5

Ví dụ đơn giản về việc sử dụng Hàng đợi đa xử lý, Nhóm và Khóa

Tôi đã cố gắng đọc tài liệu tại http://docs.python.org/dev/library/multiprocessing.html nhưng tôi vẫn gặp khó khăn với Hàng đợi, Nhóm và Khóa đa xử lý. Và bây giờ tôi đã có thể xây dựng ví dụ bên dưới. Về Hàng đợi và Nhóm, tôi không chắc mình đã hiểu khái niệm …

91 python python-2.7 multiprocessing

1

Áp dụng hiệu quả một hàm cho DataFrame gấu trúc được nhóm theo nhóm song song

Tôi thường cần áp dụng một hàm cho các nhóm rất lớn DataFrame(gồm các kiểu dữ liệu hỗn hợp) và muốn tận dụng nhiều lõi. Tôi có thể tạo một trình lặp từ các nhóm và sử dụng mô-đun đa xử lý, nhưng nó không hiệu quả vì mọi nhóm …

89 python pandas multiprocessing shared-memory

6

Chia sẻ mảng lớn, chỉ đọc giữa các quy trình đa xử lý

Tôi có Mảng SciPy (Ma trận) 60GB, tôi phải chia sẻ giữa 5 multiprocessing Processđối tượng trở lên. Tôi đã xem numpy-sharedmem và đọc cuộc thảo luận này trên danh sách SciPy. Dường như có hai cách tiếp cận-- numpy-sharedmemvà sử dụng a multiprocessing.RawArray()và ánh xạ NumPy dtypes với ctypes. …

88 python numpy multiprocessing shared-memory

4

Làm cách nào để khắc phục sự cố “AttributeError: __exit__” trong đa quy trình bằng Python?

Tôi đã cố gắng viết lại một số mã đọc csv để có thể chạy nó trên nhiều lõi trong Python 3.2.2. Tôi đã cố gắng sử dụng Poolđối tượng đa xử lý, đối tượng mà tôi đã điều chỉnh từ các ví dụ làm việc (và đã làm việc …

87 python python-3.x multiprocessing pool

3

Đa xử lý trong Python: hiểu logic đằng sau `chunksize`

Những yếu tố nào xác định một chunksizeđối số tối ưu cho các phương pháp như thế multiprocessing.Pool.map()nào? Các .map()phương pháp dường như sử dụng một heuristic, tùy ý cho chunksize mặc định của nó (giải thích dưới đây); điều gì thúc đẩy sự lựa chọn đó và có cách …

84 python python-3.x parallel-processing multiprocessing python-multiprocessing

9

Kết nối cơ sở dữ liệu và đa xử lý Django

Lý lịch: Tôi đang làm một dự án sử dụng Django với cơ sở dữ liệu Postgres. Chúng tôi cũng đang sử dụng mod_wsgi trong trường hợp quan trọng, vì một số tìm kiếm trên web của tôi đã đề cập đến nó. Khi gửi biểu mẫu web, chế độ …

83 django multiprocessing

Câu hỏi được gắn thẻ «multiprocessing»