Lập trình multiprocessing

19

Python đa xử lý pool.map cho nhiều đối số

Trong thư viện đa xử lý Python, có một biến thể của pool.map hỗ trợ nhiều đối số không? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python multiprocessing

3

đa xử lý.Pool: Khi nào sử dụng áp dụng, áp dụng_async hoặc bản đồ?

Tôi chưa thấy các ví dụ rõ ràng với các trường hợp sử dụng cho Pool.apply , Pool.apply_async và Pool.map . Tôi chủ yếu sử dụng Pool.map; những lợi thế của người khác là gì?

290 python multithreading concurrency multiprocessing

8

Python đa xử lý PicklingError: Không thể chọn <type 'function'>

Tôi xin lỗi vì tôi không thể tái tạo lỗi bằng một ví dụ đơn giản hơn và mã của tôi quá phức tạp để đăng. Nếu tôi chạy chương trình trong IPython shell thay vì Python thông thường, mọi thứ sẽ hoạt động tốt. Tôi đã tra cứu một …

243 python multiprocessing pickle python-multiprocessing

21

Tôi nên đăng nhập như thế nào trong khi sử dụng đa xử lý trong Python?

Ngay bây giờ tôi có một mô-đun trung tâm trong một khung công tác sinh ra nhiều quy trình bằng multiprocessingmô-đun Python 2.6 . Bởi vì nó sử dụng multiprocessing, có nhật ký nhận biết đa xử lý cấp mô-đun , LOG = multiprocessing.get_logger(). Theo các tài liệu , trình …

238 python logging multiprocessing

12

Không thể chọn <gõ 'instancemethod'> khi sử dụng đa xử lý Pool.map ()

Tôi đang cố gắng sử dụng multiprocessingcủa Pool.map()chức năng để phân chia công việc cùng một lúc. Khi tôi sử dụng đoạn mã sau, nó hoạt động tốt: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Tuy nhiên, khi …

218 python multithreading multiprocessing pickle pool

1

đa xử lý.Pool: Sự khác biệt giữa map_async và imap là gì?

Tôi đang cố gắng học cách sử dụng multiprocessinggói của Python , nhưng tôi không hiểu sự khác biệt giữa map_asyncvà imap. Tôi nhận thấy rằng cả hai map_asyncvà imapđược thực hiện không đồng bộ. Vậy khi nào tôi nên sử dụng cái này hơn cái kia? Và làm thế …

184 python multiprocessing python-multiprocessing

18

Đa xử lý: Làm thế nào để sử dụng Pool.map trên một hàm được định nghĩa trong một lớp?

Khi tôi chạy một cái gì đó như: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) nó hoạt động tốt. Tuy nhiên, đặt điều này như là một chức năng của một lớp: class calculate(object): def run(self): def f(x): return x*x p = Pool() return …

179 python multiprocessing pickle

2

Đa xử lý - Ống vs Hàng đợi

Sự khác biệt cơ bản giữa hàng đợi và đường ống trong gói đa xử lý của Python là gì? Trong những kịch bản nên chọn một trong những kịch bản khác? Khi nào thì thuận lợi để sử dụng Pipe()? Khi nào thì thuận lợi để sử dụng Queue()?

151 python performance queue multiprocessing pipe

1

Đồng thời.futures vs Multiprocessing trong Python 3

Python 3.2 đã giới thiệu Tương lai đồng thời , dường như là một sự kết hợp nâng cao của các mô đun xử lý luồng và đa xử lý cũ hơn . Những lợi thế và bất lợi của việc sử dụng điều này cho các nhiệm vụ ràng …

148 python python-3.x multiprocessing

6

Sự khác biệt giữa các mô-đun luồng và đa xử lý là gì?

Tôi đang học cách sử dụng threadingvà các multiprocessingmô-đun trong Python để chạy song song các hoạt động nhất định và tăng tốc mã của tôi. Tôi đang gặp khó khăn này (có lẽ vì tôi không có bất kỳ nền tảng lý thuyết nào về nó) để hiểu sự …

140 python multithreading parallel-processing process multiprocessing

10

Bàn phím bị gián đoạn với nhóm đa xử lý của python

Làm cách nào tôi có thể xử lý các sự kiện Bàn phím bị gián đoạn với Nhóm đa xử lý của python? Đây là một ví dụ đơn giản: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool …

136 python multiprocessing pool keyboardinterrupt

3

Tại sao đa xử lý chỉ sử dụng một lõi sau khi tôi nhập numpy?

Tôi không chắc liệu đây có phải là vấn đề của hệ điều hành hay không, nhưng tôi nghĩ tôi sẽ hỏi ở đây trong trường hợp bất cứ ai có cái nhìn sâu sắc từ phần cuối của Python. Tôi đã cố gắng song song hóa một forvòng lặp …

127 python linux numpy multiprocessing blas

4

Các đối tượng bộ nhớ dùng chung trong đa xử lý

Giả sử tôi có một mảng lớn trong bộ nhớ, tôi có một hàm funcnhận mảng khổng lồ này làm đầu vào (cùng với một số tham số khác). funcvới các thông số khác nhau có thể được chạy song song. Ví dụ: def func(arr, param): # do stuff to …

124 python numpy parallel-processing multiprocessing shared-memory

5

RuntimeError trên cửa sổ đang thử xử lý đa quy trình python

Tôi đang thử chương trình python chính thức đầu tiên của mình bằng cách sử dụng Phân luồng và Đa xử lý trên máy windows. Tuy nhiên, tôi không thể khởi chạy các quy trình với python đưa ra thông báo sau. Vấn đề là, tôi không khởi chạy các …

122 python windows multiprocessing

5

multiprocessing: Làm cách nào để chia sẻ một mệnh lệnh giữa nhiều quy trình?

Một chương trình tạo ra một số quy trình hoạt động trên một hàng đợi Qcó thể nối và cuối cùng có thể thao túng một từ điển chung Dđể lưu trữ kết quả. (vì vậy mỗi quy trình con có thể sử dụng Dđể lưu trữ kết quả của …

113 python multiprocessing

Câu hỏi được gắn thẻ «multiprocessing»