Câu hỏi được gắn thẻ «python-multiprocessing»

Tôi xin lỗi vì tôi không thể tái tạo lỗi bằng một ví dụ đơn giản hơn và mã của tôi quá phức tạp để đăng. Nếu tôi chạy chương trình trong IPython shell thay vì Python thông thường, mọi thứ sẽ hoạt động tốt. Tôi đã tra cứu một …

243 python  multiprocessing  pickle  python-multiprocessing 

Trong mã ví dụ bên dưới, tôi muốn khôi phục giá trị trả về của hàm worker. Làm thế nào tôi có thể đi về làm điều này? Giá trị này được lưu trữ ở đâu? Mã ví dụ: import multiprocessing def worker(procnum): '''worker function''' print str(procnum) + ' represent!' …

188 python  python-multiprocessing 

Tôi đang cố gắng học cách sử dụng multiprocessinggói của Python , nhưng tôi không hiểu sự khác biệt giữa map_asyncvà imap. Tôi nhận thấy rằng cả hai map_asyncvà imapđược thực hiện không đồng bộ. Vậy khi nào tôi nên sử dụng cái này hơn cái kia? Và làm thế …

184 python  multiprocessing  python-multiprocessing 

Tôi đang sử dụng 'multiprocess.Pool.imap_unordered' như sau from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Tôi có cần gọi pool.closehoặc pool.joinsau vòng lặp for không?

96 python  python-multiprocessing 

Tài liệu cho multiprocessingmô-đun chỉ ra cách chuyển hàng đợi đến một quy trình được bắt đầu bằng multiprocessing.Process. Nhưng làm cách nào để chia sẻ hàng đợi với các quy trình không đồng bộ của worker được bắt đầu apply_async? Tôi không cần tham gia động hoặc bất cứ …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Những yếu tố nào xác định một chunksizeđối số tối ưu cho các phương pháp như thế multiprocessing.Pool.map()nào? Các .map()phương pháp dường như sử dụng một heuristic, tùy ý cho chunksize mặc định của nó (giải thích dưới đây); điều gì thúc đẩy sự lựa chọn đó và có cách …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing 

import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Tôi chỉ tìm thấy tài liệu về cách mở các quy trình con bằng các tập lệnh riêng biệt. Có ai biết …

82 python  function  subprocess  popen  python-multiprocessing 

Vì vậy, giả sử Bạn có một quy trình Python đang thu thập dữ liệu thời gian thực với khoảng 500 hàng mỗi giây (điều này có thể được song song hóa để giảm xuống khoảng 50 ps) từ một hệ thống xếp hàng và nối nó vào DataFrame: rq …

8 python-3.x  pandas  dataframe  python-multiprocessing 

Giả sử tôi có đoạn mã sau: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output = Parallel(n_jobs=num_cores)(delayed(func)(i, y) for i in x) return x, asarray(output) def …

8 python  python-3.x  python-multiprocessing  joblib