Khi nào chúng ta nên gọi multiprocessing.Pool.join?

Tôi đang sử dụng 'multiprocess.Pool.imap_unordered' như sau

from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
    do some additional processing on mapped_result

Tôi có cần gọi pool.closehoặc pool.joinsau vòng lặp for không?

Không, bạn không cần, nhưng có lẽ là một ý kiến ​​hay nếu bạn không sử dụng hồ bơi nữa.

Lý do kêu gọi pool.closehoặc pool.joinđược Tim Peters nói rõ trong bài đăng SO này :

Đối với Pool.close (), bạn nên gọi nó khi - và chỉ khi - bạn sẽ không bao giờ gửi thêm công việc cho cá thể Pool. Vì vậy, Pool.close () thường được gọi khi phần có thể song song hóa của chương trình chính của bạn kết thúc. Sau đó, các quy trình công nhân sẽ kết thúc khi tất cả công việc được giao đã hoàn thành.

Cách thực hành tuyệt vời là gọi Pool.join () để đợi các quy trình worker kết thúc. Trong số các lý do khác, thường không có cách nào tốt để báo cáo các ngoại lệ trong mã song song (các ngoại lệ xảy ra trong ngữ cảnh chỉ liên quan mơ hồ đến những gì chương trình chính của bạn đang làm) và Pool.join () cung cấp một điểm đồng bộ hóa có thể báo cáo một số ngoại lệ đã xảy ra trong các quy trình công nhân mà bạn sẽ không bao giờ thấy.

Tôi đã gặp vấn đề về bộ nhớ tương tự như việc sử dụng Bộ nhớ tiếp tục tăng với multiprocessing.pool của Python khi tôi không sử dụng pool.close()và pool.join()khi sử dụng pool.map()với một hàm tính toán khoảng cách Levenshtein. Chức năng hoạt động tốt, nhưng không được thu gom rác đúng cách trên máy Win7 64 và việc sử dụng bộ nhớ tiếp tục tăng ngoài tầm kiểm soát mỗi khi chức năng này được gọi cho đến khi nó gỡ toàn bộ hệ điều hành. Đây là mã đã sửa lỗi rò rỉ:

stringList = []
for possible_string in stringArray:
    stringList.append((searchString,possible_string))

pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()

Sau khi đóng và tham gia nhóm, lỗi rò rỉ bộ nhớ đã biến mất.