Queue.Queue so với bộ sưu tập.deque

Tôi cần một hàng đợi mà nhiều luồng có thể đặt công cụ vào và nhiều luồng có thể đọc từ đó.

Python có ít nhất hai lớp xếp hàng, Queue.Queue và samples.deque, với lớp trước dường như sử dụng lớp sau trong nội bộ. Cả hai đều tuyên bố là an toàn chủ đề trong tài liệu.

Tuy nhiên, các tài liệu xếp hàng cũng nêu:

bộ sưu tập.deque là một triển khai thay thế của hàng đợi không giới hạn với các hoạt động append () và popleft () nguyên tử nhanh không yêu cầu khóa.

Mà tôi đoán tôi không hiểu lắm: Điều này có nghĩa là deque không hoàn toàn an toàn cho chủ đề?

Nếu có, tôi có thể không hoàn toàn hiểu sự khác biệt giữa hai lớp. Tôi có thể thấy rằng Queue thêm chức năng chặn. Mặt khác, nó mất một số tính năng deque như hỗ trợ cho người vận hành.

Truy cập trực tiếp vào đối tượng deque, là

x trong Hàng đợi (). deque

an toàn chủ đề?

Ngoài ra, tại sao Queue sử dụng một mutex cho các hoạt động của nó khi deque đã an toàn cho luồng?

Queue.Queuevà collections.dequephục vụ các mục đích khác nhau. Queue.Queue được thiết kế để cho phép các luồng khác nhau giao tiếp bằng cách sử dụng tin nhắn / dữ liệu được xếp hàng, trong khi đó collections.dequechỉ đơn giản là dùng cho cơ sở hạ tầng. Đó là lý do tại sao Queue.Queuecó phương pháp như put_nowait(), get_nowait()và join(), ngược lại collections.dequethì không. Queue.Queuekhông có ý định được sử dụng như một bộ sưu tập, đó là lý do tại sao nó thiếu các innhà điều hành.

Nó hiểu rõ điều này: nếu bạn có nhiều luồng và bạn muốn chúng có thể giao tiếp mà không cần khóa, bạn đang tìm kiếm Queue.Queue; nếu bạn chỉ muốn một hàng đợi hoặc một hàng đợi hai đầu làm cơ sở hạ tầng, hãy sử dụng collections.deque.

Cuối cùng, truy cập và thao túng deque nội bộ của a Queue.Queueđang chơi với lửa - bạn thực sự không muốn làm điều đó.

Nếu tất cả những gì bạn đang tìm kiếm là một cách an toàn chủ đề để chuyển các đối tượng giữa các luồng , thì cả hai sẽ hoạt động (cả cho FIFO và LIFO). Dành cho quý:

• Queue.put()và Queue.get()an toàn cho chủ đề
• deque.append()và deque.popleft()an toàn cho chủ đề

Ghi chú:

• Các hoạt động khác trên dequecó thể không phải là chủ đề an toàn, tôi không chắc chắn.
• dequekhông chặn pop()hoặc popleft()vì vậy bạn không thể căn cứ luồng luồng tiêu dùng của mình vào việc chặn cho đến khi một mặt hàng mới xuất hiện.

Tuy nhiên, dường như deque có lợi thế hiệu quả đáng kể . Dưới đây là một số kết quả điểm chuẩn trong vài giây bằng CPython 2.7.3 để chèn và xóa các mục 100k

deque 0.0747888759791
Queue 1.60079066852

Đây là mã điểm chuẩn:

import time
import Queue
import collections

q = collections.deque()
t0 = time.clock()
for i in xrange(100000):
    q.append(1)
for i in xrange(100000):
    q.popleft()
print 'deque', time.clock() - t0

q = Queue.Queue(200000)
t0 = time.clock()
for i in xrange(100000):
    q.put(1)
for i in xrange(100000):
    q.get()
print 'Queue', time.clock() - t0

Để biết thông tin, có một vé Python được tham chiếu cho an toàn chủ đề deque ( https://bugs.python.org/su15329 ). Tiêu đề "làm rõ các phương thức deque là an toàn chủ đề"

Dòng dưới cùng ở đây: https://bugs.python.org/su15329#msg199368

Các hoạt động append (), appendleft (), pop (), popleft () và len (d) của deque là an toàn luồng trong CPython. Các phương thức chắp thêm có một DECREF ở cuối (đối với trường hợp maxlen đã được đặt), nhưng điều này xảy ra sau khi tất cả các cập nhật cấu trúc đã được thực hiện và các bất biến đã được khôi phục, vì vậy có thể coi các hoạt động này là nguyên tử.

Dù sao, nếu bạn không chắc chắn 100% và bạn thích độ tin cậy hơn hiệu suất, chỉ cần đặt một khóa như ;;

Tất cả các phương pháp đơn yếu tố trên dequelà nguyên tử và an toàn luồng. Tất cả các phương pháp khác là an toàn chủ đề quá. Những điều như len(dq), dq[4]mang lại giá trị chính xác nhất thời. Nhưng hãy nghĩ ví dụ về dq.extend(mylist): bạn không nhận được đảm bảo rằng tất cả các yếu tố mylistđược nộp liên tiếp khi các luồng khác cũng nối các phần tử ở cùng một phía - nhưng đó thường không phải là một yêu cầu trong giao tiếp giữa các luồng và cho nhiệm vụ được hỏi.

Vì vậy, a dequenhanh hơn ~ 20 lần so với Queue(sử dụng dequedưới mui xe) và trừ khi bạn không cần API đồng bộ hóa "thoải mái" (chặn / hết thời gian), tuân theo nghiêm ngặt maxsizehoặc "Ghi đè các phương thức này (_put, _get, .. ) để thực hiện các tổ chức xếp hàng khác " hành vi phân lớp phụ hoặc khi bạn tự chăm sóc những thứ đó, thì trần dequelà một thỏa thuận tốt và hiệu quả cho giao tiếp giữa các luồng tốc độ cao.

Trong thực tế, việc sử dụng nhiều phương thức thêm và phương thức bổ sung, ._get()vv gọi Queue.pylà do các hạn chế tương thích ngược, thiết kế quá mức và thiếu cẩn thận để cung cấp một giải pháp hiệu quả cho vấn đề tắc nghẽn tốc độ quan trọng này trong giao tiếp liên luồng. Một danh sách đã được sử dụng trong các phiên bản Python cũ hơn - nhưng ngay cả list.append () /. Pop (0) là & là nguyên tử và chủ đề an toàn ...

Thêm notify_all()vào từng deque appendvà popleftdẫn đến kết quả tồi tệ dequehơn nhiều so với cải thiện 20 lần đạt được theo dequehành vi mặc định :

deque + notify_all: 0.469802
Queue:              0.667279

@Jonathan sửa đổi mã của anh ấy một chút và tôi lấy điểm chuẩn bằng cPython 3.6.2 và thêm điều kiện trong vòng lặp deque để mô phỏng hành vi Queue làm.

import time
from queue import Queue
import threading
import collections

mutex = threading.Lock()
condition = threading.Condition(mutex)
q = collections.deque()
t0 = time.clock()
for i in range(100000):
    with condition:
        q.append(1)
        condition.notify_all()
for _ in range(100000):
    with condition:
        q.popleft()
        condition.notify_all()
print('deque', time.clock() - t0)

q = Queue(200000)
t0 = time.clock()
for _ in range(100000):
    q.put(1)
for _ in range(100000):
    q.get()
print('Queue', time.clock() - t0)

Và có vẻ như hiệu suất bị hạn chế bởi chức năng này condition.notify_all()

bộ sưu tập.deque là một triển khai thay thế của hàng đợi không giới hạn với các hoạt động append () và popleft () nguyên tử nhanh không yêu cầu khóa. tài liệu xếp hàng

dequelà chủ đề an toàn. "Các hoạt động không yêu cầu khóa" có nghĩa là bạn không phải tự khóa, hãy dequechăm sóc nó.

Lấy một cái nhìn tại các Queuenguồn, deque nội bộ được gọi self.queuevà sử dụng một mutex cho accessors và đột biến, vì vậy Queue().queueđược không thread-safe để sử dụng.

Nếu bạn đang tìm kiếm một toán tử "trong", thì một deque hoặc hàng đợi có thể không phải là cấu trúc dữ liệu phù hợp nhất cho vấn đề của bạn.

(dường như tôi không có tiếng tăm gì để bình luận ...) Bạn cần cẩn thận những phương pháp nào của deque bạn sử dụng từ các chủ đề khác nhau.

deque.get () dường như là chủ đề an toàn, nhưng tôi đã thấy rằng làm

for item in a_deque:
   process(item)

có thể thất bại nếu một chủ đề khác đang thêm các mục cùng một lúc. Tôi nhận được một RuntimeException phàn nàn "deque bị đột biến trong quá trình lặp lại".

Kiểm tra bộ sưu tậpmodule.c để xem hoạt động nào bị ảnh hưởng bởi điều này