Một thay thế gọn gàng, sạch sẽ cho xoắn của Python? [đóng cửa]

Một (lâu) trong khi trước đây tôi đã viết một mạng nhện mà tôi đã đa luồng để cho phép các yêu cầu đồng thời xảy ra cùng một lúc. Đó là thời trẻ Python của tôi, vào những ngày trước khi tôi biết về GIL và những tai ương liên quan mà nó tạo ra cho mã đa luồng (IE, hầu hết các công cụ thời gian chỉ kết thúc nối tiếp!) ...

Tôi muốn làm lại mã này để làm cho nó mạnh hơn và hoạt động tốt hơn. Về cơ bản có hai cách tôi có thể làm điều này: tôi có thể sử dụng mô-đun đa xử lý mới trong 2.6+ hoặc tôi có thể sử dụng mô hình dựa trên sự kiện / lò phản ứng. Tôi thà làm sau này vì nó đơn giản hơn và ít bị lỗi hơn.

Vì vậy, câu hỏi liên quan đến khuôn khổ nào sẽ phù hợp nhất với nhu cầu của tôi. Sau đây là danh sách các tùy chọn tôi biết cho đến nay:

• Twisted : Các ông lớn của khung lò phản ứng Python: có vẻ phức tạp và hơi phình to. Dốc học đường cho một nhiệm vụ nhỏ.
• Eventlet : Từ những kẻ ở lindenlab . Khung dựa trên Greenlet hướng đến các loại nhiệm vụ này. Tôi đã xem mã mặc dù và nó không quá đẹp: không tuân thủ pep8, rải rác với các bản in (tại sao mọi người làm điều này trong một khung!?), API có vẻ hơi không nhất quán.
• PyEv : Chưa trưởng thành, dường như không có ai sử dụng nó ngay bây giờ mặc dù nó dựa trên sự hời hợt nên nó có một phần phụ trợ vững chắc.
• asyncore : Từ stdlib: über cấp thấp, có vẻ như rất nhiều công việc liên quan chỉ để có được một cái gì đó lên khỏi mặt đất.
• tornado : Mặc dù đây là một sản phẩm hướng máy chủ được thiết kế cho các trang web động của máy chủ nhưng nó có tính năng máy khách HTTP không đồng bộ và ioloop đơn giản . Có vẻ như nó có thể hoàn thành công việc nhưng không phải là những gì nó được dự định. [sửa: không may chạy trên Windows, điều này không phù hợp với tôi - đó là yêu cầu đối với tôi để hỗ trợ nền tảng khập khiễng này]

Có bất cứ điều gì tôi đã bỏ lỡ tất cả? Chắc chắn phải có một thư viện ngoài kia phù hợp với vị trí ngọt ngào của thư viện mạng không đồng bộ được đơn giản hóa!

[chỉnh sửa: lớn nhờ intgr cho con trỏ của mình đến trang này . Nếu bạn cuộn xuống phía dưới, bạn sẽ thấy có một danh sách các dự án thực sự tốt đẹp nhằm giải quyết nhiệm vụ này bằng cách này hay cách khác. Có vẻ như mọi thứ thực sự đã tiến lên kể từ khi bắt đầu Twisted: mọi người dường như ủng hộ một giải pháp dựa trên đồng quy hơn là một lò phản ứng / gọi lại theo định hướng truyền thống. Lợi ích của cách tiếp cận này là mã trực tiếp rõ ràng hơn: Tôi chắc chắn đã tìm thấy trong quá khứ, đặc biệt là khi làm việc với boost.asiotrong C ++, mã dựa trên gọi lại có thể dẫn đến các thiết kế có thể khó theo dõi và tương đối khó hiểu đối với mắt không được đào tạo. Sử dụng đồng quy cho phép bạn viết mã trông ít đồng bộ hơn một chút. Tôi đoán bây giờ nhiệm vụ của tôi là tìm ra một trong những thư viện mà tôi thích giao diện này và cho nó đi! Vui mừng tôi đã hỏi bây giờ ...]

[sửa: có lẽ quan tâm đến bất kỳ ai theo dõi hoặc vấp phải câu hỏi này hoặc quan tâm đến chủ đề này theo bất kỳ ý nghĩa nào: Tôi đã tìm thấy một bài viết thực sự tuyệt vời về tình trạng hiện tại của các công cụ có sẵn cho công việc này]

Tôi thích mô-đun Python đồng thời dựa trên microthreads Stackless hoặc Greenlets để phân luồng nhẹ. Tất cả các I / O mạng chặn được thực hiện không đồng bộ trong một libeventvòng lặp, do đó, nó sẽ có hiệu quả gần như một máy chủ không đồng bộ thực sự.

Tôi cho rằng nó tương tự như Eventlet theo cách này.

Nhược điểm là API của nó khá khác so với sockets/ threadingmô-đun của Python ; bạn cần viết lại một chút công bằng của ứng dụng của bạn (hoặc viết một lớp shim tương thích)

Chỉnh sửa: Có vẻ như cũng có cogen , tương tự, nhưng sử dụng các trình tạo nâng cao của Python 2.5 cho các coroutines của nó, thay vì Greenlets. Điều này làm cho nó di động hơn đồng thời và các lựa chọn thay thế khác. Mạng I / O được thực hiện trực tiếp với epoll / kqueue / iocp.

Twisted là phức tạp, bạn đúng về điều đó. Xoắn không phồng lên.

Nếu bạn xem tại đây: http://twistedmatrix.com/trac/browser/trunk/twisted bạn sẽ tìm thấy một bộ có tổ chức, toàn diện và được kiểm tra rất tốt về nhiều giao thức của internet, cũng như mã trợ giúp để viết và triển khai các ứng dụng mạng rất tinh vi. Tôi sẽ không nhầm lẫn sự phình to với tính toàn diện.

Mọi người đều biết rằng tài liệu Twisted không thân thiện với người dùng nhất từ ​​cái nhìn đầu tiên và tôi tin rằng điều này làm mất đi một số lượng người không may. Nhưng Twisted là tuyệt vời (IMHO) nếu bạn đặt thời gian. Tôi đã làm và nó đã được chứng minh là xứng đáng, và tôi khuyên người khác nên thử như vậy.

gevent là eventlet được dọn sạch .

API-khôn ngoan, nó tuân theo các quy ước tương tự như thư viện tiêu chuẩn (cụ thể là các mô-đun luồng và đa xử lý), nơi nó có ý nghĩa. Vì vậy, bạn có những thứ quen thuộc như Queue và Event để làm việc.

Nó chỉ hỗ trợ libevent ( update: libev kể từ 1.0 ) khi triển khai lò phản ứng nhưng tận dụng tối đa lợi thế của nó, có máy chủ WSGI nhanh dựa trên libevent-http và giải quyết các truy vấn DNS thông qua libevent-dns thay vì sử dụng nhóm luồng như hầu hết các thư viện khác làm ( cập nhật: vì 1.0 c-ares được sử dụng để thực hiện các truy vấn DNS không đồng bộ; threadpool cũng là một tùy chọn.)

Giống như eventlet, nó làm cho các cuộc gọi lại và Trì hoãn không cần thiết bằng cách sử dụng greenlets .

Kiểm tra các ví dụ: tải xuống đồng thời nhiều url , webchat bỏ phiếu dài .

Một so sánh thực sự thú vị về các khung như vậy đã được Nicholas Piël tổng hợp trên blog của mình: nó rất đáng để đọc!

Không có giải pháp nào trong số này sẽ tránh được thực tế rằng GIL ngăn chặn sự song song của CPU - chúng chỉ là những cách tốt hơn để có được sự song song IO mà bạn đã có với các luồng. Nếu bạn nghĩ rằng bạn có thể làm IO tốt hơn, bằng mọi cách hãy theo đuổi một trong những điều này, nhưng nếu nút cổ chai của bạn đang xử lý thì kết quả sẽ không có gì giúp được ngoại trừ mô đun đa xử lý.

Tôi sẽ không đi xa đến mức gọi Twisted cồng kềnh, nhưng rất khó để quấn đầu bạn. Tôi đã tránh thực sự ổn định trong một thời gian học vì tôi luôn muốn một cái gì đó dễ dàng hơn một chút cho 'các nhiệm vụ nhỏ'.

Tuy nhiên, bây giờ tôi đã làm việc với nó một số điều nữa tôi phải nói rằng có tất cả các pin đi kèm là RẤT đẹp.

Tất cả các thư viện không đồng bộ khác mà tôi đã làm việc cuối cùng đều kém trưởng thành hơn so với chúng thậm chí còn xuất hiện. Vòng lặp sự kiện của Twisted là rắn.

Tôi không chắc chắn làm thế nào để giải quyết đường cong học tập Twisted dốc. Nó có thể hữu ích nếu ai đó sẽ rẽ nhánh nó và dọn dẹp một vài thứ, như loại bỏ tất cả các hành trình tương thích ngược và các dự án đã chết. Nhưng đó là bản chất của phần mềm trưởng thành tôi đoán.

Kamaelia chưa được đề cập đến. Mô hình đồng thời của nó dựa trên việc kết nối các thành phần với nhau bằng thông điệp truyền giữa hộp thư đến và hộp thư đi. Đây là một tổng quan ngắn gọn.

Tôi đã bắt đầu sử dụng xoắn cho một số thứ. Vẻ đẹp của nó gần như là vì nó "bồng bềnh". Có các kết nối cho bất kỳ giao thức chính nào ngoài đó. Bạn có thể có một bot jabber sẽ nhận lệnh và đăng lên máy chủ irc, gửi email cho ai đó, chạy lệnh, đọc từ máy chủ NNTP và theo dõi trang web để thay đổi. Tin xấu là nó có thể làm tất cả những điều đó và có thể khiến mọi thứ trở nên quá phức tạp đối với các nhiệm vụ đơn giản như OP giải thích. Ưu điểm của python là bạn chỉ bao gồm những gì bạn cần. Vì vậy, trong khi tải xuống có thể là 20mb, bạn chỉ có thể bao gồm 2mb thư viện (vẫn còn rất nhiều). Khiếu nại lớn nhất của tôi với xoắn là mặc dù chúng bao gồm các ví dụ, bất cứ điều gì ngoài máy chủ tcp cơ bản là của riêng bạn.

Mặc dù không phải là một giải pháp python, tôi đã thấy node.js có được lực kéo nhiều hơn vào cuối. Trong thực tế, tôi đã xem xét xem xét nó cho các dự án nhỏ hơn nhưng tôi chỉ co rúm lại khi nghe javascript :)

Có một cuốn sách hay về chủ đề: "Những điều cốt yếu về lập trình mạng xoắn", của Abe Fettig. Các ví dụ cho thấy cách viết mã Pythonic và với cá nhân tôi, đừng đánh tôi như vậy dựa trên khung cồng kềnh. Nhìn vào các giải pháp trong cuốn sách, nếu chúng không sạch, thì tôi không biết sạch nghĩa là gì.

Sự đố kị duy nhất của tôi là giống như tôi có với các khung khác, như Ruby. Tôi lo lắng, nó có mở rộng quy mô không? Tôi ghét phải cam kết một khách hàng với một khuôn khổ sẽ có vấn đề về khả năng mở rộng.

Whizzer là một khung ổ cắm không đồng bộ nhỏ sử dụng pyev. Nó rất nhanh, chủ yếu là vì pyev. Nó cố gắng cung cấp một giao diện tương tự như xoắn với một số thay đổi nhỏ.

Cũng thử Syncless . Nó dựa trên coroutine (vì vậy nó tương tự như Concurrence, Eventlet và gevent). Nó thực hiện các thay thế không chặn trong drop-in cho socket.socket, socket.gethostbyname (v.v.), ssl.SSLSocket, time.s ngủ và select.select. Thật nhanh. Nó cần Stackless Python và libevent. Nó chứa một phần mở rộng Python bắt buộc được viết bằng C (Pyrex / Cython).

Tôi xác nhận sự tốt đẹp của không đồng bộ . Nó có thể sử dụng libev (phiên bản mới hơn, sạch hơn và hiệu suất tốt hơn của libevent). Đôi khi, nó không có nhiều sự hỗ trợ như những người có khả năng, nhưng bây giờ quá trình phát triển tiến xa hơn và rất hữu ích.

Nếu bạn chỉ muốn một Thư viện yêu cầu HTTP đơn giản, gọn nhẹ thì tôi thấy Unirest thực sự tốt

Bạn được chào đón để xem PyWorks, một cách tiếp cận khá khác biệt. Nó cho phép các cá thể đối tượng chạy trong luồng riêng của chúng và thực hiện chức năng gọi hàm đến đối tượng đó không đồng bộ.

Chỉ cần để một lớp kế thừa từ Nhiệm vụ thay vì đối tượng và nó không đồng bộ, tất cả các cuộc gọi phương thức là Proxy. Giá trị trả về (nếu bạn cần chúng) là các proxy tương lai.

res = obj.method( args )
# code continues here without waiting for method to finish
do_something_else( )
print "Result = %d" % res # Code will block here, if res not calculated yet

PyWorks có thể được tìm thấy trên http://bitbucket.org/raindog/pyworks