Tại sao tôi không nên sử dụng PyPy trên CPython nếu PyPy nhanh hơn 6,3 lần?

Tôi đã nghe rất nhiều về dự án PyPy . Họ tuyên bố nó nhanh hơn 6,3 lần so với trình thông dịch CPython trên trang web của họ .

Bất cứ khi nào chúng ta nói về các ngôn ngữ động như Python, tốc độ là một trong những vấn đề hàng đầu. Để giải quyết điều này, họ nói PyPy nhanh hơn 6,3 lần.

Vấn đề thứ hai là song song, Khóa phiên dịch toàn cầu khét tiếng (GIL). Đối với điều này, PyPy nói rằng nó có thể cung cấp cho Python không có GIL .

Nếu PyPy có thể giải quyết những thách thức lớn này, điểm yếu nào của nó đang ngăn cản việc áp dụng rộng rãi hơn? Điều đó có nghĩa là, điều gì ngăn cản một người như tôi, một nhà phát triển Python điển hình, chuyển sang PyPy ngay bây giờ ?

LƯU Ý: PyPy đã trưởng thành hơn và được hỗ trợ tốt hơn so với năm 2013, khi câu hỏi này được hỏi. Tránh rút ra kết luận từ thông tin lỗi thời.

1. PyPy, như những người khác đã nhanh chóng đề cập đến, có sự ủng hộ mong manh cho các phần mở rộng C . Nó có hỗ trợ, nhưng thường ở tốc độ chậm hơn Python và tốt nhất là iffy. Do đó rất nhiều mô-đun chỉ cần CPython. PyPy không hỗ trợ numpy PyPy hiện hỗ trợ numpy . Một số tiện ích mở rộng vẫn chưa được hỗ trợ (Pandas, SciPy, v.v.), hãy xem danh sách các gói được hỗ trợ trước khi thực hiện thay đổi.
2. Hỗ trợ Python 3 đang thử nghiệm tại thời điểm này. vừa đạt ổn định! Kể từ ngày 20 tháng 6 năm 2014, PyPy3 2.3.1 - Fulcrum đã ra mắt !
3. PyPy đôi khi không thực sự nhanh hơn cho "script", mà rất nhiều người sử dụng Python cho. Đây là những chương trình ngắn hạn làm một cái gì đó đơn giản và nhỏ. Vì PyPy là trình biên dịch JIT nên các ưu điểm chính của nó đến từ thời gian dài và các loại đơn giản (như số). Thành thật mà nói, tốc độ JIT trước của PyPy khá tệ so với CPython.
4. Quán tính . Di chuyển đến PyPy thường đòi hỏi phải trang bị lại, mà đối với một số người và tổ chức đơn giản là quá nhiều công việc.

Đó là những lý do chính ảnh hưởng đến tôi, tôi nói.

Trang web đó không yêu cầu PyPy nhanh hơn 6,3 lần so với CPython. Để trích:

Trung bình hình học của tất cả các điểm chuẩn là nhanh hơn 0,16 hoặc 6,3 lần so với CPython

Đây là một tuyên bố rất khác với tuyên bố về chăn mà bạn đã thực hiện và khi bạn hiểu được sự khác biệt, bạn sẽ hiểu ít nhất một lý do tại sao bạn không thể chỉ nói "sử dụng PyPy". Nghe có vẻ giống như tôi đang chọn nit, nhưng hiểu tại sao hai tuyên bố này hoàn toàn khác nhau là điều quan trọng.

Để phá vỡ điều đó:

• Tuyên bố họ đưa ra chỉ áp dụng cho điểm chuẩn họ đã sử dụng. Nó hoàn toàn không nói gì về chương trình của bạn (trừ khi chương trình của bạn giống hệt như một trong những điểm chuẩn của họ).

• Tuyên bố là về trung bình của một nhóm các điểm chuẩn. Không có tuyên bố rằng việc chạy PyPy sẽ cải thiện 6,3 lần ngay cả đối với các chương trình mà họ đã thử nghiệm.

• Không có tuyên bố rằng PyPy thậm chí sẽ chạy tất cả các chương trình mà CPython chạy ở tất cả , hãy để một mình nhanh hơn.

Vì pypy không tương thích 100%, cần 8 hợp đồng ram để biên dịch, là mục tiêu di động và mang tính thử nghiệm cao, trong đó cpython ổn định, mục tiêu mặc định cho các nhà xây dựng mô-đun trong 2 thập kỷ (bao gồm cả các tiện ích mở rộng c không hoạt động trên pypy ), và đã được triển khai rộng rãi.

Pypy có thể sẽ không bao giờ là triển khai tham chiếu, nhưng nó là một công cụ tốt để có.

Câu hỏi thứ hai dễ trả lời hơn: về cơ bản bạn có thể sử dụng PyPy như một sự thay thế thả xuống nếu tất cả mã của bạn là Python thuần túy. Tuy nhiên, nhiều thư viện được sử dụng rộng rãi (bao gồm một số thư viện chuẩn) được viết bằng C và được biên dịch dưới dạng phần mở rộng Python. Một số trong số này có thể được thực hiện để làm việc với PyPy, một số thì không. PyPy cung cấp cùng một công cụ "hướng về phía trước" như Python --- nghĩa là nó là Python --- nhưng các bộ phận bên trong của nó thì khác, vì vậy các công cụ có giao diện với các bộ phận đó sẽ không hoạt động.

Đối với câu hỏi đầu tiên, tôi tưởng tượng nó là một loại Catch-22 với câu hỏi đầu tiên: PyPy đã phát triển nhanh chóng trong nỗ lực cải thiện tốc độ và tăng cường khả năng tương tác với các mã khác. Điều này đã làm cho nó nhiều thử nghiệm hơn chính thức.

Tôi nghĩ rằng có thể nếu PyPy ở trạng thái ổn định, nó có thể bắt đầu được sử dụng rộng rãi hơn. Tôi cũng nghĩ rằng sẽ rất tuyệt nếu Python tránh xa nền tảng C của nó. Nhưng nó sẽ không xảy ra trong một thời gian. PyPy chưa đạt đến khối lượng quan trọng, nơi nó gần như đủ hữu ích để tự mình làm mọi thứ bạn muốn, điều này sẽ thúc đẩy mọi người lấp đầy khoảng trống.

Tôi đã làm một điểm chuẩn nhỏ về chủ đề này. Mặc dù nhiều áp phích khác đã đưa ra những điểm tốt về khả năng tương thích, nhưng kinh nghiệm của tôi là PyPy không nhanh hơn nhiều khi chỉ di chuyển xung quanh các bit. Đối với nhiều mục đích sử dụng Python, nó thực sự chỉ tồn tại để dịch bit giữa hai hoặc nhiều dịch vụ. Ví dụ, không có nhiều ứng dụng web đang thực hiện phân tích dữ liệu chuyên sâu về CPU. Thay vào đó, họ lấy một số byte từ một máy khách, lưu trữ chúng trong một số loại cơ sở dữ liệu và sau đó trả chúng lại cho các máy khách khác. Đôi khi định dạng của dữ liệu được thay đổi.

Các nhà phát triển BDFL và CPython là một nhóm người thông minh đáng chú ý và có quản lý để giúp CPython thực hiện xuất sắc trong kịch bản như vậy. Đây là một plugin blog không biết xấu hổ: http://www.hydrogen18.com/blog/unpickling-buffers.html . Tôi đang sử dụng Stackless, có nguồn gốc từ CPython và vẫn giữ giao diện mô-đun C đầy đủ. Tôi không tìm thấy bất kỳ lợi thế nào khi sử dụng PyPy trong trường hợp đó.

Hỏi: Nếu PyPy có thể giải quyết những thách thức lớn này (tốc độ, tiêu thụ bộ nhớ, song song) so với CPython, điểm yếu nào của nó đang ngăn cản việc áp dụng rộng rãi hơn?

A: Đầu tiên, có rất ít bằng chứng cho thấy nhóm PyPy có thể giải quyết vấn đề tốc độ nói chung . Bằng chứng dài hạn cho thấy PyPy chạy một số mã Python chậm hơn CPython và nhược điểm này dường như bắt nguồn rất sâu trong PyPy.

Thứ hai, phiên bản hiện tại của PyPy tiêu thụ nhiều bộ nhớ hơn CPython trong một bộ trường hợp khá lớn. Vì vậy, PyPy chưa giải quyết được vấn đề tiêu thụ bộ nhớ.

Liệu PyPy có giải quyết được những thách thức lớn được đề cập hay không và nói chung sẽ nhanh hơn, ít đói hơn và thân thiện với song song hơn CPython là một câu hỏi mở không thể giải quyết trong thời gian ngắn. Một số người đang đặt cược rằng PyPy sẽ không bao giờ có thể đưa ra một giải pháp chung cho phép nó thống trị CPython 2.7 và 3.3 trong mọi trường hợp.

Nếu PyPy thành công tốt hơn CPython nói chung, điều đáng nghi ngờ, điểm yếu chính ảnh hưởng đến việc áp dụng rộng rãi hơn của nó sẽ là khả năng tương thích với CPython. Ngoài ra còn có các vấn đề như CPython chạy trên phạm vi rộng hơn của CPU và HĐH, nhưng những vấn đề này ít quan trọng hơn nhiều so với hiệu suất của PyPy và các mục tiêu tương thích CPython.

H: Tại sao bây giờ tôi không thể thay thế CPython bằng PyPy?

Trả lời: PyPy không tương thích 100% với CPython vì nó không mô phỏng CPython dưới mui xe. Một số chương trình vẫn có thể phụ thuộc vào các tính năng độc đáo của CPython không có trong PyPy như liên kết C, triển khai C của đối tượng & phương thức Python hoặc tính chất gia tăng của trình thu gom rác của CPython.

CPython có tính năng tham chiếu và thu gom rác, PyPy chỉ có bộ sưu tập rác.

Vì vậy, các đối tượng có xu hướng bị xóa sớm hơn và __del__được gọi theo cách dễ dự đoán hơn trong CPython. Một số phần mềm dựa trên hành vi này, do đó chúng chưa sẵn sàng để chuyển sang PyPy.

Một số phần mềm khác hoạt động với cả hai, nhưng sử dụng ít bộ nhớ hơn với CPython, vì các đối tượng không sử dụng được giải phóng trước đó. (Tôi không có bất kỳ phép đo nào để cho biết mức độ quan trọng của nó và những chi tiết triển khai khác ảnh hưởng đến việc sử dụng bộ nhớ.)

Đối với rất nhiều dự án, thực sự có chênh lệch 0% giữa các con trăn khác nhau về tốc độ. Đó là những thứ bị chi phối bởi thời gian kỹ thuật và nơi mà tất cả các con trăn có cùng số lượng hỗ trợ thư viện.

Để đơn giản hóa điều này: PyPy cung cấp tốc độ mà CPython thiếu nhưng hy sinh khả năng tương thích của nó. Tuy nhiên, hầu hết mọi người chọn Python vì tính linh hoạt và tính năng "bao gồm pin" của nó (khả năng tương thích cao), không phải vì tốc độ của nó (mặc dù vậy nó vẫn được ưa thích hơn).

Tôi đã tìm thấy các ví dụ, trong đó PyPy chậm hơn Python. Nhưng: Chỉ có trên Windows.

C:\Users\User>python -m timeit -n10 -s"from sympy import isprime" "isprime(2**521-1);isprime(2**1279-1)"
10 loops, best of 3: 294 msec per loop

C:\Users\User>pypy -m timeit -n10 -s"from sympy import isprime" "isprime(2**521-1);isprime(2**1279-1)"
10 loops, best of 3: 1.33 sec per loop

Vì vậy, nếu bạn nghĩ về PyPy, hãy quên Windows. Trên Linux, bạn có thể đạt được sự tăng tốc tuyệt vời. Ví dụ (liệt kê tất cả các số nguyên tố từ 1 đến 1.000.000):

from sympy import sieve
primes = list(sieve.primerange(1, 10**6))

Điều này chạy nhanh hơn 10 lần (!) Trên PyPy so với Python. Nhưng không phải trên cửa sổ. Có nó chỉ nhanh gấp 3 lần.

PyPy đã có hỗ trợ Python 3 trong một thời gian, nhưng theo bài đăng HackerNoon này của Anthony Shaw từ ngày 2 tháng 4 năm 2018 , PyPy3 vẫn chậm hơn nhiều lần so với PyPy (Python 2).

Đối với nhiều tính toán khoa học, đặc biệt là tính toán ma trận, numpy là lựa chọn tốt hơn (xem Câu hỏi thường gặp: Tôi nên cài đặt numpy hay numpypy? ).

Pypy không hỗ trợ gmpy2. Thay vào đó, bạn có thể sử dụng gmpy_cffi mặc dù tôi chưa kiểm tra tốc độ của nó và dự án đã có một bản phát hành vào năm 2014.

Đối với các sự cố Project Euler, tôi sử dụng PyPy thường xuyên và đối với các phép tính số đơn giản thường from __future__ import divisionlà đủ cho mục đích của tôi, nhưng hỗ trợ Python 3 vẫn đang được thực hiện kể từ năm 2018, với đặt cược tốt nhất của bạn là Linux 64 bit. Windows PyPy3.5 v6.0, phiên bản mới nhất tính đến tháng 12 năm 2018, đang trong giai đoạn thử nghiệm.

Phiên bản Python được hỗ trợ

Để trích dẫn Zen của Python :

Tính dễ đọc.

Ví dụ: Python 3.7 đã giới thiệu dataclass và Python 3.8 đã giới thiệu fopes = .

Có thể có các tính năng khác trong Python 3.7 và Python 3.8 quan trọng hơn đối với bạn. Vấn đề là PyPy hiện tại không hỗ trợ Python 3.7 hoặc Python 3.8.