PyPy - Làm thế nào nó có thể đánh bại CPython?

Từ Blog nguồn mở của Google :

PyPy là sự tái hiện của Python trong Python, sử dụng các kỹ thuật nâng cao để cố gắng đạt được hiệu suất tốt hơn CPython. Nhiều năm làm việc chăm chỉ cuối cùng cũng được đền đáp. Kết quả tốc độ của chúng tôi thường đánh bại CPython, từ chậm hơn một chút, tăng tốc lên tới 2 lần trên mã ứng dụng thực, đến tăng tốc lên tới 10 lần trên các điểm chuẩn nhỏ.

Sao có thể như thế được? Việc triển khai Python nào đã được sử dụng để triển khai PyPy? CPython ? Và cơ hội của một PyPyPy hoặc PyPyPyPy đánh bại điểm số của họ là gì?

(Trên một ghi chú liên quan ... tại sao mọi người sẽ thử một cái gì đó như thế này?)

Q1. Sao có thể như thế được?

Quản lý bộ nhớ thủ công (đó là những gì CPython làm với việc đếm) có thể chậm hơn quản lý tự động trong một số trường hợp.

Những hạn chế trong việc triển khai trình thông dịch CPython loại trừ những tối ưu nhất định mà PyPy có thể làm (ví dụ: khóa hạt mịn).

Như Marcelo đã đề cập, JIT. Việc có thể nhanh chóng xác nhận loại đối tượng có thể giúp bạn tiết kiệm nhu cầu thực hiện nhiều cuộc hội thảo con trỏ để cuối cùng đến phương thức bạn muốn gọi.

Quý 2 Việc triển khai Python nào đã được sử dụng để triển khai PyPy?

Trình thông dịch PyPy được triển khai trong RPython, đây là một tập hợp con được gõ tĩnh của Python (ngôn ngữ chứ không phải trình thông dịch CPython). - Tham khảo https://pypy.readthedocs.org/en/latest/arch architecture.html để biết chi tiết.

H3 Và cơ hội của một PyPyPy hoặc PyPyPyPy đánh bại điểm số của họ là gì?

Điều đó sẽ phụ thuộc vào việc thực hiện các thông dịch viên giả định này. Ví dụ, nếu một trong số họ lấy nguồn, đã thực hiện một số phân tích về nó và chuyển đổi trực tiếp thành mã lắp ráp cụ thể mục tiêu chặt chẽ sau khi chạy một lúc, tôi tưởng tượng nó sẽ khá nhanh hơn CPython.

Cập nhật: Gần đây, trên một ví dụ được chế tạo cẩn thận , PyPy đã vượt trội so với một chương trình C tương tự được biên dịch cùng gcc -O3. Đó là một trường hợp giả định nhưng thể hiện một số ý tưởng.

Q4. Tại sao mọi người sẽ thử một cái gì đó như thế này?

Từ trang web chính thức. https://pypy.readthedocs.org/en/latest/arch architecture.html #mission-stement

Chúng tôi mong muốn cung cấp:

• một khung dịch và hỗ trợ chung để tạo ra các
  triển khai ngôn ngữ động, nhấn mạnh sự
  tách biệt rõ ràng giữa các đặc điểm ngôn ngữ và
  các khía cạnh triển khai . Chúng tôi gọi đây là RPython toolchain_.

• việc triển khai nhanh chóng, linh hoạt và nhanh chóng của Ngôn ngữ Python_ sử dụng chuỗi công cụ trên để kích hoạt các tính năng cấp cao nâng cao mới mà không phải mã hóa các chi tiết cấp thấp.

Bằng cách tách các mối quan tâm theo cách này, việc triển khai Python của chúng tôi - và các ngôn ngữ động khác - có thể tự động tạo trình biên dịch Just-in-Time cho bất kỳ ngôn ngữ động nào. Nó cũng cho phép một cách tiếp cận hỗn hợp và phù hợp với các quyết định triển khai, bao gồm nhiều quyết định nằm ngoài sự kiểm soát của người dùng, chẳng hạn như nền tảng đích, mô hình bộ nhớ và luồng, chiến lược thu gom rác và tối ưu hóa được áp dụng, bao gồm cả việc có hay không một JIT ở nơi đầu tiên.

Trình biên dịch C gcc được triển khai trong C, Trình biên dịch Haskell GHC được viết bằng Haskell. Bạn có bất kỳ lý do nào để trình thông dịch / trình biên dịch Python không được viết bằng Python không?

"PyPy là sự tái hiện của Python trong Python" là một cách khá sai lầm để mô tả PyPy, IMHO, mặc dù về mặt kỹ thuật là đúng.

Có hai phần chính của PyPy.

1. Khung dịch thuật
2. Thông dịch viên

Khung dịch là một trình biên dịch. Nó biên dịch mã RPython xuống C (hoặc các mục tiêu khác), tự động thêm vào các khía cạnh như bộ sưu tập rác và trình biên dịch JIT. Nó không thể xử lý mã Python tùy ý, chỉ RPython.

RPython là một tập hợp con của Python bình thường; tất cả mã RPython là mã Python, nhưng không phải là cách khác. Không có định nghĩa chính thức về RPython, vì về cơ bản RPython chỉ là "tập hợp con của Python có thể được dịch theo khung dịch của PyPy". Nhưng để được dịch, mã RPython phải được nhập tĩnh (các loại được suy ra, bạn không khai báo chúng, nhưng nó vẫn đúng một loại cho mỗi biến) và bạn không thể thực hiện những việc như khai báo / sửa đổi hàm / các lớp trong thời gian chạy hoặc.

Trình thông dịch sau đó là một trình thông dịch Python bình thường được viết bằng RPython.

Vì mã RPython là mã Python bình thường, bạn có thể chạy nó trên bất kỳ trình thông dịch Python nào. Nhưng không có tuyên bố tốc độ nào của PyPy đến từ việc chạy theo cách đó; đây chỉ là một chu kỳ kiểm tra nhanh, bởi vì việc dịch trình thông dịch mất nhiều thời gian.

Với sự hiểu biết đó, rõ ràng ngay lập tức rằng những suy đoán về PyPyPy hoặc PyPyPyPy thực sự không có ý nghĩa gì. Bạn có một thông dịch viên viết bằng RPython. Bạn dịch nó sang mã C thực thi Python nhanh chóng. Có quá trình dừng lại; không còn RPython để tăng tốc bằng cách xử lý lại.

Vì vậy, "Làm thế nào để PyPy có thể nhanh hơn CPython" cũng trở nên khá rõ ràng. PyPy có triển khai tốt hơn, bao gồm trình biên dịch JIT (nói chung nó không hoàn toàn nhanh như không có trình biên dịch JIT, điều đó có nghĩa là PyPy chỉ nhanh hơn đối với các chương trình dễ bị biên dịch JIT). CPython không bao giờ được thiết kế để trở thành một triển khai tối ưu hóa ngôn ngữ Python (mặc dù họ cố gắng biến nó thành một triển khai được tối ưu hóa cao , nếu bạn tuân theo sự khác biệt).

Điểm thực sự sáng tạo của dự án PyPy là họ không viết các lược đồ GC hoặc trình biên dịch JIT tinh vi bằng tay. Họ viết trình thông dịch tương đối đơn giản bằng RPython và với tất cả RPython ở mức thấp hơn Python, nó vẫn là ngôn ngữ thu thập rác hướng đối tượng, mức cao hơn nhiều so với C. Sau đó, khung dịch thuật sẽ tự động thêm các thứ như GC và JIT. Vì vậy, khung dịch thuật là rất lớnnỗ lực, nhưng nó cũng áp dụng tốt cho trình thông dịch python PyPy tuy nhiên họ thay đổi cách thực hiện, cho phép thử nghiệm nhiều hơn để cải thiện hiệu suất (mà không phải lo lắng về việc giới thiệu các lỗi của GC hoặc cập nhật trình biên dịch JIT để đối phó với các thay đổi). Điều đó cũng có nghĩa là khi họ bắt đầu triển khai trình thông dịch Python3, nó sẽ tự động nhận được các lợi ích tương tự. Và bất kỳ thông dịch viên nào khác được viết với khung PyPy (trong đó có một số ở các giai đoạn đánh bóng khác nhau). Và tất cả các thông dịch viên sử dụng khung PyPy sẽ tự động hỗ trợ tất cả các nền tảng được khung hỗ trợ.

Vì vậy, lợi ích thực sự của dự án PyPy là tách biệt (càng nhiều càng tốt) tất cả các phần của việc thực hiện một trình thông dịch độc lập với nền tảng hiệu quả cho một ngôn ngữ động. Và sau đó đưa ra một triển khai tốt của chúng ở một nơi, có thể được sử dụng lại trên nhiều phiên dịch viên. Đó không phải là một chiến thắng ngay lập tức như "chương trình Python của tôi chạy nhanh hơn bây giờ", nhưng đó là một triển vọng lớn cho tương lai.

Và nó có thể chạy chương trình Python của bạn nhanh hơn (có thể).

PyPy được triển khai trong Python, nhưng nó thực hiện trình biên dịch JIT để tạo mã gốc khi đang di chuyển.

Lý do để triển khai PyPy trên Python có lẽ đơn giản là nó là một ngôn ngữ rất hiệu quả, đặc biệt là vì trình biên dịch JIT làm cho hiệu suất của ngôn ngữ máy chủ có phần không liên quan.

PyPy được viết bằng Python bị hạn chế. Nó không chạy trên trình thông dịch CPython, theo như tôi biết. Python bị hạn chế là một tập hợp con của ngôn ngữ Python. AFAIK, trình thông dịch PyPy được biên dịch thành mã máy, vì vậy khi cài đặt, nó không sử dụng trình thông dịch python khi chạy.

Câu hỏi của bạn dường như mong đợi trình thông dịch PyPy đang chạy trên CPython trong khi thực thi mã. Chỉnh sửa: Có, để sử dụng PyPy, trước tiên bạn dịch mã python PyPy, sang C và xây dựng bằng gcc, sang mã byte jvm hoặc mã .Net CLI. Xem Bắt đầu