Trình biên dịch bộ nhớ Python nào được khuyến nghị? [đóng cửa]

Tôi muốn biết việc sử dụng bộ nhớ của ứng dụng Python của mình và đặc biệt muốn biết khối / phần hoặc đối tượng mã nào đang chiếm phần lớn bộ nhớ. Tìm kiếm của Google cho thấy một mục thương mại là Trình xác thực bộ nhớ Python (chỉ dành cho Windows).

Và những người nguồn mở là PySizer và Heapy .

Tôi chưa từng thử ai, vì vậy tôi muốn biết ai là người cân nhắc tốt nhất:

1. Cung cấp hầu hết các chi tiết.

2. Tôi phải làm ít nhất hoặc không thay đổi mã của tôi.

Heapy khá đơn giản để sử dụng. Tại một số điểm trong mã của bạn, bạn phải viết như sau:

from guppy import hpy
h = hpy()
print(h.heap())

Điều này cung cấp cho bạn một số đầu ra như thế này:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

Bạn cũng có thể tìm ra nơi các đối tượng được tham chiếu và lấy số liệu thống kê về điều đó, nhưng bằng cách nào đó, các tài liệu trên đó hơi thưa thớt.

Có một trình duyệt đồ họa là tốt, được viết bằng Tk.

Vì không ai đề cập đến nó nên tôi sẽ trỏ đến module_profiler mô-đun của tôi có khả năng in báo cáo từng dòng về việc sử dụng bộ nhớ và hoạt động trên Unix và Windows (cần psutil trên cái cuối cùng này). Đầu ra không thật chi tiết nhưng mục tiêu là cung cấp cho bạn cái nhìn tổng quan về nơi mã đang tiêu thụ nhiều bộ nhớ hơn và không phải là một phân tích toàn diện về các đối tượng được phân bổ.

Sau khi trang trí chức năng của bạn với @profilevà chạy mã của bạn bằng -m memory_profilercờ, nó sẽ in một báo cáo từng dòng như thế này:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Tôi đề nghị Dowser . Nó rất dễ cài đặt và bạn không cần thay đổi mã của mình. Bạn có thể xem số lượng đối tượng của từng loại thông qua thời gian, xem danh sách các đối tượng sống, xem tham chiếu đến các đối tượng sống, tất cả từ giao diện web đơn giản.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Bạn nhập memdebug và gọi memdebug.start. Đó là tất cả.

Tôi chưa thử PySizer hoặc Heapy. Tôi sẽ đánh giá cao đánh giá của người khác.

CẬP NHẬT

Đoạn mã trên là dành cho CherryPy 2.X, CherryPy 3.Xcác server.quickstartphương pháp đã bị xoá và engine.startkhông lấy blockingcờ. Vì vậy, nếu bạn đang sử dụngCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Hãy xem xét thư viện objgraph (xemhttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks cho một trường hợp sử dụng ví dụ).

Muppy là (chưa phải là một) Trình sử dụng bộ nhớ cho Python. Trọng tâm của bộ công cụ này được đặt vào việc xác định rò rỉ bộ nhớ.

Muppy cố gắng giúp các nhà phát triển nhận dạng rò rỉ bộ nhớ của các ứng dụng Python. Nó cho phép theo dõi việc sử dụng bộ nhớ trong thời gian chạy và xác định các đối tượng bị rò rỉ. Ngoài ra, các công cụ được cung cấp cho phép xác định vị trí nguồn của các đối tượng không được phát hành.

Tôi đang phát triển một trình lược tả bộ nhớ cho Python có tên là memprof:

http://jmdana.github.io/memprof/

Nó cho phép bạn ghi nhật ký và vẽ biểu đồ sử dụng bộ nhớ của các biến trong quá trình thực thi các phương thức được trang trí. Bạn chỉ cần nhập thư viện bằng cách sử dụng:

from memprof import memprof

Và trang trí phương pháp của bạn bằng cách sử dụng:

@memprof

Đây là một ví dụ về cách các ô trông như thế nào:

Dự án được lưu trữ trong GitHub:

https://github.com/jmdana/memprof

Tôi thấy meliae có nhiều chức năng hơn Heapy hoặc PySizer. Nếu bạn tình cờ đang chạy một ứng dụng web wsgi, thì Dozer là một trình bao bọc phần mềm trung gian tuyệt vời của Dowser

Hãy thử dự án pytracemalloc cung cấp mức sử dụng bộ nhớ cho mỗi số dòng Python.

EDIT (2014/04): Hiện tại nó có GUI Qt để phân tích ảnh chụp nhanh.