Làm cách nào để xác định kích thước của một đối tượng trong Python?
Câu trả lời, "Chỉ cần sử dụng sys.getsizeof" không phải là một câu trả lời hoàn chỉnh.
Câu trả lời đó không hoạt động trực tiếp cho các đối tượng dựng sẵn, nhưng nó không tính đến những gì các đối tượng đó có thể chứa, cụ thể, loại nào, chẳng hạn như các đối tượng tùy chỉnh, bộ dữ liệu, danh sách, dicts và bộ chứa. Chúng có thể chứa các thể hiện lẫn nhau, cũng như số, chuỗi và các đối tượng khác.
Một câu trả lời đầy đủ hơn
Sử dụng 64 bit Python 3.6 từ bản phân phối Anaconda, với sys.getsizeof, tôi đã xác định kích thước tối thiểu của các đối tượng sau và lưu ý rằng các tập hợp và dicts không gian preallocate để những cái trống không tăng trở lại cho đến sau một lượng đã đặt (có thể thay đổi theo cách thực hiện ngôn ngữ):
Con trăn 3:
Empty
Bytes type scaling notes
28 int +4 bytes about every 30 powers of 2
37 bytes +1 byte per additional byte
49 str +1-4 per additional character (depending on max width)
48 tuple +8 per additional item
64 list +8 for each additional
224 set 5th increases to 736; 21nd, 2272; 85th, 8416; 341, 32992
240 dict 6th increases to 368; 22nd, 1184; 43rd, 2280; 86th, 4704; 171st, 9320
136 func def does not include default args and other attrs
1056 class def no slots
56 class inst has a __dict__ attr, same scaling as dict above
888 class def with slots
16 __slots__ seems to store in mutable tuple-like structure
first slot grows to 48, and so on.
Làm thế nào để bạn giải thích điều này? Vâng, nói rằng bạn có một bộ với 10 mục trong đó. Nếu mỗi mục là 100 byte, thì toàn bộ cấu trúc dữ liệu lớn đến mức nào? Bộ này là 736 vì nó có kích thước một lần lên tới 736 byte. Sau đó, bạn thêm kích thước của các mục, tổng cộng là 1736 byte
Một số cảnh báo cho các định nghĩa hàm và lớp:
Lưu ý mỗi định nghĩa lớp có __dict__cấu trúc proxy (48 byte) cho attrs lớp. Mỗi vị trí có một mô tả (như a property) trong định nghĩa lớp.
Các trường hợp có rãnh bắt đầu với 48 byte trên phần tử đầu tiên của chúng và tăng thêm 8 byte mỗi phần tử. Chỉ các đối tượng có rãnh trống mới có 16 byte và một thể hiện không có dữ liệu có ý nghĩa rất nhỏ.
Ngoài ra, mỗi định nghĩa hàm có các đối tượng mã, có thể là các tài liệu và các thuộc tính có thể khác, thậm chí là a __dict__.
Cũng lưu ý rằng chúng tôi sử dụng sys.getsizeof()vì chúng tôi quan tâm đến việc sử dụng không gian cận biên, bao gồm cả chi phí thu gom rác cho đối tượng, từ các tài liệu :
gotizeof () gọi __sizeof__phương thức của đối tượng và thêm chi phí thu gom rác bổ sung nếu đối tượng được quản lý bởi trình thu gom rác.
Cũng lưu ý rằng việc thay đổi kích thước danh sách (ví dụ như lặp đi lặp lại thêm vào chúng) khiến chúng sắp xếp lại không gian, tương tự như các tập hợp và ký tự. Từ mã nguồn listobj.c :
/* This over-allocates proportional to the list size, making room
* for additional growth. The over-allocation is mild, but is
* enough to give linear-time amortized behavior over a long
* sequence of appends() in the presence of a poorly-performing
* system realloc().
* The growth pattern is: 0, 4, 8, 16, 25, 35, 46, 58, 72, 88, ...
* Note: new_allocated won't overflow because the largest possible value
* is PY_SSIZE_T_MAX * (9 / 8) + 6 which always fits in a size_t.
*/
new_allocated = (size_t)newsize + (newsize >> 3) + (newsize < 9 ? 3 : 6);
Dữ liệu lịch sử
Phân tích Python 2.7, được xác nhận với guppy.hpyvà sys.getsizeof:
Bytes type empty + scaling notes
24 int NA
28 long NA
37 str + 1 byte per additional character
52 unicode + 4 bytes per additional character
56 tuple + 8 bytes per additional item
72 list + 32 for first, 8 for each additional
232 set sixth item increases to 744; 22nd, 2280; 86th, 8424
280 dict sixth item increases to 1048; 22nd, 3352; 86th, 12568 *
120 func def does not include default args and other attrs
64 class inst has a __dict__ attr, same scaling as dict above
16 __slots__ class with slots has no dict, seems to store in
mutable tuple-like structure.
904 class def has a proxy __dict__ structure for class attrs
104 old class makes sense, less stuff, has real dict though.
Lưu ý rằng từ điển ( nhưng không phải bộ ) có biểu diễn nhỏ gọn hơn trong Python 3.6
Tôi nghĩ 8 byte cho mỗi mục bổ sung để tham khảo có ý nghĩa rất lớn trên máy 64 bit. 8 byte đó trỏ đến vị trí trong bộ nhớ của mục được chứa. 4 byte là chiều rộng cố định cho unicode trong Python 2, nếu tôi nhớ chính xác, nhưng trong Python 3, str trở thành một unicode có chiều rộng bằng với chiều rộng tối đa của các ký tự.
(Và để biết thêm về các vị trí, xem câu trả lời này )
Một chức năng hoàn chỉnh hơn
Chúng tôi muốn một hàm tìm kiếm các phần tử trong danh sách, bộ dữ liệu, bộ, dicts, obj.__dict__'s vàobj.__slots__ , cũng như những thứ khác mà chúng tôi có thể chưa nghĩ đến.
Chúng tôi muốn dựa vào gc.get_referentsđể thực hiện tìm kiếm này vì nó hoạt động ở cấp độ C (làm cho nó rất nhanh). Nhược điểm là get_Vferents có thể trả về các thành viên dư thừa, vì vậy chúng tôi cần đảm bảo chúng tôi không tính gấp đôi.
Các lớp, mô-đun và hàm là các singletons - chúng tồn tại một lần trong bộ nhớ. Chúng tôi không quan tâm đến kích thước của chúng, vì chúng tôi không thể làm gì nhiều về chúng - chúng là một phần của chương trình. Vì vậy, chúng tôi sẽ tránh đếm chúng nếu chúng được tham chiếu.
Chúng tôi sẽ sử dụng danh sách đen các loại vì vậy chúng tôi không bao gồm toàn bộ chương trình trong số lượng kích thước của chúng tôi.
import sys
from types import ModuleType, FunctionType
from gc import get_referents
# Custom objects know their class.
# Function objects seem to know way too much, including modules.
# Exclude modules as well.
BLACKLIST = type, ModuleType, FunctionType
def getsize(obj):
"""sum size of object & members."""
if isinstance(obj, BLACKLIST):
raise TypeError('getsize() does not take argument of type: '+ str(type(obj)))
seen_ids = set()
size = 0
objects = [obj]
while objects:
need_referents = []
for obj in objects:
if not isinstance(obj, BLACKLIST) and id(obj) not in seen_ids:
seen_ids.add(id(obj))
size += sys.getsizeof(obj)
need_referents.append(obj)
objects = get_referents(*need_referents)
return size
Để đối chiếu điều này với chức năng được liệt kê trong danh sách trắng sau đây, hầu hết các đối tượng đều biết cách tự di chuyển theo mục đích thu gom rác (đó là khoảng những gì chúng ta đang tìm kiếm khi chúng ta muốn biết các đối tượng nhất định đắt như thế nào. gc.get_referents .) Tuy nhiên, biện pháp này sẽ có phạm vi mở rộng hơn nhiều so với dự định của chúng tôi nếu chúng tôi không cẩn thận.
Ví dụ, các hàm biết khá nhiều về các mô-đun mà chúng được tạo.
Một điểm tương phản khác là các chuỗi là các khóa trong từ điển thường được thực hiện để chúng không bị trùng lặp. Kiểm tra id(key)cũng sẽ cho phép chúng tôi tránh đếm các bản sao, điều chúng tôi sẽ làm trong phần tiếp theo. Giải pháp danh sách đen bỏ qua các phím đếm hoàn toàn.
Các loại danh sách trắng, khách truy cập đệ quy (triển khai cũ)
Để tự mình bao quát hầu hết các loại này, thay vì dựa vào mô đun gc, tôi đã viết hàm đệ quy này để cố gắng ước tính kích thước của hầu hết các đối tượng Python, bao gồm hầu hết các nội dung, loại trong mô đun bộ sưu tập và các loại tùy chỉnh (có rãnh và mặt khác) .
Loại chức năng này cho phép kiểm soát chi tiết hơn nhiều đối với các loại chúng ta sẽ tính cho việc sử dụng bộ nhớ, nhưng có nguy cơ loại bỏ các loại:
import sys
from numbers import Number
from collections import Set, Mapping, deque
try: # Python 2
zero_depth_bases = (basestring, Number, xrange, bytearray)
iteritems = 'iteritems'
except NameError: # Python 3
zero_depth_bases = (str, bytes, Number, range, bytearray)
iteritems = 'items'
def getsize(obj_0):
"""Recursively iterate to sum size of object & members."""
_seen_ids = set()
def inner(obj):
obj_id = id(obj)
if obj_id in _seen_ids:
return 0
_seen_ids.add(obj_id)
size = sys.getsizeof(obj)
if isinstance(obj, zero_depth_bases):
pass # bypass remaining control flow and return
elif isinstance(obj, (tuple, list, Set, deque)):
size += sum(inner(i) for i in obj)
elif isinstance(obj, Mapping) or hasattr(obj, iteritems):
size += sum(inner(k) + inner(v) for k, v in getattr(obj, iteritems)())
# Check for custom object instances - may subclass above too
if hasattr(obj, '__dict__'):
size += inner(vars(obj))
if hasattr(obj, '__slots__'): # can have __slots__ with __dict__
size += sum(inner(getattr(obj, s)) for s in obj.__slots__ if hasattr(obj, s))
return size
return inner(obj_0)
Và tôi đã thử nghiệm nó khá tình cờ (tôi nên bỏ qua nó):
>>> getsize(['a', tuple('bcd'), Foo()])
344
>>> getsize(Foo())
16
>>> getsize(tuple('bcd'))
194
>>> getsize(['a', tuple('bcd'), Foo(), {'foo': 'bar', 'baz': 'bar'}])
752
>>> getsize({'foo': 'bar', 'baz': 'bar'})
400
>>> getsize({})
280
>>> getsize({'foo':'bar'})
360
>>> getsize('foo')
40
>>> class Bar():
... def baz():
... pass
>>> getsize(Bar())
352
>>> getsize(Bar().__dict__)
280
>>> sys.getsizeof(Bar())
72
>>> getsize(Bar.__dict__)
872
>>> sys.getsizeof(Bar.__dict__)
280
Việc triển khai này phá vỡ các định nghĩa lớp và định nghĩa hàm vì chúng ta không theo đuổi tất cả các thuộc tính của chúng, nhưng vì chúng chỉ tồn tại một lần trong bộ nhớ cho quy trình, nên kích thước của chúng thực sự không quá quan trọng.