Sử dụng bộ nhớ Python của mảng numpy

Tôi đang sử dụng python để phân tích một số tệp lớn và tôi đang gặp vấn đề về bộ nhớ, vì vậy tôi đã sử dụng sys.getsizeof () để thử và theo dõi việc sử dụng, nhưng hành vi của nó với các mảng khó hiểu là kỳ quái. Dưới đây là một ví dụ liên quan đến bản đồ các suất phản chiếu mà tôi phải mở:

>>> import numpy as np
>>> import struct
>>> from sys import getsizeof
>>> f = open('Albedo_map.assoc', 'rb')
>>> getsizeof(f)
144
>>> albedo = struct.unpack('%df' % (7200*3600), f.read(7200*3600*4))
>>> getsizeof(albedo)
207360056
>>> albedo = np.array(albedo).reshape(3600,7200)
>>> getsizeof(albedo)
80

Chà, dữ liệu vẫn còn đó, nhưng kích thước của đối tượng, bản đồ 3600x7200 pixel, đã tăng từ ~ 200 Mb đến 80 byte. Tôi muốn hy vọng rằng các vấn đề về trí nhớ của tôi đã kết thúc và chỉ chuyển đổi mọi thứ thành các mảng khó chịu, nhưng tôi cảm thấy rằng hành vi này, nếu đúng, theo một cách nào đó sẽ vi phạm một số định luật về lý thuyết thông tin hoặc nhiệt động lực học, hoặc một cái gì đó, vì vậy tôi có xu hướng tin rằng gotizeof () không hoạt động với các mảng numpy. Có ý kiến ​​gì không?

Bạn có thể sử dụng array.nbytescho các mảng numpy, ví dụ:

>>> import numpy as np
>>> from sys import getsizeof
>>> a = [0] * 1024
>>> b = np.array(a)
>>> getsizeof(a)
8264
>>> b.nbytes
8192

Trường nbyte sẽ cung cấp cho bạn kích thước tính theo byte của tất cả các phần tử của mảng trong numpy.array:

size_in_bytes = my_numpy_array.nbytes

Lưu ý rằng điều này không đo lường "các thuộc tính không phải là thành phần của đối tượng mảng", vì vậy kích thước thực tế tính bằng byte có thể lớn hơn vài byte so với giá trị này.

Trong máy tính xách tay python Tôi thường muốn lọc ra 'lơ lửng' numpy.ndarray's, đặc biệt là những người mà được lưu trữ trong _1, _2, vv mà không bao giờ thực sự có nghĩa là để ở còn sống.

Tôi sử dụng mã này để có được một danh sách của tất cả chúng và kích thước của chúng.

Không chắc chắn nếu locals()hoặc globals()là tốt hơn ở đây.

import sys
import numpy
from humanize import naturalsize

for size, name in sorted(
    (value.nbytes, name)
    for name, value in locals().items()
    if isinstance(value, numpy.ndarray)):
  print("{:>30}: {:>8}".format(name, naturalsize(size)))