Làm thế nào để tôi xây dựng một mảng numpy từ một máy phát điện?

Làm thế nào tôi có thể xây dựng một mảng numpy từ một đối tượng máy phát điện?

Hãy để tôi minh họa vấn đề:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

Trong trường hợp này, gimme()là trình tạo có đầu ra mà tôi muốn biến thành một mảng. Tuy nhiên, hàm tạo mảng không lặp qua trình tạo, nó chỉ đơn giản là lưu trữ chính trình tạo. Hành vi tôi mong muốn là từ đó numpy.array(list(gimme())), nhưng tôi không muốn trả chi phí bộ nhớ khi có danh sách trung gian và mảng cuối cùng trong bộ nhớ cùng một lúc. Có cách nào hiệu quả hơn về không gian?

Mảng Numpy yêu cầu độ dài của chúng phải được đặt rõ ràng tại thời điểm tạo, không giống như danh sách python. Điều này là cần thiết để không gian cho mỗi mục có thể được phân bổ liên tiếp trong bộ nhớ. Phân bổ liên tục là tính năng chính của mảng numpy: điều này kết hợp với triển khai mã gốc cho phép các thao tác trên chúng thực thi nhanh hơn nhiều so với danh sách thông thường.

Hãy ghi nhớ điều này, về mặt kỹ thuật không thể lấy một đối tượng trình tạo và biến nó thành một mảng trừ khi bạn:

1. có thể dự đoán có bao nhiêu phần tử sẽ mang lại khi chạy:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. sẵn sàng lưu trữ các yếu tố của nó trong một danh sách trung gian:

   my_array = numpy.array(list(gimme()))

3. có thể tạo hai bộ tạo giống nhau, chạy qua cái đầu tiên để tìm tổng chiều dài, khởi tạo mảng và sau đó chạy lại bộ tạo để tìm từng phần tử:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 có lẽ là những gì bạn đang tìm kiếm. 2 là không hiệu quả về không gian và 3 là không hiệu quả về thời gian (bạn phải đi qua trình tạo hai lần).

Một google đằng sau kết quả stackoverflow này, tôi thấy rằng có một numpy.fromiter(data, dtype, count). Mặc định count=-1có tất cả các yếu tố từ iterable. Nó đòi hỏi dtypephải được thiết lập rõ ràng. Trong trường hợp của tôi, điều này đã làm việc:

numpy.fromiter(something.generate(from_this_input), float)

Trong khi bạn có thể tạo mảng 1D từ trình tạo numpy.fromiter(), bạn có thể tạo mảng ND từ trình tạo với numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Nó cũng hoạt động cho mảng 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Lưu ý rằng numpy.stackđang tiêu thụ nội bộ máy phát điện và tạo một danh sách trung gian với arrays = [asanyarray(arr) for arr in arrays]. Việc thực hiện có thể được tìm thấy ở đây .

Hơi tiếp tuyến, nhưng nếu trình tạo của bạn là một sự hiểu biết danh sách, bạn có thể sử dụng numpy.wheređể có được kết quả của mình hiệu quả hơn (tôi đã phát hiện ra điều này trong mã của riêng tôi sau khi xem bài đăng này)

Các hàm vstack , hstack và dstack có thể lấy làm các trình tạo đầu vào tạo ra các mảng đa chiều.