Làm cách nào để sửa lỗi 'Không thể tải mảng đối tượng khi allow_pickle = False' cho hàm imdb.load_data ()?

Tôi đang cố gắng triển khai ví dụ phân loại nhị phân bằng cách sử dụng tập dữ liệu IMDb trong Google Colab . Tôi đã thực hiện mô hình này trước đây. Nhưng khi tôi cố gắng thực hiện lại sau một vài ngày, nó trả về lỗi giá trị: 'Không thể tải mảng đối tượng khi allow_pickle = False' cho hàm load_data ().

Tôi đã thử giải quyết vấn đề này, đề cập đến câu trả lời hiện có cho một vấn đề tương tự: Cách sửa lỗi 'Mảng đối tượng không thể tải khi allow_pickle = False' trong thuật toán sketch_rnn. Nhưng hóa ra chỉ thêm đối số allow_pickle là không đủ.

Mã của tôi:

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

Lỗi:

ValueError                                Traceback (most recent call last)
<ipython-input-1-2ab3902db485> in <module>()
      1 from keras.datasets import imdb
----> 2 (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

2 frames
/usr/local/lib/python3.6/dist-packages/keras/datasets/imdb.py in load_data(path, num_words, skip_top, maxlen, seed, start_char, oov_char, index_from, **kwargs)
     57                     file_hash='599dadb1135973df5b59232a0e9a887c')
     58     with np.load(path) as f:
---> 59         x_train, labels_train = f['x_train'], f['y_train']
     60         x_test, labels_test = f['x_test'], f['y_test']
     61 

/usr/local/lib/python3.6/dist-packages/numpy/lib/npyio.py in __getitem__(self, key)
    260                 return format.read_array(bytes,
    261                                          allow_pickle=self.allow_pickle,
--> 262                                          pickle_kwargs=self.pickle_kwargs)
    263             else:
    264                 return self.zip.read(key)

/usr/local/lib/python3.6/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs)
    690         # The array contained Python objects. We need to unpickle the data.
    691         if not allow_pickle:
--> 692             raise ValueError("Object arrays cannot be loaded when "
    693                              "allow_pickle=False")
    694         if pickle_kwargs is None:

ValueError: Object arrays cannot be loaded when allow_pickle=False

Đây là một mẹo để buộc imdb.load_datacho phép dưa chua, trong sổ tay của bạn, thay thế dòng này:

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

bởi cái này:

import numpy as np
# save np.load
np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

Vấn đề này vẫn còn trên keras git. Tôi hy vọng nó sẽ được giải quyết càng sớm càng tốt. Cho đến lúc đó, hãy thử hạ cấp phiên bản numpy của bạn xuống 1.16.2. Nó dường như để giải quyết vấn đề.

!pip install numpy==1.16.1
import numpy as np

Phiên bản numpy này có giá trị mặc định allow_picklelà True.

Sau này vấn đề trên GitHub, giải pháp chính thức là để chỉnh sửa các tập tin imdb.py. Bản sửa lỗi này hoạt động tốt đối với tôi mà không cần phải hạ cấp numpy. Tìm tệp imdb.py tại tensorflow/python/keras/datasets/imdb.py(đường dẫn đầy đủ đối với tôi là: C:\Anaconda\Lib\site-packages\tensorflow\python\keras\datasets\imdb.py- các cài đặt khác sẽ khác) và thay đổi dòng 85 theo sự khác biệt:

-  with np.load(path) as f:
+  with np.load(path, allow_pickle=True) as f:

Lý do cho sự thay đổi là bảo mật để ngăn chặn Python tương đương với việc chèn SQL trong một tệp được ngâm. Thay đổi ở trên sẽ CHỈ ảnh hưởng đến dữ liệu imdb và do đó bạn vẫn giữ được tính bảo mật ở nơi khác (bằng cách không hạ cấp numpy).

Tôi vừa sử dụng allow_pickle = True làm đối số cho np.load () và nó phù hợp với tôi.

Trong trường hợp của tôi đã làm việc với:

np.load(path, allow_pickle=True)

Tôi nghĩ câu trả lời từ cheez ( https://stackoverflow.com/users/122933/cheez ) là câu trả lời dễ nhất và hiệu quả nhất. Tôi sẽ giải thích kỹ lưỡng một chút về nó để nó không sửa đổi một hàm phức tạp trong toàn bộ thời gian của phiên.

Gợi ý của tôi là dưới đây. Tôi đang sử dụng nó để tải xuống bộ dữ liệu bộ định tuyến từ keras đang hiển thị cùng một loại lỗi:

old = np.load
np.load = lambda *a,**k: old(*a,**k,allow_pickle=True)

from keras.datasets import reuters
(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

np.load = old
del(old)

Bạn có thể thử thay đổi giá trị của cờ

np.load(training_image_names_array,allow_pickle=True)

không có giải pháp nào được liệt kê ở trên phù hợp với tôi: tôi chạy anaconda với python 3.7.3. Điều làm việc cho tôi là

• chạy "conda install numpy == 1.16.1" từ Anaconda powershell

• đóng và mở lại sổ tay

trên máy tính xách tay jupyter bằng cách sử dụng

np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

hoạt động tốt, nhưng sự cố xuất hiện khi bạn sử dụng phương pháp này trong spyder (bạn phải khởi động lại hạt nhân mỗi lần hoặc bạn sẽ gặp lỗi như:

TypeError: () có nhiều giá trị cho đối số từ khóa 'allow_pickle'

Tôi đã giải quyết vấn đề này bằng giải pháp ở đây :

Tôi đã hạ cánh ở đây, đã thử cách của bạn và không thể tìm ra.

Tôi thực sự đang làm việc trên một mã pregiven, nơi

pickle.load(path)

đã được sử dụng nên tôi đã thay thế nó bằng

np.load(path, allow_pickle=True)

Có, cài đặt phiên bản numpy trước đó đã giải quyết được vấn đề.

Đối với những người sử dụng PyCharm IDE:

trong IDE (Pycharm) của tôi, Tệp-> Cài đặt-> Trình thông dịch dự án: Tôi thấy rằng numpy của mình là 1.16.3, vì vậy tôi hoàn nguyên về 1.16.1. Nhấp vào + và gõ numpy trong tìm kiếm, đánh dấu vào "chỉ định phiên bản": 1.16.1 và chọn -> cài đặt gói.

tìm đường dẫn đến imdb.py sau đó chỉ cần thêm cờ vào np.load (đường dẫn, ... cờ ...)

    def load_data(.......):
    .......................................
    .......................................
    - with np.load(path) as f:
    + with np.load(path,allow_pickle=True) as f:

Nó làm việc cho tôi

        np_load_old = np.load
        np.load = lambda *a: np_load_old(*a, allow_pickle=True)
        (x_train, y_train), (x_test, y_test) = reuters.load_data(num_words=None, test_split=0.2)
        np.load = np_load_old

Những gì tôi nhận thấy là TensorFlow 2.0 (tôi đang sử dụng 2.0.0-alpha0) không tương thích với phiên bản mới nhất của Numpy tức là v1.17.0 (và có thể là v1.16.5 +). Ngay sau khi TF2 được nhập, nó sẽ ném ra một danh sách lớn các FutureWarning, trông giống như sau:

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:541: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:542: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_quint8 = np.dtype([("quint8", np.uint8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:543: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.

Điều này cũng dẫn đến lỗi allow_pickle khi cố gắng tải tập dữ liệu imdb từ keras

Tôi đã cố gắng sử dụng giải pháp sau đây hoạt động tốt, nhưng tôi phải thực hiện nó cho từng dự án mà tôi đang nhập TF2 hoặc tf.keras.

np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

Giải pháp dễ nhất mà tôi tìm thấy là cài đặt numpy 1.16.1 trên toàn cầu hoặc sử dụng các phiên bản tương thích của tensorflow và numpy trong môi trường ảo.

Mục tiêu của tôi với câu trả lời này là chỉ ra rằng nó không chỉ là vấn đề với imdb.load_data mà còn là một vấn đề lớn hơn do sự không tương thích của các phiên bản TF2 và Numpy và có thể dẫn đến nhiều lỗi hoặc sự cố ẩn khác.

Tensorflow có một bản sửa lỗi trong phiên bản tf-nightly.

!pip install tf-nightly

Phiên bản hiện tại là '2.0.0-dev20190511'.

Câu trả lời của @cheez đôi khi không hoạt động và gọi hàm lặp đi lặp lại một cách đệ quy. Để giải quyết vấn đề này, bạn nên sao chép hàm sâu. Bạn có thể làm điều này bằng cách sử dụng hàm partial, vì vậy mã cuối cùng là:

import numpy as np
from functools import partial

# save np.load
np_load_old = partial(np.load)

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = 
imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

Tôi không thường đăng những thứ này nhưng điều này thật khó chịu. Sự nhầm lẫn đến từ thực tế là một số imdb.pytệp Keras đã được cập nhật:

with np.load(path) as f:

sang phiên bản với allow_pickle=True. Đảm bảo kiểm tra tệp imdb.py để xem liệu thay đổi này đã được triển khai chưa. Nếu nó đã được điều chỉnh, những điều sau đây hoạt động tốt:

from keras.datasets import imdb
(train_text, train_labels), (test_text, test_labels) = imdb.load_data(num_words=10000)

Cách dễ nhất là thay đổi imdb.pycài đặt allow_pickle=Truethành np.loadtại dòng có imdb.pylỗi.