Pickle không tương thích của mảng numpy giữa Python 2 và 3

Tôi đang cố tải tập dữ liệu MNIST được liên kết ở đây trong Python 3.2 bằng chương trình này:

import pickle
import gzip
import numpy


with gzip.open('mnist.pkl.gz', 'rb') as f:
    l = list(pickle.load(f))
    print(l)

Thật không may, nó cho tôi lỗi:

Traceback (most recent call last):
   File "mnist.py", line 7, in <module>
     train_set, valid_set, test_set = pickle.load(f)
UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)

Sau đó, tôi đã cố gắng giải mã tập tin ngâm trong Python 2.7 và mã hóa lại nó. Vì vậy, tôi đã chạy chương trình này trong Python 2.7:

import pickle
import gzip
import numpy


with gzip.open('mnist.pkl.gz', 'rb') as f:
    train_set, valid_set, test_set = pickle.load(f)

    # Printing out the three objects reveals that they are
    # all pairs containing numpy arrays.

    with gzip.open('mnistx.pkl.gz', 'wb') as g:
        pickle.dump(
            (train_set, valid_set, test_set),
            g,
            protocol=2)  # I also tried protocol 0.

Nó chạy không có lỗi, vì vậy tôi chạy lại chương trình này trong Python 3.2:

import pickle
import gzip
import numpy

# note the filename change
with gzip.open('mnistx.pkl.gz', 'rb') as f:
    l = list(pickle.load(f))
    print(l)

Tuy nhiên, nó đã cho tôi lỗi tương tự như trước đây. Làm thế nào để tôi có được điều này để làm việc?

Đây là một cách tiếp cận tốt hơn để tải tập dữ liệu MNIST.

Điều này có vẻ như một số loại không tương thích. Đó là cố gắng tải một đối tượng "chuỗi", được coi là ASCII, trong trường hợp này là dữ liệu nhị phân. Nếu đây là một lỗi trong trình giải nén Python 3 hoặc "lạm dụng" trình chọn bởi numpy, tôi không biết.

Đây là một cái gì đó của một cách giải quyết, nhưng tôi không biết dữ liệu có ý nghĩa như thế nào tại thời điểm này:

import pickle
import gzip
import numpy

with open('mnist.pkl', 'rb') as f:
    u = pickle._Unpickler(f)
    u.encoding = 'latin1'
    p = u.load()
    print(p)

Giải nén nó trong Python 2 và sau đó lặp lại nó sẽ chỉ tạo ra cùng một vấn đề, vì vậy bạn cần lưu nó ở định dạng khác.

Nếu bạn gặp lỗi này trong python3, thì đó có thể là sự cố không tương thích giữa python 2 và python 3, đối với tôi, giải pháp là loadvới latin1mã hóa:

pickle.load(file, encoding='latin1')

Có vẻ như đây là sự cố không tương thích giữa Python 2 và Python 3. Tôi đã thử tải tập dữ liệu MNIST với

    train_set, valid_set, test_set = pickle.load(file, encoding='iso-8859-1')

và nó đã làm việc cho Python 3.5.2

Có vẻ như có một số vấn đề tương thích trong dưa chua giữa 2.x và 3.x do việc chuyển sang unicode. Tập tin của bạn dường như được xử lý bằng python 2.x và giải mã nó trong 3.x có thể gây rắc rối.

Tôi khuyên bạn nên giải nén nó bằng python 2.x và lưu thành định dạng chơi độc đáo hơn trên hai phiên bản bạn đang sử dụng.

Tôi chỉ vấp phải đoạn trích này. Hy vọng điều này sẽ giúp làm rõ vấn đề tương thích.

import sys

with gzip.open('mnist.pkl.gz', 'rb') as f:
    if sys.version_info.major > 2:
        train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
    else:
        train_set, valid_set, test_set = pickle.load(f)

Thử:

l = list(pickle.load(f, encoding='bytes')) #if you are loading image data or 
l = list(pickle.load(f, encoding='latin1')) #if you are loading text data

Từ tài liệu của pickle.loadphương pháp:

Các đối số từ khóa tùy chọn là fix_imports, mã hóa và lỗi, được sử dụng để kiểm soát hỗ trợ tương thích cho luồng dưa chua được tạo bởi Python 2.

Nếu fix_imports là True, Pickle sẽ cố gắng ánh xạ các tên Python 2 cũ sang các tên mới được sử dụng trong Python 3.

Việc mã hóa và lỗi cho Pickle biết cách giải mã các trường hợp chuỗi 8 bit được chọn bởi Python 2; những cái này mặc định là 'ASCII' và 'nghiêm ngặt', tương ứng. Mã hóa có thể là 'byte' để đọc các thể hiện chuỗi 8 bit này dưới dạng các đối tượng byte.

Có tiếng lạch cạch nhanh hơn dưa chua và dễ dàng hơn. Tôi đã cố lưu và đọc nó trong thùng rác nhưng trong khi đọc có rất nhiều vấn đề và lãng phí một giờ và vẫn không tìm ra giải pháp mặc dù tôi đang làm việc trên dữ liệu của riêng mình để tạo một chatbot.

vec_xvà vec_ylà mảng numpy:

data=[vec_x,vec_y]
hkl.dump( data, 'new_data_file.hkl' )

Sau đó, bạn chỉ cần đọc nó và thực hiện các hoạt động:

data2 = hkl.load( 'new_data_file.hkl' )