lỗi UnicodeDecodeError: 'utf-8' codec không thể giải mã byte 0xff ở vị trí 0: byte bắt đầu không hợp lệ

https://github.com/affinelayer/pix2pix-tensorflow/tree/master/tools

Đã xảy ra lỗi khi biên dịch "process.py" trên trang web trên.

 python tools/process.py --input_dir data --            operation resize --outp
ut_dir data2/resize
data/0.jpg -> data2/resize/0.png

TracBack (cuộc gọi gần đây nhất vừa qua):

File "tools/process.py", line 235, in <module>
  main()
File "tools/process.py", line 167, in main
  src = load(src_path)
File "tools/process.py", line 113, in load
  contents = open(path).read()
      File"/home/user/anaconda3/envs/tensorflow_2/lib/python3.5/codecs.py", line 321, in decode
  (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode     byte 0xff in position 0: invalid start byte

Nguyên nhân của lỗi là gì? Phiên bản của Python là 3.5.2.

Python cố gắng chuyển đổi một mảng byte (a bytes mà nó giả sử là một chuỗi được mã hóa utf-8) thành một chuỗi unicode ( str). Quá trình này tất nhiên là giải mã theo quy tắc utf-8. Khi thử điều này, nó gặp một chuỗi byte không được phép trong các chuỗi được mã hóa utf-8 (cụ thể là 0xff này ở vị trí 0).

Vì bạn không cung cấp bất kỳ mã nào chúng tôi có thể xem, chúng tôi chỉ có thể đoán phần còn lại.

Từ dấu vết ngăn xếp, chúng ta có thể giả sử rằng hành động kích hoạt là việc đọc từ một tệp ( contents = open(path).read()). Tôi đề nghị mã hóa lại điều này theo cách như sau:

with open(path, 'rb') as f:
  contents = f.read()

Trong btrình xác định chế độ ở open()trạng thái tệp sẽ được coi là nhị phân, do đó contentssẽ vẫn là a bytes. Không có nỗ lực giải mã sẽ xảy ra theo cách này.

Sử dụng giải pháp này, nó sẽ loại bỏ (bỏ qua) các ký tự và trả về chuỗi mà không có chúng. Chỉ sử dụng điều này nếu nhu cầu của bạn là tước chúng chứ không chuyển đổi chúng.

with open(path, encoding="utf8", errors='ignore') as f:

Sử dụng errors='ignore' Bạn sẽ chỉ mất một số ký tự. nhưng nếu bạn không quan tâm đến chúng vì chúng dường như là các ký tự phụ có nguồn gốc từ định dạng và lập trình xấu của các máy khách kết nối với máy chủ ổ cắm của tôi. Sau đó, nó là một giải pháp trực tiếp dễ dàng. tài liệu tham khảo

Có một vấn đề tương tự như vậy, Đã kết thúc bằng UTF-16 để giải mã. mã của tôi ở dưới

with open(path_to_file,'rb') as f:
    contents = f.read()
contents = contents.rstrip("\n").decode("utf-16")
contents = contents.split("\r\n")

điều này sẽ lấy nội dung tệp dưới dạng nhập, nhưng nó sẽ trả về mã ở định dạng UTF. từ đó nó sẽ được giải mã và phân tách bằng các dòng.

Sử dụng định dạng mã hóa ISO-8859-1 để giải quyết vấn đề.

Tôi đã gặp chủ đề này khi gặp lỗi tương tự, sau khi thực hiện một số nghiên cứu tôi có thể xác nhận, đây là lỗi xảy ra khi bạn cố gắng giải mã tệp UTF-16 bằng UTF-8.

Với UTF-16, characther đầu tiên (2 byte trong UTF-16) là Dấu thứ tự byte (BOM) , được sử dụng làm gợi ý giải mã và không xuất hiện dưới dạng ký tự trong chuỗi được giải mã. Điều này có nghĩa là byte đầu tiên sẽ là FE hoặc FF và byte thứ hai.

Chỉnh sửa nặng nề sau khi tôi tìm ra câu trả lời thực sự

chỉ sử dụng

base64.b64decode(a) 

thay vì

base64.b64decode(a).decode('utf-8')

Nếu bạn đang ở trên máy Mac, hãy kiểm tra xem bạn có cho một tệp bị ẩn không, .DS_Store. Sau khi loại bỏ các tập tin chương trình của tôi làm việc.

Kiểm tra đường dẫn của tệp sẽ được đọc. Mã của tôi tiếp tục cho tôi lỗi cho đến khi tôi thay đổi tên đường dẫn thành thư mục làm việc. Lỗi là:

newchars, decodedbytes = self.decode(data, self.errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

nếu bạn đang nhận dữ liệu từ một cổng nối tiếp, hãy đảm bảo rằng bạn đang sử dụng đúng baudrate (và các cấu hình khác): giải mã bằng cách sử dụng ( utf-8 ) nhưng cấu hình sai sẽ tạo ra lỗi tương tự

UnicodeDecodeError: 'utf-8' codec không thể giải mã byte 0xff ở vị trí 0: byte bắt đầu không hợp lệ

để kiểm tra cấu hình cổng nối tiếp của bạn trên linux, hãy sử dụng: stty -F /dev/ttyUSBX -a

Nó đơn giản có nghĩa là người ta đã chọn mã hóa sai để đọc tệp.

Trên Mac, sử dụng file -I file.txtđể tìm mã hóa chính xác. Trên Linux, sử dụng file -i file.txt.

Tôi gặp vấn đề tương tự khi xử lý một tệp được tạo từ Linux. Hóa ra nó có liên quan đến các tập tin chứa dấu hỏi ..

Tôi đã có một vấn đề tương tự.

Giải quyết nó bằng cách:

import io

with io.open(filename, 'r', encoding='utf-8') as fn:
  lines = fn.readlines()

Tuy nhiên, tôi đã có một vấn đề khác. Một số tệp html (trong trường hợp của tôi) không phải là utf-8, vì vậy tôi đã nhận được một lỗi tương tự. Khi tôi loại trừ các tệp html đó, mọi thứ đều hoạt động trơn tru.

Vì vậy, ngoại trừ việc sửa mã, hãy kiểm tra các tệp bạn đang đọc, có thể có sự không tương thích ở đó.

Nếu có thể, hãy mở tệp trong trình soạn thảo văn bản và thử thay đổi mã hóa thành UTF-8. Nếu không thì làm điều đó theo chương trình ở cấp độ HĐH.

Tôi có một vấn đề tương tự. Tôi cố gắng chạy một ví dụ trong tenorflow / model / object_detection và gặp cùng một thông báo. Cố gắng thay đổi Python3 thành Python2