UnicodeDecodeError: 'utf8' codec không thể giải mã byte 0x9c

Tôi có một máy chủ ổ cắm được cho là nhận các ký tự hợp lệ UTF-8 từ các máy khách.

Vấn đề là một số khách hàng (chủ yếu là tin tặc) đang gửi tất cả các loại dữ liệu sai về nó.

Tôi có thể dễ dàng phân biệt máy khách chính hãng, nhưng tôi đang đăng nhập vào tệp tất cả dữ liệu được gửi để tôi có thể phân tích sau.

Đôi khi tôi nhận được các ký tự như thế này œgây ra UnicodeDecodeErrorlỗi.

Tôi cần có khả năng tạo chuỗi UTF-8 có hoặc không có các ký tự đó.

Cập nhật:

Đối với trường hợp cụ thể của tôi, dịch vụ ổ cắm là một MTA và do đó tôi chỉ mong nhận được các lệnh ASCII như:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Tôi đã đăng nhập tất cả những thứ này trong JSON.

Sau đó, một số người không có ý định tốt đã quyết định bán tất cả các loại rác.

Đó là lý do tại sao đối với trường hợp cụ thể của tôi, việc loại bỏ các ký tự không phải ASCII là hoàn toàn ổn.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

hoặc là

str = unicode(str, errors='ignore')

Lưu ý: Điều này sẽ loại bỏ (bỏ qua) các ký tự trong câu hỏi trả về chuỗi mà không có chúng.

Đối với tôi đây là trường hợp lý tưởng vì tôi đang sử dụng nó như là sự bảo vệ chống lại đầu vào không phải ASCII mà ứng dụng của tôi không cho phép.

Cách khác: Sử dụng phương thức mở từ codecsmô-đun để đọc trong tệp:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Việc thay đổi công cụ từ C thành Python đã giúp tôi rất nhiều.

Động cơ là C:

pd.read_csv(gdp_path, sep='\t', engine='c')

'utf-8' codec không thể giải mã byte 0x92 ở vị trí 18: byte bắt đầu không hợp lệ

Công cụ là Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Không có lỗi cho tôi.

Loại vấn đề này xảy ra với tôi khi tôi chuyển sang Python 3. Tôi không biết Python 2 chỉ đơn giản là xử lý mọi vấn đề với mã hóa tập tin.

Tôi tìm thấy lời giải thích tốt đẹp này về sự khác biệt và cách tìm ra giải pháp sau khi không có cách nào ở trên làm việc cho tôi.

http://python-notes.curiouseffic.org/en/latest/python3/text_file_ Processing.html

Nói tóm lại, để làm cho Python 3 hoạt động tương tự nhất có thể với Python 2, hãy sử dụng:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Tuy nhiên, đọc bài viết, không có một kích thước phù hợp với tất cả các giải pháp.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Tôi đã có cùng một vấn đề UnicodeDecodeErrorvà tôi đã giải quyết nó với dòng này. Không biết là cách tốt nhất nhưng nó hiệu quả với tôi.

str = str.decode('unicode_escape').encode('utf-8')

Đầu tiên, Sử dụng get_encoding_type để lấy loại mã hóa:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

thứ hai, mở các tệp với loại:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Chỉ trong trường hợp ai đó có cùng một vấn đề. Tôi đang sử dụng vim với YouCompleteMe , không thể khởi động ycmd với thông báo lỗi này, điều tôi đã làm là : export LC_CTYPE="en_US.UTF-8", vấn đề đã biến mất.

Bạn có thể làm gì nếu bạn cần thay đổi một tệp, nhưng không biết mã hóa của tệp? Nếu bạn biết mã hóa tương thích với ASCII và chỉ muốn kiểm tra hoặc sửa đổi các phần ASCII, bạn có thể mở tệp bằng trình xử lý lỗi surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Tôi đã giải quyết vấn đề này chỉ bằng cách thêm

df = pd.read_csv(fileName,encoding='latin1')