UnicodeEncodeError: 'ascii' codec không thể mã hóa ký tự u '\ xa0' ở vị trí 20: thứ tự không nằm trong phạm vi (128)

Tôi đang gặp vấn đề với việc xử lý các ký tự unicode từ văn bản được tải từ các trang web khác nhau (trên các trang web khác nhau). Tôi đang sử dụng BeautifulSoup.

Vấn đề là lỗi không phải lúc nào cũng có thể lặp lại; đôi khi nó hoạt động với một số trang, và đôi khi, nó bị chặn bằng cách ném a UnicodeEncodeError. Tôi đã thử mọi thứ tôi có thể nghĩ ra, nhưng tôi chưa tìm thấy bất cứ thứ gì hoạt động ổn định mà không gây ra một số lỗi liên quan đến Unicode.

Một trong những phần của mã gây ra sự cố được hiển thị bên dưới:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Dưới đây là dấu vết ngăn xếp được tạo trên chuỗi MỘT SỐ khi đoạn mã trên được chạy:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Tôi nghi ngờ rằng điều này là do một số trang (hoặc cụ thể hơn, các trang từ một số trang web) có thể được mã hóa, trong khi các trang khác có thể không được mã hóa. Tất cả các trang web đều có trụ sở tại Vương quốc Anh và cung cấp dữ liệu dành cho tiêu dùng ở Vương quốc Anh - vì vậy không có vấn đề nào liên quan đến nội địa hóa hoặc xử lý văn bản được viết bằng bất cứ thứ gì ngoài tiếng Anh.

Có ai có bất kỳ ý tưởng nào về cách giải quyết vấn đề này để tôi có thể khắc phục sự cố này không?

Bạn cần phải đọc Python Unicode HOWTO . Lỗi này là ví dụ đầu tiên .

Về cơ bản, ngừng sử dụng strđể chuyển đổi từ unicode sang văn bản / byte được mã hóa.

Thay vào đó, sử dụng đúng cách .encode()để mã hóa chuỗi:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

hoặc làm việc hoàn toàn trong unicode.

Đây là một điểm đau trăn unicode cổ điển! Hãy xem xét những điều sau đây:

a = u'bats\u00E0'
print a
 => batsà

Tất cả đều tốt cho đến nay, nhưng nếu chúng ta gọi str (a), hãy xem điều gì xảy ra:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Oh nhúng, điều đó sẽ không làm bất cứ ai tốt! Để sửa lỗi, mã hóa các byte rõ ràng bằng .encode và báo cho python biết nên sử dụng codec nào:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

Vấn đề là khi bạn gọi str (), python sử dụng mã hóa ký tự mặc định để thử và mã hóa các byte bạn đã cung cấp, trong trường hợp của bạn đôi khi là biểu diễn của các ký tự unicode. Để khắc phục sự cố, bạn phải cho python biết cách xử lý chuỗi bạn cung cấp bằng cách sử dụng .encode ('anything_unicode'). Hầu hết thời gian, bạn sẽ ổn khi sử dụng utf-8.

Để có một giải trình xuất sắc về chủ đề này, hãy xem bài nói về PyCon của Ned Batchelder tại đây: http://nedbatchelder.com/text/unipain.html

Tôi đã tìm thấy công việc tao nhã xung quanh để xóa các ký hiệu và tiếp tục giữ chuỗi dưới dạng chuỗi sau:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Điều quan trọng cần lưu ý là việc sử dụng tùy chọn bỏ qua là nguy hiểm vì nó âm thầm loại bỏ mọi hỗ trợ unicode (và quốc tế hóa) khỏi mã sử dụng nó, như đã thấy ở đây (chuyển đổi unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

tôi đã thử tất cả mọi thứ nhưng không có ích gì, sau khi loay hoay xung quanh tôi đã tìm ra những điều sau đây và nó đã giúp ích. python 2.7 đang được sử dụng.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Một vấn đề tinh tế khiến thậm chí in thất bại là các biến môi trường của bạn được đặt sai, ví dụ. ở đây LC_ALL được đặt thành "C". Trong Debian họ không khuyến khích cài đặt nó: Debian wiki trên Locale

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Đối với tôi, những gì đã làm việc là:

BeautifulSoup(html_text,from_encoding="utf-8")

Hy vọng điều này sẽ giúp được ai đó.

Tôi thực sự đã thấy rằng trong hầu hết các trường hợp của mình, việc loại bỏ những ký tự đó đơn giản hơn nhiều:

s = mystring.decode('ascii', 'ignore')

Vấn đề là bạn đang cố in một ký tự unicode, nhưng thiết bị đầu cuối của bạn không hỗ trợ nó.

Bạn có thể thử cài đặt language-pack-engói để sửa lỗi đó:

sudo apt-get install language-pack-en

cung cấp cập nhật dữ liệu dịch tiếng Anh cho tất cả các gói được hỗ trợ (bao gồm cả Python). Cài đặt gói ngôn ngữ khác nhau nếu cần thiết (tùy thuộc vào ký tự bạn đang cố in).

Trên một số bản phân phối Linux, cần phải đảm bảo rằng các ngôn ngữ tiếng Anh mặc định được thiết lập đúng (vì vậy các ký tự unicode có thể được xử lý bằng shell / terminal). Đôi khi dễ cài đặt nó hơn là cấu hình thủ công.

Sau đó, khi viết mã, hãy chắc chắn rằng bạn sử dụng mã hóa đúng trong mã của mình.

Ví dụ:

open(foo, encoding='utf-8')

Nếu bạn vẫn gặp sự cố, hãy kiểm tra kỹ cấu hình hệ thống của bạn, chẳng hạn như:

• Tệp ngôn ngữ của bạn ( /etc/default/locale), cần có, vd

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  hoặc là:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Giá trị của LANG/ LC_CTYPEtrong vỏ.

• Kiểm tra miền địa phương mà vỏ của bạn hỗ trợ bằng cách:

  locale -a | grep "UTF-8"

Trình bày vấn đề và giải pháp trong VM mới.

1. Khởi tạo và cung cấp VM (ví dụ: sử dụng vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Xem: hộp Ubuntu có sẵn .} .

2. In các ký tự unicode (như dấu hiệu thương mại như ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Hiện đang cài đặt language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Bây giờ vấn đề cần được giải quyết:

   $ python -c 'print(u"\u2122");'
   ™

5. Nếu không, hãy thử lệnh sau:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

Trong vỏ bọc:

1. Tìm ngôn ngữ UTF-8 được hỗ trợ bằng lệnh sau:

   locale -a | grep "UTF-8"

2. Xuất nó, trước khi chạy tập lệnh, ví dụ:

   export LC_ALL=$(locale -a | grep UTF-8)

   hoặc thủ công như:

   export LC_ALL=C.UTF-8

3. Kiểm tra nó bằng cách in ký tự đặc biệt, ví dụ ™:

   python -c 'print(u"\u2122");'

Trên đã thử nghiệm trong Ubuntu.

Thêm dòng bên dưới vào đầu tập lệnh của bạn (hoặc dưới dạng dòng thứ hai):

# -*- coding: utf-8 -*-

Đó là định nghĩa của mã hóa mã nguồn python. Thêm thông tin trong PEP 263 .

Đây là một bản tóm tắt của một số câu trả lời được gọi là "cop out". Có những tình huống chỉ cần vứt bỏ các ký tự / chuỗi rắc rối là một giải pháp tốt, bất chấp các cuộc biểu tình lên tiếng ở đây.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Kiểm tra nó:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

Các kết quả:

1
test
98°
98

Gợi ý: bạn có thể muốn đặt tên cho chức năng này để toAsciithay thế? Đó là vấn đề ưu tiên.

Điều này được viết cho Python 2. Đối với Python 3, tôi tin rằng bạn sẽ muốn sử dụng bytes(obj,"ascii")hơn là str(obj). Tôi đã không kiểm tra điều này chưa, nhưng một lúc nào đó tôi sẽ xem lại câu trả lời.

Tôi luôn đặt mã dưới đây trong hai dòng đầu tiên của tệp python:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Chức năng trợ giúp đơn giản được tìm thấy ở đây .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Chỉ cần thêm vào một mã hóa biến ('utf-8')

agent_contact.encode('utf-8')

Vui lòng mở terminal và kích hoạt lệnh dưới đây:

export LC_ALL="en_US.UTF-8"

Tôi chỉ sử dụng như sau:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Kiểm tra những gì tài liệu nói về nó:

unicodingata.n normalize (form, unistr) Trả về dạng biểu mẫu bình thường cho chuỗi Unicode unistr. Các giá trị hợp lệ cho biểu mẫu là 'NFC', 'NFKC', 'NFD' và 'NFKD'.

Tiêu chuẩn Unicode định nghĩa các dạng chuẩn hóa khác nhau của chuỗi Unicode, dựa trên định nghĩa về tương đương chính tắc và tương đương tương thích. Trong Unicode, một số ký tự có thể được thể hiện theo nhiều cách khác nhau. Ví dụ, ký tự U + 00C7 (LATIN VỐN THƯỞNG C VỚI CEDILLA) cũng có thể được biểu thị dưới dạng chuỗi U + 0043 (LATIN VỐN THƯỞNG C) U + 0327 (COMBINING CEDILLA).

Đối với mỗi ký tự, có hai dạng bình thường: dạng bình thường C và dạng bình thường D. Dạng bình thường D (NFD) còn được gọi là phân rã chính tắc, và chuyển từng ký tự thành dạng phân tách. Dạng C (NFC) thông thường trước tiên áp dụng phân tách chính tắc, sau đó kết hợp lại các ký tự được kết hợp lại.

Ngoài hai hình thức này, có hai hình thức bình thường bổ sung dựa trên sự tương đương. Trong Unicode, một số ký tự được hỗ trợ mà thông thường sẽ được hợp nhất với các ký tự khác. Ví dụ, U + 2160 (ROMAN SỐ MỘT) thực sự giống với U + 0049 (LATIN VỐN BÀI I). Tuy nhiên, nó được hỗ trợ bằng Unicode để tương thích với các bộ ký tự hiện có (ví dụ: gb2312).

Dạng KD bình thường (NFKD) sẽ áp dụng phân tách tương thích, tức là thay thế tất cả các ký tự tương thích bằng các tương đương của chúng. Dạng bình thường KC (NFKC) trước tiên áp dụng phân tách tương thích, tiếp theo là thành phần chính tắc.

Ngay cả khi hai chuỗi unicode được chuẩn hóa và trông giống nhau đối với người đọc, nếu một chuỗi có các ký tự kết hợp và chuỗi kia không, chúng có thể không so sánh bằng nhau.

Giải quyết nó cho tôi. Đơn giản và dễ dàng.

Giải pháp dưới đây làm việc cho tôi, Chỉ cần thêm

u "Chuỗi"

(đại diện cho chuỗi là unicode) trước chuỗi của tôi.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

Than ôi điều này hoạt động trong Python 3 ít nhất ...

Con trăn 3

Đôi khi lỗi nằm ở các biến môi trường và xảy ra như vậy

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

trong đó lỗi được bỏ qua trong mã hóa.

Tôi vừa gặp vấn đề này và Google đã dẫn tôi đến đây, vì vậy chỉ cần thêm vào các giải pháp chung ở đây, đây là điều làm việc cho tôi:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

Tôi đã có ý tưởng này sau khi đọc bài thuyết trình của Ned .

Tôi không yêu cầu để hiểu đầy đủ lý do tại sao điều này làm việc, mặc dù. Vì vậy, nếu bất cứ ai có thể chỉnh sửa câu trả lời này hoặc đưa ra nhận xét để giải thích, tôi sẽ đánh giá cao nó.

Chúng tôi đã gặp lỗi này khi chạy manage.py migratetrong Django với đồ đạc được bản địa hóa.

Nguồn của chúng tôi chứa # -*- coding: utf-8 -*-khai báo, MySQL được cấu hình chính xác cho utf8 và Ubuntu có gói ngôn ngữ và giá trị phù hợp /etc/default/locale.

Vấn đề đơn giản là container Django (chúng tôi sử dụng docker) đã thiếu LANGenv var.

Thiết LANGđến en_US.UTF-8và khởi động lại chứa trước khi tái chạy di cư cố định vấn đề.

Nhiều câu trả lời ở đây (ví dụ @agf và @Andbdrew) đã giải quyết các khía cạnh trực tiếp nhất của câu hỏi OP.

Tuy nhiên, tôi nghĩ rằng có một khía cạnh tinh tế nhưng quan trọng đã bị bỏ qua phần lớn và điều đó rất quan trọng đối với tất cả những người như tôi đã kết thúc ở đây trong khi cố gắng hiểu ý nghĩa của mã hóa trong Python: Quản lý nhân vật Python 2 vs Python 3 rất khác nhau . Tôi cảm thấy như một khối lớn của sự nhầm lẫn ngoài kia có liên quan đến những người đọc về mã hóa trong Python mà không biết phiên bản.

Tôi đề nghị bất cứ ai quan tâm đến việc tìm hiểu nguyên nhân gốc rễ của vấn đề OP bắt đầu bằng cách đọc phần giới thiệu của Spolsky về biểu diễn ký tự và Unicode, sau đó chuyển sang Batchelder trên Unicode trong Python 2 và Python 3.

Cố gắng tránh chuyển đổi biến thành str (biến). Đôi khi, nó có thể gây ra vấn đề.

Mẹo đơn giản để tránh:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

Ví dụ trên cũng sẽ giải quyết lỗi Mã hóa.

Nếu bạn có một cái gì đó giống như vậy packet_data = "This is data"thì hãy làm điều này trên dòng tiếp theo, ngay sau khi khởi tạo packet_data:

unic = u''
packet_data = unic

Cập nhật cho python 3.0 trở lên. Hãy thử những điều sau trong trình soạn thảo python:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Điều này đặt mã hóa ngôn ngữ mặc định của hệ thống sang định dạng UTF-8.

Có thể đọc thêm ở đây tại PEP 538 - Ép địa phương C kế thừa vào miền địa phương dựa trên UTF-8 .

Tôi gặp vấn đề này khi cố gắng xuất các ký tự Unicode sang stdout, nhưng vớisys.stdout.write , thay vì in (để tôi cũng có thể hỗ trợ đầu ra cho một tệp khác).

Từ tài liệu riêng của BeautifulSoup , tôi đã giải quyết vấn đề này với thư viện codec:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Vấn đề này thường xảy ra khi một dự án django triển khai bằng Apache. Bởi vì Apache đặt biến môi trường LANG = C in / etc / sysconfig / httpd. Chỉ cần mở tệp và nhận xét (hoặc thay đổi thành flavior của bạn) cài đặt này. Hoặc sử dụng tùy chọn lang của lệnh WSGIDaemonProcess, trong trường hợp này, bạn sẽ có thể đặt biến môi trường LANG khác nhau cho các virtualhost khác nhau.

Giải pháp được đề xuất không hiệu quả với tôi và tôi có thể sống với việc bỏ tất cả các ký tự không phải ascii, vì vậy

s = s.encode('ascii',errors='ignore')

Điều đó đã để lại cho tôi một cái gì đó bị tước mà không ném lỗi.

Điều này sẽ làm việc:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Đầu ra:

>>>bats