Chúng tôi đã có cơ sở mã của mình chạy dưới Python 2.6. Để chuẩn bị cho Python 3.0, chúng tôi đã bắt đầu thêm:
từ __future__ nhập unicode_literals
vào các .pytệp của chúng tôi (khi chúng tôi sửa đổi chúng). Tôi tự hỏi liệu có ai khác đã làm điều này và gặp phải bất kỳ lỗi không rõ ràng nào không (có lẽ sau khi dành nhiều thời gian gỡ lỗi).
Câu trả lời:
Nguồn chính của các vấn đề mà tôi đã gặp phải khi làm việc với các chuỗi unicode là khi bạn trộn các chuỗi được mã hóa utf-8 với các chuỗi unicode.
Ví dụ, hãy xem xét các tập lệnh sau.
two.py
# encoding: utf-8
name = 'helló wörld from two'one.py
# encoding: utf-8
from __future__ import unicode_literals
import two
name = 'helló wörld from one'
print name + two.nameĐầu ra của việc chạy python one.pylà:
Traceback (most recent call last):
File "one.py", line 5, in <module>
print name + two.name
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 4: ordinal not in range(128)Trong ví dụ này, two.namelà một chuỗi được mã hóa utf-8 (không phải unicode) vì nó không nhập unicode_literalsvà one.namelà một chuỗi unicode. Khi bạn kết hợp cả hai, python sẽ cố gắng giải mã chuỗi được mã hóa (giả sử đó là ascii) và chuyển đổi nó thành unicode và không thành công. Nó sẽ hoạt động nếu bạn đã làm print name + two.name.decode('utf-8').
Điều tương tự cũng có thể xảy ra nếu bạn mã hóa một chuỗi và cố gắng trộn chúng sau đó. Ví dụ, điều này hoạt động:
# encoding: utf-8
html = '<html><body>helló wörld</body></html>'
if isinstance(html, unicode):
html = html.encode('utf-8')
print 'DEBUG: %s' % htmlĐầu ra:
DEBUG: <html><body>helló wörld</body></html>Nhưng sau khi thêm import unicode_literalsnó KHÔNG:
# encoding: utf-8
from __future__ import unicode_literals
html = '<html><body>helló wörld</body></html>'
if isinstance(html, unicode):
html = html.encode('utf-8')
print 'DEBUG: %s' % htmlĐầu ra:
Traceback (most recent call last):
File "test.py", line 6, in <module>
print 'DEBUG: %s' % html
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 16: ordinal not in range(128)Nó không thành công vì 'DEBUG: %s'là một chuỗi unicode và do đó python cố gắng giải mã html. Một số cách để sửa bản in đang thực hiện print str('DEBUG: %s') % htmlhoặc print 'DEBUG: %s' % html.decode('utf-8').
Tôi hy vọng điều này sẽ giúp bạn hiểu được các lỗi tiềm ẩn khi sử dụng chuỗi unicode.
when you mix utf-8 encoded strings with unicode onesUTF-8 và Unicode không phải là 2 bảng mã khác nhau; Unicode là một tiêu chuẩn và UTF-8 là một trong những bảng mã mà nó định nghĩa.
str, cái sau là loại unicode. Là đối tượng khác nhau, vấn đề có thể xảy ra nếu bạn cố gắng tổng hợp / concatenate / Nội suy họ
python>=2.6hoặc python==2.6không?
Ngoài ra trong 2.6 (trước python 2.6.5 RC1 +) các ký tự unicode không hoạt động tốt với các đối số từ khóa ( issue4978 ):
Ví dụ, mã sau hoạt động mà không có unicode_literals, nhưng không thành công với TypeError: keywords must be stringnếu unicode_literals được sử dụng.
>>> def foo(a=None): pass
...
>>> foo(**{'a':1})
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: foo() keywords must be stringsTôi nhận thấy rằng nếu bạn thêm unicode_literalschỉ thị, bạn cũng nên thêm một số thứ như:
# -*- coding: utf-8đến dòng đầu tiên hoặc dòng thứ hai tệp .py của bạn. Ngược lại các dòng như:
foo = "barré"dẫn đến một lỗi như:
SyntaxError: Ký tự không phải ASCII '\ xc3' trong tệp mumble.py trên dòng 198, nhưng không có mã hóa nào được khai báo; xem http://www.python.org/peps/pep-0263.html để biết chi tiết
# -*- coding: utf-8là một tuyên bố hầu như bắt buộc không phân biệt nếu bạn sử dụng unicode_literalshay không
-*-không yêu cầu; nếu bạn đang đi theo cách tương thích với emacs, tôi nghĩ bạn sẽ cần -*- encoding: utf-8 -*-(xem thêm -*-ở cuối). Tất cả những gì bạn cần là coding: utf-8(hoặc thậm chí =thay vì : ).
from __future__ import unicode_literals.
# -*- coding: utf-8 -*- với "mã hóa" (không phải "mã hóa" hoặc "mã hóa tệp" hoặc bất kỳ thứ gì khác - Python chỉ tìm kiếm "mã hóa" bất kể tiền tố nào).
Cũng cần tính đến điều đó unicode_literalsẽ ảnh hưởng eval()nhưng không ảnh hưởng repr()(một hành vi không đối xứng mà imho là một lỗi), tức là eval(repr(b'\xa4'))sẽ không bằng b'\xa4'(như với Python 3).
Lý tưởng nhất, mã sau sẽ là bất biến, luôn hoạt động, cho tất cả các kết hợp của unicode_literalsvà sử dụng Python {2.7, 3.x}:
from __future__ import unicode_literals
bstr = b'\xa4'
assert eval(repr(bstr)) == bstr # fails in Python 2.7, holds in 3.1+
ustr = '\xa4'
assert eval(repr(ustr)) == ustr # holds in Python 2.7 and 3.1+Xác nhận thứ hai xảy ra hoạt động, vì repr('\xa4')đánh giá u'\xa4'trong Python 2.7.
reprđể tái tạo một đối tượng. Các reprtài liệu nêu rõ rằng đây là không một yêu cầu. Theo ý kiến của tôi, điều này liên quan reprđến một cái gì đó hữu ích chỉ để gỡ lỗi.
Có nhiều.
Có các thư viện và nội trang mong đợi các chuỗi không dung nạp unicode.
Hai ví dụ:
được xây dựng trong:
myenum = type('Enum', (), enum)(hơi lạ) không hoạt động với unicode_literals: type () mong đợi một chuỗi.
thư viện:
from wx.lib.pubsub import pub
pub.sendMessage("LOG MESSAGE", msg="no go for unicode literals")không hoạt động: thư viện wx pubsub mong đợi một loại thông báo chuỗi.
Đầu tiên là bí truyền và dễ dàng sửa chữa với
myenum = type(b'Enum', (), enum)nhưng cái thứ hai sẽ tàn phá nếu mã của bạn chứa đầy các lệnh gọi đến pub.sendMessage () (của tôi là).
Đặng nó hả?!?
class Meta:nênb'field_name'
Nhấp chuột sẽ nâng cao các ngoại lệ unicode ở khắp nơi nếu bất kỳ mô-đun nào đã from __future__ import unicode_literalsđược nhập vào nơi bạn sử dụng click.echo. Nó là một cơn ác mộng…
decode()giải pháp thay vìstr()hoặcencode()các giải pháp: bạn càng sử dụng các đối tượng Unicode thường xuyên hơn, mã càng rõ ràng, vì những gì bạn muốn là thao tác các chuỗi ký tự, không phải mảng byte với mã hóa ngụ ý bên ngoài.