Python, Unicode và bảng điều khiển Windows

Khi tôi cố in một chuỗi Unicode trong bảng điều khiển Windows, tôi gặp UnicodeEncodeError: 'charmap' codec can't encode character ....lỗi. Tôi cho rằng điều này là do bảng điều khiển Windows không chấp nhận các ký tự chỉ Unicode. Cách tốt nhất xung quanh này là gì? Có cách nào để tôi có thể khiến Python tự động in ?thay vì thất bại trong tình huống này không?

Chỉnh sửa: Tôi đang sử dụng Python 2.5.

Lưu ý: @ LasseV.Karlsen trả lời với dấu kiểm là loại lỗi thời (từ năm 2008). Vui lòng sử dụng các giải pháp / câu trả lời / đề xuất dưới đây một cách cẩn thận !!

Câu trả lời @JFSebastian có liên quan hơn vào ngày hôm nay (6 tháng 1 năm 2016).

Lưu ý: Câu trả lời này là loại lỗi thời (từ năm 2008). Vui lòng sử dụng các giải pháp dưới đây một cách cẩn thận !!

Đây là một trang mô tả chi tiết vấn đề và giải pháp (tìm kiếm trang cho văn bản Gói sys.stdout vào một ví dụ ):

PrintFails - Python Wiki

Đây là đoạn trích từ trang đó:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Có một số thông tin trên trang đó, rất đáng để đọc.

Cập nhật: Python 3.6 triển khai PEP 528: Thay đổi mã hóa bảng điều khiển Windows thành UTF-8 : bảng điều khiển mặc định trên Windows hiện sẽ chấp nhận tất cả các ký tự Unicode. Bên trong, nó sử dụng các API Unicode tương tự như các win-unicode-consolegói đề cập dưới đây . print(unicode_string)chỉ nên làm việc bây giờ

Tôi nhận được một UnicodeEncodeError: 'charmap' codec can't encode character... lỗi.

Lỗi có nghĩa là các ký tự Unicode mà bạn đang cố in không thể được biểu diễn bằng chcpmã hóa ký tự bảng điều khiển ( ) hiện tại . Bảng mã thường là mã hóa 8 bit cp437, chỉ có thể biểu thị ~ 0x100 ký tự từ ~ 1M ký tự Unicode:

>>> u "\ N {EURO ĐĂNG KÝ". mã hóa ('cp437')
TracBack (cuộc gọi gần đây nhất vừa qua):
...
UnicodeEncodeError: codec 'charmap' không thể mã hóa ký tự '\ u20ac' ở vị trí 0:
bản đồ nhân vật để 

Tôi cho rằng điều này là do bảng điều khiển Windows không chấp nhận các ký tự chỉ Unicode. Cách tốt nhất xung quanh này là gì?

Bảng điều khiển Windows không chấp nhận các ký tự Unicode và thậm chí nó có thể hiển thị chúng (chỉ BMP) nếu phông chữ tương ứng được cấu hình . WriteConsoleW()API nên được sử dụng như được đề xuất trong câu trả lời của @Daira Hopwood . Nó có thể được gọi một cách minh bạch, tức là bạn không cần và không nên sửa đổi tập lệnh của mình nếu bạn sử dụng win-unicode-consolegói :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Xem Thỏa thuận với Python 3.4, Unicode, các ngôn ngữ khác nhau và Windows là gì?

Có cách nào để tôi có thể khiến Python tự động in ?thay vì thất bại trong tình huống này không?

Nếu nó đủ để thay thế tất cả các ký tự không thể sửa đổi ?trong trường hợp của bạn thì bạn có thể đặt PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

Trong Python 3.6+, mã hóa được chỉ định bởi PYTHONIOENCODINGenvvar bị bỏ qua cho bộ đệm bảng điều khiển tương tác trừ khi PYTHONLEGACYWINDOWSIOENCODINGenvvar được đặt thành một chuỗi không trống.

Mặc dù các câu trả lời nghe có vẻ hợp lý khác đề nghị thay đổi trang mã thành 65001, nhưng điều đó không hiệu quả . (Ngoài ra, việc thay đổi mặc định mã hóa sử dụng sys.setdefaultencodinglà không phải là một ý tưởng tốt .)

Xem câu hỏi này để biết chi tiết và mã không hoạt động.

Nếu bạn không quan tâm đến việc có được một đại diện đáng tin cậy của (các) nhân vật xấu, bạn có thể sử dụng một cái gì đó như thế này (làm việc với python> = 2.6, bao gồm 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

(Các) ký tự xấu trong chuỗi sẽ được chuyển đổi thành biểu diễn có thể in được bởi bảng điều khiển Windows.

Đoạn mã dưới đây sẽ làm cho Python xuất ra giao diện điều khiển dưới dạng UTF-8 ngay cả trên Windows.

Bảng điều khiển sẽ hiển thị tốt các ký tự trên Windows 7 nhưng trên Windows XP, nó sẽ không hiển thị chúng tốt, nhưng ít nhất nó sẽ hoạt động và quan trọng nhất là bạn sẽ có đầu ra nhất quán từ tập lệnh của mình trên tất cả các nền tảng. Bạn sẽ có thể chuyển hướng đầu ra thành một tập tin.

Mã dưới đây đã được thử nghiệm với Python 2.6 trên Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Chỉ cần nhập mã này vào dòng lệnh trước khi thực thi kịch bản python:

chcp 65001 & set PYTHONIOENCODING=utf-8

Giống như câu trả lời của Giampaolo Rodolà, nhưng thậm chí còn bẩn hơn: Tôi thực sự, thực sự có ý định dành một thời gian dài (sớm) để hiểu toàn bộ chủ đề của mã hóa và cách chúng áp dụng cho bảng điều khiển Windoze,

Hiện tại tôi chỉ muốn sthg, điều đó có nghĩa là chương trình của tôi sẽ KHÔNG RÚT TIỀN, và tôi đã hiểu ... và cũng không liên quan đến việc nhập quá nhiều mô-đun kỳ lạ (đặc biệt là tôi đang sử dụng Jython, nên một nửa thời gian là Python mô-đun hóa ra không có trong thực tế là có sẵn).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" ngắn hơn để gõ so với "in" (và khá ngắn để gõ so với "safeprint") ...!

Đối với Python 2 hãy thử:

print unicode(string, 'unicode-escape')

Đối với Python 3 hãy thử:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Hoặc thử win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Tôi đã tự mình chạy vào đây, làm việc trên bot trò chuyện Twitch (IRC). (Python 2.7 mới nhất)

Tôi muốn phân tích các tin nhắn trò chuyện để trả lời ...

msg = s.recv(1024).decode("utf-8")

nhưng cũng in chúng một cách an toàn lên bàn điều khiển ở định dạng có thể đọc được:

print(msg.encode('ascii','replace'));

Điều này đã khắc phục vấn đề UnicodeEncodeError: 'charmap'lỗi ném bot và thay thế các ký tự unicode bằng ?.

Nguyên nhân của vấn đề của bạn KHÔNG phải là bảng điều khiển Win không sẵn sàng chấp nhận Unicode (vì nó làm điều này vì tôi đoán Win2k theo mặc định). Đây là mã hóa hệ thống mặc định. Hãy thử mã này và xem những gì nó mang lại cho bạn:

import sys
sys.getdefaultencoding()

nếu nó nói ascii, có nguyên nhân của bạn ;-) Bạn phải tạo một tệp có tên sitecustomize.py và đặt nó dưới đường dẫn python (Tôi đặt nó dưới /usr/lib/python2.5/site-packages, nhưng điều đó khác Giành chiến thắng - đó là c: \ python \ lib \ site-gói hoặc một cái gì đó), với các nội dung sau:

import sys
sys.setdefaultencoding('utf-8')

và có lẽ bạn cũng muốn chỉ định mã hóa trong các tệp của mình:

# -*- coding: UTF-8 -*-
import sys,time

Chỉnh sửa: thông tin thêm có thể được tìm thấy trong cuốn sách Đi sâu vào Python

Loại liên quan đến câu trả lời của JF Sebastian, nhưng trực tiếp hơn.

Nếu bạn gặp vấn đề này khi in ra bàn điều khiển / thiết bị đầu cuối, thì hãy làm điều này:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: Có một số cách để khởi chạy một python bạn có thể sử dụng bảng điều khiển python (có logo python trên đó) hoặc giao diện điều khiển windows (được viết là cmd.exe trên đó).

Tôi không thể in các ký tự utf8 trong bảng điều khiển windows. In các ký tự utf-8 ném cho tôi lỗi này:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Sau khi thử và không hiểu câu trả lời ở trên, tôi phát hiện ra đó chỉ là một vấn đề thiết lập. Nhấp chuột phải vào đầu cửa sổ bảng điều khiển cmd, trên tab fontđã chọn bảng điều khiển lucida.

James Sulak hỏi,

Có cách nào để tôi có thể làm cho Python tự động in không? thay vì thất bại trong tình huống này?

Các giải pháp khác khuyên chúng tôi cố gắng sửa đổi môi trường Windows hoặc thay thế print()chức năng của Python . Câu trả lời dưới đây đến gần hơn để đáp ứng yêu cầu của Sulak.

Trong Windows 7, Python 3.5 có thể được tạo để in Unicode mà không cần ném UnicodeEncodeErrornhư sau:

    Thay     print(text)
    thế:     print(str(text).encode('utf-8'))

Thay vì ném một ngoại lệ, Python hiện hiển thị các ký tự Unicode không thể in dưới dạng mã hex \ xNN , ví dụ:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait cộng với qu \ xe2 \ x80 \ x99un điểm noir

Thay vì

  Halmalo n'était cộng với qu'un điểm noir

Cấp, cái sau tốt hơn là ceteris paribus , nhưng nếu không thì cái trước là hoàn toàn chính xác cho các thông điệp chẩn đoán. Bởi vì nó hiển thị Unicode dưới dạng các giá trị byte theo nghĩa đen, trước đây cũng có thể hỗ trợ chẩn đoán các vấn đề mã hóa / giải mã.

Lưu ý: Cuộc str()gọi ở trên là cần thiết vì nếu không, encode()sẽ khiến Python từ chối một ký tự Unicode dưới dạng một bộ số.