Đặt mã hóa chính xác khi thiết bị xuất chuẩn đường ống trong Python

Khi dẫn đầu ra của chương trình Python, trình thông dịch Python bị nhầm lẫn về mã hóa và đặt nó thành Không có. Điều này có nghĩa là một chương trình như thế này:

# -*- coding: utf-8 -*-
print u"åäö"

sẽ hoạt động tốt khi chạy bình thường, nhưng không thành công với:

UnicodeEncodeError: 'ascii' codec không thể mã hóa ký tự u '\ xa0' ở vị trí 0: thứ tự không nằm trong phạm vi (128)

khi được sử dụng trong một chuỗi ống.

Cách tốt nhất để làm cho công việc này khi đường ống là gì? Tôi có thể chỉ bảo nó sử dụng bất cứ thứ gì mã hóa shell / filesystem / bất cứ thứ gì đang sử dụng không?

Các đề xuất mà tôi đã thấy cho đến nay là sửa đổi trực tiếp trang web của bạn hoặc mã hóa mã hóa mặc định bằng cách sử dụng bản hack này:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

Có cách nào tốt hơn để làm cho đường ống làm việc?

Mã của bạn hoạt động khi chạy trong một tập lệnh vì Python mã hóa đầu ra thành bất kỳ mã hóa nào mà ứng dụng đầu cuối của bạn đang sử dụng. Nếu bạn đang đường ống, bạn phải tự mã hóa nó.

Một nguyên tắc nhỏ là: Luôn sử dụng Unicode trong nội bộ. Giải mã những gì bạn nhận được và mã hóa những gì bạn gửi.

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Một ví dụ điển hình khác là chương trình Python để chuyển đổi giữa ISO-8859-1 và UTF-8, làm cho mọi thứ trở thành chữ hoa ở giữa.

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

Đặt mã hóa mặc định của hệ thống là một ý tưởng tồi, bởi vì một số mô-đun và thư viện bạn sử dụng có thể dựa vào thực tế đó là ASCII. Đừng làm điều đó.

Đầu tiên, liên quan đến giải pháp này:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Nó không thực tế để in rõ ràng với một mã hóa nhất định mỗi lần. Điều đó sẽ lặp đi lặp lại và dễ bị lỗi.

Một giải pháp tốt hơn là thay đổi sys.stdoutkhi bắt đầu chương trình của bạn, để mã hóa với một mã hóa được chọn. Đây là một giải pháp tôi tìm thấy trên Python: sys.stdout.encoding được chọn như thế nào? , đặc biệt là một nhận xét của "toka":

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

Bạn có thể muốn thử thay đổi biến môi trường "PYTHONIOENCODING" thành "utf_8". Tôi đã viết một trang về thử thách của tôi với vấn đề này .

Tl; dr của bài viết trên blog:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

mang đến cho bạn

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

thực hiện công việc, nhưng không thể tự đặt nó lên trăn ...

những gì chúng ta có thể làm là xác minh nếu không cài đặt và yêu cầu người dùng đặt nó trước tập lệnh cuộc gọi với:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

Cập nhật để trả lời bình luận: vấn đề chỉ tồn tại khi đường ống đến thiết bị xuất chuẩn. Tôi đã thử nghiệm trong Fedora 25 Python 2.7.13

python --version
Python 2.7.13

mèo

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

đang chạy ./b.py

UTF-8

đang chạy ./b.py | ít hơn

None

Tôi đã có một vấn đề tương tự tuần trước . Thật dễ dàng để sửa trong IDE của tôi (PyCharm).

Đây là cách khắc phục của tôi:

Bắt đầu từ thanh menu PyCharm: Tệp -> Cài đặt ... -> Trình chỉnh sửa -> Mã hóa tệp, sau đó đặt: "Mã hóa IDE", "Mã hóa dự án" và "Mã hóa mặc định cho các tệp thuộc tính" ALL sang UTF-8 và giờ đây cô ấy hoạt động như một lá bùa.

Hi vọng điêu nay co ich!

Một phiên bản vệ sinh có thể tranh cãi của câu trả lời của Craig McQueen.

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

Sử dụng:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

Tôi có thể "tự động hóa" nó bằng một cuộc gọi đến:

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

Có, có thể có được một vòng lặp vô hạn ở đây nếu "setenv" này không thành công.

Tôi chỉ nghĩ rằng tôi đã đề cập đến một cái gì đó ở đây mà tôi đã phải trải qua một thời gian dài thử nghiệm trước khi cuối cùng tôi nhận ra những gì đang xảy ra. Điều này có thể quá rõ ràng với mọi người ở đây đến nỗi họ không bận tâm đến việc đề cập đến nó. Nhưng nó sẽ giúp tôi nếu họ có, vì vậy theo nguyên tắc đó ...!

Lưu ý: Tôi đang sử dụng Jython cụ thể, v 2.7, vì vậy có thể điều này có thể không áp dụng cho CPython ...

NB2: hai dòng đầu tiên của tệp .py của tôi ở đây là:

# -*- coding: utf-8 -*-
from __future__ import print_function

Cơ chế xây dựng chuỗi "%" (AKA "toán tử nội suy") cũng gây ra các vấn đề THÊM ... Nếu mã hóa mặc định của "môi trường" là ASCII và bạn cố gắng làm một cái gì đó như

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Bạn sẽ không gặp khó khăn khi chạy trong Eclipse ... Trong Windows CLI (cửa sổ DOS), bạn sẽ thấy rằng mã hóa là mã trang 850 (HĐH Windows 7 của tôi) hoặc một cái gì đó tương tự, có thể xử lý ít nhất các ký tự có dấu châu Âu, vì vậy nó sẽ làm việc

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

cũng sẽ làm việc

Nếu, OTOH, bạn chuyển trực tiếp đến một tệp từ CLI, mã hóa xuất chuẩn sẽ là Không có, sẽ mặc định là ASCII (dù sao trên hệ điều hành của tôi), sẽ không thể xử lý một trong các bản in ở trên ... (mã hóa đáng sợ lỗi).

Vì vậy, sau đó bạn có thể nghĩ đến việc chuyển hướng thiết bị xuất chuẩn của mình bằng cách sử dụng

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

và thử chạy trong đường ống CLI vào một tệp ... Rất kỳ lạ, in A ở trên sẽ hoạt động ... Nhưng in B ở trên sẽ gây ra lỗi mã hóa! Tuy nhiên, sau đây sẽ hoạt động tốt:

print( u"bonjour, " + "fréd" ) # Call this "print C"

Kết luận mà tôi đã đưa ra (tạm thời) là nếu một chuỗi được chỉ định là chuỗi Unicode sử dụng tiền tố "u" được gửi đến cơ chế% -handling thì nó dường như liên quan đến việc sử dụng mã hóa môi trường mặc định, bất kể cho dù bạn đã thiết lập thiết bị xuất chuẩn để chuyển hướng!

Làm thế nào mọi người đối phó với điều này là một vấn đề của sự lựa chọn. Tôi sẽ hoan nghênh một chuyên gia về Unicode để nói lý do tại sao điều này xảy ra, cho dù tôi đã hiểu sai theo cách nào đó, giải pháp ưa thích nào cho vấn đề này, liệu nó cũng áp dụng cho CPython , cho dù điều đó xảy ra trong Python 3, v.v., v.v.

Tôi gặp vấn đề này trong một ứng dụng cũ và rất khó xác định nơi được in. Tôi đã giúp mình với bản hack này:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

Trên đầu tập lệnh của tôi, test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

Lưu ý rằng điều này thay đổi TẤT CẢ các cuộc gọi để in để sử dụng mã hóa, vì vậy bảng điều khiển của bạn sẽ in điều này:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

Trên Windows, tôi gặp vấn đề này rất thường xuyên khi chạy mã Python từ trình soạn thảo (như Sublime Text), nhưng không chạy nếu chạy từ dòng lệnh.

Trong trường hợp này, hãy kiểm tra các thông số của biên tập viên của bạn. Trong trường hợp của SublimeText, điều này đã Python.sublime-buildgiải quyết nó:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}